シンギュラリティサロン#74「大規模言語モデルは言葉の意味を理解しているのか?」

本編:

アフターサロン

「ChatGPT」は、2022年11年に OpenAI がリリースしたテキスト生成 AI で、あたかも人間を相手にしているかのような自然な会話ができること で注目を集めました。膨大なパラメータ数からなる深層ニューラルネットワ ークに巨大なコーパス (文例集) をデータとして与え、膨大な計算を実行することで、この AI は自然言語を取り扱う能力を獲得しました。このような仕組みを「大規模言語モデル (Large Language Model; LLM)」といいます。

実際にLLMと会話してみると、「おっ、この相手は言葉の意味をちゃんと理解しておるな 」と思わされます。「木の葉が揺れているけど、なぜでしょう?」と聞 けば、「風が吹いているからでしょう」と答えてくれます。だけど、ほん とうのところはどうなのでしょう? われわれが頭で考えるのと同じように、LLM も言葉の意味を理解し、思考することによって答えをひねり出している のでしょうか?

正解は今のところ誰にもわかっていません。なぜ言葉の意味を理解したかのように振る舞えるのかは、AI 研究者たちの間でも意見が別れています。

今回は、シンギュラリティサロンのレギュラーメンバーの間でも意見がわかれているこの謎を取り上げ、「今わかっていること」をふまえながら議論します。

■開催日時と申込み

【日時】2023年8月27日(日)

【方法】YouTubeLiveでのオンライン配信
※視聴URLは、申し込みいただいた方に返信メールにてご連絡します。

【参加費】 無料

【定員】なし

■タイムスケジュールと概要

13:30 – 13:40 「いつもの雑談」と今回のテーマの紹介

13:40 – 14:40 講演

■講演1:「LLMは言葉の意味を理解していない」 小林秀章 a.k.a. ”セーラー服おじさん”
今回の全体テーマは「大規模言語モデル (LLM) は言葉の意味を理解しているか」である。まず、この問い自体について、掘り下げて整理し、いったい何を問うているのか、本質を明確化したい。この問いは、「LLM は内部に「世界モデル」の機能を備えたか」と言い換えてもよかろう。
われわれ人間は、言語習得以前から、内部に世界モデルを備えているので、それに慣れすぎていて、学習前には世界モデルを備えていない LLM の身になって考えるには、反実仮想的な発想の転換が必要であることを注意喚起する。LLM に課せられたタスクは、人間にはとうていこなせるものではなく、想像が及びづらい。それを踏まえた上で、「LLM は言葉の意味を理解していないと考えるのが自然であろう」と主張する私の立場について説明したい。正解が判明していない以上、逆の立場を完全に否定することはできないが、理解しているとするのは、かなり特殊な主張のようにみえる。「開けた覚えもない扉が勝手に開いとるぞ」。AI はもはや囲いの中でおとなしくしてはいない、と言いたいのか?

■講演2:「LLMは言葉の意味を理解している」  松田 卓也(神戸大学 名誉教授)

普段からChatGPTのような大規模言語モデル(LLM)を頻繁に使っている身からの体験的な印象では、これらは極めて頭がよく、言葉の意味をよく理解していると考えざるを得ない。並の人間より圧倒的に優れている。しかしLLMが言葉の意味を理解しているかどうかに関しては、学会のコンセンサスは取れていない。なぜならLLMの基礎理論が分かっていないからだ。欧米の人工知能関係者の意見を見ると、ヒントン、ベンジオ、サスケバー、ウルフラム、チャーマーズのような大物は、理解している派である。ひとりヤン・ルカンのみが、大物としては理解していない派である。というわけで、真の専門家では理解している派が多いと感じる。理解していない派は、どちらかというと周辺部分の研究者と素人である。私はLLMの動きの理解には物理学の知識が必要であると感じる。単語の羅列である文章に意味が創発するのは、第二種の相転移である。これはカオスの縁とも呼ばれる現象と関連しており、生物の本質でもある。

■講演3:「LLMが言葉の意味を理解しているかは理解の定義による」 塚本 昌彦 (神戸大学大学院 工学研究科 教授)

「理解」とは何か。人間の理解に関しては、哲学、脳科学、 心理学、生理学、 教育学などの様々な分野で長年にわたり研究されており、 多岐にわたる現象と機能の解明がなされてきた。 この人間に対する「理解」をAIに適用する場合、 どの側面を捉えるかによってその有無に対する答えが変わる。 すなわち、否定派はより人間的、 肯定派はより機械的な側面を捉える。 その場合両者は異なる側面において否定及び肯定しているもので、 内容的に矛盾しないのに表層的に対立するという愚かな状況となり がちである。まずはAIに適用しうる「理解」 のさまざまな定義を列挙し、 次にそれぞれについて人間とAIを比較していくことこそ、 両者の「理解」の「理解」にとって有用なのではないか。

14:40 – 15:25 議論「大規模言語モデルは言葉の意味を理解しているのか?」

【登壇者】松田卓也、塚本 昌彦、小林 秀章 (セーラー服おじさん)
【進行】保田充彦 ナレッジキャピタル・リサーチャー/株式会社XOOMS代表

15:25 – 15:30 まとめ・次回予告など

■シンギュラリティサロンとは

シンギュラリティサロンは、シンギュラリティに対する専門家、 一般市民の意識改革を促すべく、グランフロント大阪・ナレッジサロンを 会場に2015年より講演や勉強会を重ねてきました。新型コロナウイルス「 自粛」後、2020年秋から、ナレッジキャピタル・SpringX超学校ONLINEでリアルとバーチャルを横断する新たなシンギュラリティサロンの活動を行っています。

過去のイベントはこちらのウェブサイトに掲載しておりますので、ぜひ御覧ください。

【シンギュラリティサロン・ウェブサイト】

「シンギュラリティサロン」について

シンギュラリティサロン独自のYouTubeチャンネル「シンギュラリティサロン・オンライン」でも配信しています。シンギュラリティサロンの「別版」として、より自由なテーマでよりコアな内容を、タイムリーにお届けしています。

【YouTube シンギュラリティサロン・オンライン】
https://www.youtube.com/@user-cf7md9zf9s/

■お問い合わせ:シンギュラリティサロン事務局  admin@singularity.jp

主催

シンギュラリティサロン

共催

株式会社ブロードバンドタワー、一般社団法人ナレッジキャピタル