AIの自然な言語生成の基礎
Private LISTEN presented by CampSolo。10個目のエピソードになりますね。
小難しい話ばっかりしているプライベートLISTENですが、ちょっと前回は、
Chomsky なんかの話ね、ソシュール、チョムスキーの普遍文法なんて話をして、チャットGPT、AI が自然な言語を話せるようになってきたのはなぜかと。
まだ不自然な部分が あるのですが、どんどん自然な言語に 近づいていっているのはなぜかと。
その仕組みの 基礎の基礎にあるのは、1つは 自分で学習できることです。
誰か先生が他にいて、その人が正解を 教えてくれなくても 自分で学習できる仕組みができたというのが 1つです。
細かいことは 省きますが、それが1つです。
もう1つは、人間でいうとシナプスとか ニューロンということ、脳の中にある神経構造ですが、
これに似せた構造を作った。しかもそれを多層化した。たくさんの層を作った、いっぱい。巨大化した。
これは大規模化と深層化、多層化と言いますが、 深い層にする。
それでもまだコンピューターにいまAIで実現している シナプスとかパラメータ量というのですが、
それはまだ人間の脳には及んでいない。でもコンピューターは すごい電気も食うし、
いっぱい動かなきゃいけない。だから人間の脳っていうのは、 ホモサピエンスの脳っていうのは相当すごいものなんですが、
人間の脳も巨大化したからそれができるようになった。 これはもう神経科学とか脳科学の世界になるんですが、
その脳とか神経の謎、 これが実は言語、自然な言語を生み出すというときの
もうカギなんですよね。 ポイントは自己学習システム。もう1つは大規模化。
脳が大きくなる。これ機械学習、AIもそうです。 それから深層化、多層化する。
ということなんですよね。これがベースになって、 ただそれだけじゃまだまだ自然な言語は出てこない。
1つはこれ、実はリッスンto me!の方でちょっとしゃべっちゃったんですが、別の文脈で。
1つは注意機構というアテンションですね。 注意、人間の目とか
例えばある 世の中は結構ノイズとかいろんな
光の情報にあふれているわけです。 目で捉えたり耳で聞いたりするときはその部分部分を切り取っているんですね。
部分を切り取って全体を推測しているという そういうことが起きるんですね。だから脳はそういうことをやってるんですね。
全部の情報を把握しているわけじゃなくて、本当に見えているところは一部、聞いているものは一部。
そこに注意、アテンションというのを働かせることで、そこから脳は勝手に世界を作り上げるわけですよね。
そういう仕組みになっているんだということが1つ。 もう1つ大事なのが
予測とか推論という世界なんですね。 これ予測と推論は同じことだと私は思っているんですが、
例えば自動車のAI、自動運転とかにもこの空間予測、それから時間予測、こういったものが組み込まれていくんですね。
つまり時間と空間の予測をいかに正確にできるか。 結局その見ている情報は部分的なわけです。
あそこに標識があったとか、ここにセンターラインがあるとかね。 そこから全体の状況、モデルを作るわけです。
世界を作り出すわけですよね。 例えば免許を取る時もそうでしょう、自動車の免許を取る時にも。
予測という問題が結構出てきて、人が飛び出してくるかもしれないとか、危険予測って言うじゃないですか。
まさにあれなんですよね。予測、空間の予測。 例えば向こうのこの扉を開けたら向こうに何があるとか、この景色だからこっちはこうなっているとかっていう予測を我々は常に
実践的に行っているわけね。もう一つは時間の予測です。 例えばこれ犬でもそうなんです。次はおやつの時間かなとか、次はお昼寝の時間かなって、こうしたら今度次これが来るかなって時間の予測をしてるんですよね。
この空間予測と時間予測をするという能力が
すごく重要なんですね。
自然な言語を生み出す時に、例えば自然な言葉を生み出すという時には実は予測して言葉を紡ぎ出している。これ AI も同じことやってるんですね。
予測能力を高める、いうことをやってるわけです。自動運転なんか空間予測の方で特化していくし、
言語生成なんていうのは時間予測とか言葉の予測っていうのをしていくわけなんですが、
これ例えばちょっと昨日ね、
ちょっと夜、暗闇で階段を、トイレ行きたくて降りたんですけど、3階から2階にね、ワンコも階段降りてくるわけですよ。
ほとんど階段見えないのね。だけど降りてこれる。 自分、私もそうだしワンコもそうなんだけども、これは記憶なんですよね。記憶。
メモリー。記憶があるから予測ができると。階段を踏み外さずに降りれるってことは、この階段はこうなってるっていう体験があって、記憶があるから予測ができる。
これも AI の世界で分かってきたことなんだけども、実は我々が予測が可能なのは、記憶に頼って予測をしているということなんだね。
これ、だから自然言語を生み出すときもそうなんですよ。AIがね。やっぱりいろんな短期記憶と長期記憶と両方あるんですが、短期記憶だけでまかなえないときには、古い記憶を引っ張り出していくんですね。長期記憶。
例えば、ここはこうなってるはずだとやってみたら、ちょっと違ったなと。そういえば、大昔こんなことがあったなと。それかなとかいってやってみるという。
推論と言語生成
これが予測の世界なんですよね。だから、記憶がなければ予測ができない。
つまり、短期記憶と長期記憶の仕組みをどう機械学習に組み込むか、AIに組み込むかということが予測の精度を上げるんですね。これね。
これがまた深層・多層的な構造で、しかも情報をたくさん学ばせるということで可能になってきた。予測の精度が上がってきた。
だから、自然な言語を生み出せるということは、予測の精度が上がっているという言い方もできるわけですよね。
もう1つ、別のところでしゃべった注意機構ていう、アテンションの仕組み。これは、情報を取捨選択するわけです。
そのときに、全部学習していたら時間が間に合わないから、取捨選択するわけです。
これはきっとこれだ、という。AIも昔は、全部まんべんなく学習させようとしたのですが、そうすると追いつかないし、間違いも多くなるので、逆にそこに注意機構という、きっとこれだろうという、焦点を定めさせる。
しかも、そこに短期記憶と長期記憶を絡ませることで、予測の精度が上がるという、こんな話にどうもなっているらしいです。
私が最近勉強したところによれば。
ここで、記憶ということ、それから予測ということは関連しているということと、もう1つ、空間予測、時間予測は、実は言葉による予測、これは抽象的な予測、あるいは抽象的な推論というのですが、推論の能力と関わっているんですよね。
予測能力は、ほぼイコール推論する能力なんですよね。
だから、我々が言語や言葉で推論する、これはAIもそうです。
ChatGPTが推論する、言葉を生み出す、これを抽象的な推論と言いますが、言語や記号による抽象的な推論というのは、実はその短期記憶、長期記憶と注意機構と非常に密接に関連している。
それが、最初に言った多層化、深層化、大規模化、自己学習の仕組み、こういったものと組み合わさって、予測の制度、自己学習、メタ学習ともいうんですけどね、そういう能力が非常に高まった状態というのが、どうやら人やAIが自然な言語を生み出す、あるいは抽象的な思考をするベースにあるらしい。
ということが分かってきたわけです。これは非常に面白い話なのですが、これを今度は最初にプライベートLISTENで取り上げてきた、いわゆる主観的な判断、客観的な判断、それから演繹法、帰納法、あるいは事実判断、価値判断、こういった問題と、
どう絡むのかという話になってくるのです。これを少しこの後にしゃべっていこうと思うのですが、1つ、演繹法、帰納法ではない第三の推論の仕方で、今はAIも予測している、推論している、ここが重要です。
演繹法、帰納法では解決しない。それを組み合わせた、あるいはそれとは別の第三の、どちらかというと帰納法に近いのですが、それが、つまり演繹法でも帰納法でもない推論モデルというのが今、AIの中では出てきている。
実は人間もそういう推論を日常的にはしていて、帰納法、演繹法で生きている人間なんていないというね。これはある意味、科学的な証明の1つの理念型であって、それで生きている人間はいない。
人間が日々推論しているのは、帰納法でもなければ、演繹法でもないというね。まあ、そういう話ですよね。
だからそれがまさに人間の実践。これ、前にちょっと言った言葉で言うと、語を用いる、語用論的次元における実践で行う推論。
演繹法、帰納法というのはむしろ、構文論とか意味論の世界で行われる推論のスタイルというね。まあ、そういう分類にこうなってくるわけですよね。
自然科学と社会科学の方法
さらに主観判断、客観判断、そして価値判断、事実判断。この話はこれからしていこうと思うんですが、このプライベートLISTENは何をやりたいかというと、結局、自然科学の方法と社会科学の方法というのがあるんですよ。
我々は社会を科学しなきゃいけないんですが、私は一応、政治学が専門なのでね。その社会を科学するときに、実はその社会科学も自然科学も記号や言語で表現されるわけですよね。
そうすると、その記号とか言語が現実世界とどういう関係を持っているのか。それは人間の脳が生み出しているんだけども、それはどういうふうに生み出しているのかという問題をきっちり整理していかないと、
この問題ね、科学的証明の問題もそうだし、演繹法・帰納法に関連してね、それから実験とかいう問題もそうだしね、実証という問題もそうだし、そこで主観的判断、客観的判断なんてこともそうだし、価値判断、事実判断という問題も、そこでちょっと腑分けしていかないとぐちゃぐちゃになっちゃうということで、
これが今AIの進化、機械学習の進化の中でだいぶ謎の解明に迫ってきているぞというのが個人的には面白いので、それを自分が整理したくてこうやって喋っているという、そういう番組です。
でもなぜか聞いてくださっている方も、最後までね、1割ぐらいいるという、もうすごいことだなと思って感動してますけれども、この調子でしばらく続きます。ではまた。
