00:00
前回は、生成AIの今々の立ち位置と、 これからどうなりそうかというところを話をしました。
それだけで、1エピソード分ぐらい話しちゃいました。
前回のことをざっくりまとめると、 生成AIは人類史上でいくと、産業革命以上の影響をもたらすだろうということはほぼ確定。
直近でいくと、3年から5年ぐらいの間に、 生成AIが自分で生成AIを作って、その後どんどん進化させていくということになると思うんですけれども、
そういう状態が来るという可能性は、 かなりそれ相応に高そうであるという状態になってきたという話。
それがよく言うような、 汎用AI、AGIになるかどうかというのはともかくとしまして、
生成AIが最先端の生成AIを開発するという状況は、 おそらく来るであろうと。
今今、この半年1年ぐらいの間で特にですけれども、 本当の一流のプログラマーの人も、
自分でコードを書くんじゃなくて、 生成AIにいかにコードを書かせるかという局面に入っているという話を前回はしました。
今回からは、この生成AIがどういうふうに進化してきたかということを、
なるべく端的にまとめておこうと思います。
まず、なるべく原理原則から理解しておいたほうが見通しが立つと思うので、
なるべく原理原則的な話、 あんまり専門的なことに行き過ぎないようにしながらも、
原理原則の話からまとめて紹介していきたいと思います。
この生成AIを考える上で、一番中心というか土台となるのは、 トークンという概念なんですよね。
よくChatGPTとかを使ったらあんまり出てこないのかな。
クロードコードとかを使っていたりすると、
今何本トークンを使っていますとか、生成AIが動いているときに、
03:02
今10トークン使っています、100トークン使っています、 1系トークン使っていますとか、
どれくらいトークンが消費されているかというのが出てきたりします。
あるいは、生成AI使っていたの残り使用量みたいなものを見ると、
どれくらいトークンを使っていて、どれくらいトークンが残っているかみたいな表というのかな、グラフというか利用状況が出てきたりするときに、
トークンという言葉をよく見たりするんじゃないかと思うんですけれども、
このトークンというのが生成AIを考える上での基礎というか土台になります。
このトークンというのが何なのかということなんですけど、
生成AI、もうちょっと正確に言うと、 LLM、ラージュランゲージモデルというのが生成AIの基本的な、
今の生成AIのベースにLLM、ラージュランゲージモデルというのがあるわけですけれども、
このLLMというのが何をしているかというと、
基本的にやっていることというのは、
まずLLMはいろんなことを知っているわけですけれども、
LLMが知っているというのはどういうことかというと、何を知っているかというと、
うまく説明できるかな、
LLMが知っているように見えるというのは何を知っているかというと、
あの人たちが分かっていることってすごい単純で、
何かの文字列が来たときに、文字列は文章だと思ってもらったらいいと思うんですけれども、
何かの文章を渡されたときに、
罪に至す単語というか文字というのは、
何かということだけを知っているという機械なんですね。
なのですごい細かい技術的なこととか、
あれを抜きにしてものすごい単純化して言うと、
例えばChatGPTに対して、
こちらが何かを話しかけます。
今日はいい天気ですね。気分はどうですか。
と、こちらが話しかけたとしたら、
その文字列、文章を受け取ったときに、
次に何の単語を言えばいいか。
一つ、この単語を返せばいいということを知っている。
そういう単語を返すことができる。
というのがLLMなんですね。
06:01
今試しに、
今日はいい天気ですね。調子はどうですか。
と言ってみたら、返事が、
調子は良好です。今日は気持ちよく過ごせそうですね。
と返ってきました。
これのやり取りの中で起きているのは何かというと、
今日はいい天気ですね。調子はどうですか。
という文章、文字列を受け取ったときに、
LLMが知っているのは、
一番最初に調子はと返すのが良さそうだということだけを知っているわけですね。
調子はと自分で書いた後で、
さらにその後、どういう単語を返せばいいかというと、
良好。
良好と返した後に、です。
というのを言えば良さそうだと。
ですの後に丸というのを付ければ良さそうだと。
ここまで返した後、
次は今日はという風に返せば良さそうであるという。
今まで、
ユーザーから受け取った文章に対して、
まず何を返せばいいか。
一つ口を開いてみた後、
今まで受け取った言葉と自分が発言した言葉を
総合して考えたときに、
さらに次に何を言うと良さそうかということを知っていると。
なので次々と、
今まで受け取った言葉と自分が発言した言葉を参考にしながら、
次々とその場で思いつきで単語を引っ張り出してきて並べて返すと。
すごいざっくり言うと、
LLMの仕組みってそういう風なもの、それだけをするものになっているんですよね。
そんなアホみたいな仕組みでうまいこと会話ができるのか、
聞いたことに対して答えられるのかって普通思うと思うんですけれども、
それが実に見事に返事をしているように見えるというところが、
このLLMのすごいところで、
だからこそChatGPTが出てきたときに世界中がびっくりしたわけですけれども、
言い方悪いんですけど、こんなしょうもない仕組みで、
あたかもちゃんと会話しているようなことが出てくるということに、
世界中がびっくり、行転したわけですね。
今日はいい天気ですね、調子はどうですかって聞いたらこんな回答でしたけれども、
例えば俳句を作ってとか言ったら、
本当に俳句らしきものを返してくる。
当時の俳句は全然下手だったのであれですけれども、
それでも俳句らしきものを返してくる。
あるいは歌を歌ってって言ったら、歌を歌おうとして歌詞らしきものを返してくる。
09:01
そのことに世界中がびっくりしたというのが、
ChatGPTの登場の衝撃だったわけですね。
一般ユーザーからの現象面としての驚きは、
あたかも考えているものがしゃべっているかのように、
会話ができるというところに驚きがあったわけですけれども、
技術的な驚きという意味でいくと、
まさかそんな会話っぽいものになるとはという驚きだったと言ってもいいと思います。
それをこのチャット形式でやると、
それがうまいこと会話しているように見えるというこの見せ方というところも、
こういう見せ方をすると会話に見えるというあたりの発見もすごかったわけですけれども、
とにかく技術的に言うと、そんなアホなというような仕組みで動いているわけです。
今はちょっと早すぎてわからないですけれども、
昔のChatGPTとかどのLLMも、
頭から順番に単語がずらずらずらずらっとしゃべりながら表示、
しゃべっているのをシミュレーションしているみたいに、
頭から順々に単語が出てくるような見え方をしていたと思うんですけれども、
あれは実はああいう見せ方をしていたというだけじゃなくて、
本当にLLM自体がその場で思いつきで次の単語、次の単語、次の単語というのを出してきているので、
本当にあれは機械の動作そのままを見せていたということだったんですね。
思い出の話があちこちも言っていないんですけど、
LLMの動くすごい基本的な仕組みという話だったんですけど、
これとトークンという話がどういうふうにつながっていくかというと、
今言葉、単語を入れたら単語が出てくるみたいな言い方をしましたけれども、
これをもうちょっと正確に言うと、本当に単語で解釈しているわけではなくて、
LLMというのはもうちょっと抽象化したトークンというものを使っています。
トークンというものを使って何をしているかというと、
一番最初にLLMが学習するときには世界中からいっぱい文章を集めてきて、いっぱい文章を読み込むわけですね。
文章を読み込んで何をしているかというと、
文章をまずトークンというものに分解します。
トークンというものに置き換えます。
ここでトークンとは何かというところを話をし始めると、
すごいややこしい世界になっていくので、
12:00
文章をトークンというものに置き換えられるというふうにだけ思っておくのがいいと思います。
ちょっとだけあれをしておくと、
トークンというものがどういうものをトークンとみなしているかということは、
実は人間の目ではいまいちよく分からなくて、
そのあたりが生成AIとかニューラルネットワークとかディープラーニングとかのあたりの
マシンラーニング系のAIの不思議なところなんですけれども、
彼らがどういうふうに物事を抽象化しているかというのはよく分からないのですよね。
これは生成AIに限らず、
最近のマシンラーニングとかニューラルネットワーク系の共通なんですけれども、
彼らがどういうふうに物事を分解して解釈しているかというのは、
ちょっともう人間には分からないというのが実際のところなので、
生成AIというものの雰囲気をつかむという意味でいくと、
生成AIというのは文章、文字列を受け取って、
とにかくそれを何らかトークンというものに当てはめて、
あるトークンの列を受け取ったときに、
次にどういうトークンが出てくるかということだけを学習し続けていると。
トークンというものがニアリーイコール単語だというふうに考えるとすると、
何かの文章を受け取ったときに、
次に何の単語を出せばいいかということ、
この単語である確率が高そうだということだけを学習していると。
あらかじめ学習、
LLMというのはあらかじめどういう文字列が来たときに、
次に何が来るということだけをめっちゃ学習していて、
実際に質問を受けたときに、
今まで学習したやつを参考にして、
じゃあこれですね、じゃあこれですね、じゃあこれですねと次々と単語を返していくと。
正確にはトークンを返しているんですけれども、
トークンを返すというのはほとんどイコール単語を返すだと思うとしたら、
単語を返すと。
その単語を返すということを繰り返していくと、
あら不思議文章になると。
これが一番ベーシックなLLMの挙動というかやっていることになります。
そういうふうな言葉があるわけじゃないんですけど、
第一世代のLLMというのはこれだというふうに思うといいかと思います。
これだというのは第一世代のLLMというのは、
あらかじめ文章をいっぱい勉強していて、
15:03
こういう文章が来た後にはこういう単語を返すことが多いらしいということをめちゃめちゃよく知っているもの。
それが第一世代のLLMですね。
今、単語とかトークンとか混ぜて言ってますけど、
正確に言うとどういうトークンが来たらどういうトークンを返すなんですけれども、
人間のイメージがつきやすいという意味でいくと、
どういう文字列が来たらどういう文字列を返せばいいかということだけを知っているのが第一世代のLLMだというふうに、
生成AIだというふうに思うとイメージがしやすいんじゃないかなというふうに思います。
この第一世代のLLM、生成AIの衝撃は、
そんなアホみたいな学習方法と反応の方法であたかも何らか知性があるような反応をできるということに、
そのこと自体にすごい驚きがあったわけですね。
今でももしかしたら生成AIは考えているというふうに思っている人がいるのかもしれませんが、
あの人たちは一ミリも考えていなくて、
とにかく学習した、今まで学習した文章から次の返すべき一単語を知っていると、
それだけの存在なんですよね。
それでもあれほどのことができたというところが超驚きだったわけです。
あとは少し専門的というか細かい話に入ってしまいますけれども、
そんな単純な仕組みで知性があるようなフリができるということが驚きだったということと、
もう一つこの分野がブームになった原因というのは、
今の仕組みは文字列をトークンに分解して学習する、
何か聞かれたときにそれをトークンに分解して次のトークンを返す、
次の言葉を返すという仕組みの単純さプラス、
あとこの仕組みが簡単にスケールする、
単純な仕組みを保ったまま大きくすることができる。
具体的にどういうふうにしたら大きくなるか、進化する性能が上がっていくかというと、
学習する文章の量を増やして増やすということと、
18:04
あとはLLMのパラメーターと呼ばれているものがあるんですけれども、
パラメーターが何かということは省略するとして、
エンジンでいくと排気量みたいなものですかね。
エンジンの排気量を大きくさえ失せれば、
それから事前学習させる入力データを大きくさえすれば、
いくらでもエンジンの出力が上がっていくということが
理論的に予想されていて、
なので頑張れば頑張るほどデータをいっぱい集めてきて、
パラメーターを増やしたりすればLLMは賢くなるということで、
急に一斉にみんながお金をかけて開発競争に突入したというわけです。
ちなみにパラメーターの数というのは、
今だと8ビリオンとか40何ボビリオンとかそんな感じですかね。
ビリオンが10億ですかね。
80億パラメーターとか400とか何百億パラメーターという形のものになります。
パラメーターと言われてもなかなかイメージが湧かないと思うんですけれども。
ちなみに手元のパソコンで動かせる、
モデルのパラメーターがだいたい8ビリオンぐらいですかね。
インターネット上のGPTとかロードコードとかで使っているような、
いわゆる高性能なLLMのモデルがだいたい32とか40いくつビリオンですかね。
だいたい手元のパソコンより10倍ぐらい、
約1桁性能がいいのがインターネット上で動いていて、
手元で動かそうと思うと10分の1ぐらいのパフォーマンスしか出ないというのが、
今のところの現状ですかね。
ちょっと細かい話ですけれども。
やっぱりなかなか説明に時間がかかりまして、
また20分ぐらい経ったので、
また一旦ここで切ってエピソードとしては分けようと思うんですけれども、
21:00
今回話をしたのは第一世代のLLMのざっくりとした仕組みについてでした。
今回お話ししたのは、
LLMというのがすごい単純な仕組みで動いているということですね。
たくさんの文章をあらかじめ勉強していて、
何を勉強しているかというと、
こういう文章が来た後にこういう単語を返せばいいということだけを知っているというものが、
LLMと呼ばれるもの、生成AIと呼ばれるものであるということですね。
厳密というか正確に言うとそれは単語ではなくて、
トークンというものを使って文章を学習して、
トークンというものを受け取ったときに、
次どういうトークンを返せばいいかということだけを知っているものになっているということ。
LLMというのはとにかくあらかじめ学習している量と、
パラメーターと呼ばれるエンジンの廃棄量みたいなものが大きくなれば、
基本的にはどんどん賢くなるということが発見されて、
わかっていて、
それでみんな一生懸命たくさん学習させて、
大きなパラメーターのモデルを作ろうという開発競争に入った。
これが第一世代のLLM。
このあたりが第一世代のLLMの仕組みであり、
登場したときの驚きであったということです。
だいたいこれが一般、
GPTが公開されて衝撃が入ったのが2022年の年末です。
一般に噂が広まって、
いろんなところで言われるようになったのが2023年の頭ぐらいですかね。
基本的にこの頃のLLMというのは、
この第一世代のすごく素朴な動き方をするものでした。
このLLMが2022年からすると今4年ぐらい経っているわけですけれども、
その間にどのように進化していったかということを、
次のエピソードでは話したいなと思います。
もちろん少し触りだけを言っておくと、
先ほど言っていたように、
学習量を増やすということと、
パラメータを増やすということもやっていったわけですけれども、
それはどんどん進化していったわけですけれども、
それだけじゃない進化というのも加わっていって、
24:01
第二世代、第三世代のモデルですね。
正確にそういう名前が付けられているわけではないんですけれども、
このシリーズの中では、
ある程度便宜的に段階を付けたほうが、
イメージ、理解がしやすいと思うので、
便宜的に第一世代、第二世代、第三世代と呼ぶことにします。
では一旦今回はここまでにします。
また次回のエピソードで続きを話したいと思います。
