LLMの第一世代：トークン予測の基本
それでは今回は、生成愛、LLMがどういう風に第一世代から進化していったかという話をしたいなと思います。
前回は第一世代のLLMの話をしました。
第一世代、第二世代、第三世代って一般用語ではないんですけれども、
そういう風に分けて考えた方が見通しがいいと思うので、
このシリーズの中では第二、第三世代と呼ぶことにします。
第一世代は、2022年の年末に出てきた、 ちゃんとGPTの頃を第一世代と呼んでいますけれども、
第一世代の生成愛の仕組みはすごい単純で、文字列、文章がやってきたら、
次何を言えばいいかだけを知っているものというのがLLM。
なのでユーザーが何かを聞いてきたら、その文字列を見て、
例えば、今日はいい天気ですね、調子はどうですかという文字列が来た時には、
大体次返せばいいのは、調子は。
調子はって言った後、良好。
良好って言った後、です。
ですって言った後、丸って言えばいいなみたいな。
そういうことだけを知っているものとして、LLMだという話をしました。
このLLMは事前に何を返せばいいかというのを学習していて、
その学習制度というのは、事前学習量とパラメータ数というものが、
インプットの数とモデルのパラメータというのが増えれば増えるほど、
性能が上がるということが分かっていたという話まで前回しました。
今回はLLMがどういうふうに進化したかと、
第一世代からどういうふうに進化していったかという話をしたいと思います。
第一世代は先ほど言ったように、文字列が来たら次の単語を返す、
というだけのものでした。
分かりやすく文字列とか文章とか単語とかいう言い方をしていますけれども、
正確に言うとLLMの世界ではトークンというものを使ってそれをやっています。
文章をトークンに分解して学習しているわけですけれども、
ざっくりイメージ的には単語というふうに思っていいんじゃないかなというふうに思います。
本当は全然違うと思うんですけれども、
便宜的に理解すればいいんじゃないかなというふうに思います。
あえてこのトークンという話をずっと入れ続けているのはなぜかというと、
生成愛、LLMの第二世代への進化というのは、
このトークンという文章をトークンに分解する、トークンに置き換えるということを、
画像とか他のものにも適用させられるようになったということが、
第二世代への進化として割と大きかったカラーなんですね。
第二世代への進化：マルチモーダル化
LLMとかの世界だとマルチモーダルとか言われたりしますけれども、
今の生成AI、GPTでもクロードコードでも何でもいいと思うんですけれども、
文字だけじゃなくて添付ファイルが渡せますよね。
画像とかワード、パワーポイント、PDF、いろんなファイルが渡せると思います。
最初の頃のLLMは文字しか渡せなくて、文字を言ったら文字が返ってくるということだけだったと思うんですけれども、
今は画像とか音声だとかPDFだとかいろんなファイルが渡せると、文字以外の情報を渡せると思います。
いろんな情報を渡していろんな情報でLLMが返せるということをマルチモーダルと言ったりしますけれども、
このマルチモーダルがなぜできるようになったかというと、
例えば画像ファイルでいくと、画像ファイルを渡された時もこれもトークンに分解するということができるようになったからなんですね。
なのでちょっとLLMの気持ちになってみて、まぁLLMの気持ちになってみるのってなんか奇妙な感じがすると思うんですけど、
LLMの気持ちになってみるとするならばですね、全てはトークンに見えているわけです。
文章を渡されてもトークンに分解して全部トークンに見えているし、
画像を渡されても画像をトークンに分解して見ているのでそれまたトークンに見えているし、
PDFファイルを渡されてもこれまたトークンに分解して見ているのでこれもトークンに見えているし、
まぁLLMの立場になると全部トークンに見えているんですよね。
とにかく渡されたトークンを受け取って
そのトークンから推測される次の一言を
一トークンですね、を返すということだけをして
なんかそういう奇妙な世界にいるのが
LLMくんの正体ということになります
LLMくんの立場に立ってみると
やることは1ミリも絡まらないわけですね
とにかくトークンを受け取って
トークンを返すと
トークンを学習して
次どういうトークンを返せばいいかということを学習すると
LLMの立場に立つと
やっていることは一切変わらないわけです
LLMを作るほうの立場になると今度は
例えば画像をどうトークンに分解するかということだけを考えればいい
トークンにさえ分解してしまえば
あとはLLMのほうでよしなにやってくれるわけなので
とにかく文字以外のデータを
いかにトークンに変換するかということだけに特化すれば
より便利な生成AIが作れると
これが開発者の
生成AIを作る人の立場でいくと
そこだけ考えればいいということになっていくわけですね
これなかなか便利であると
これはユーザーの立場、使うほうの立場から見ると
今までLLMは文字しか受け取れなかったんだけれども
何を渡してもいい感じに会話とかやり取りが成り立っていくと
そういうわけでトークンというものを間に仲介しているので
最初は言葉だけを扱うことが上手だったわけですけれども
トークンという抽象的なものを間にワンクッションを挟むことで
画像であれ、何であれ、他のデータであれ
とにかく基本的にはパソコン上でLLMに渡せそうなものであれば
大体何でも扱えるというふうに進化していったわけであります
これがいわゆる第二世代のLLM
マルチモーダルと呼ばれたりしますけれども
文字だけじゃなくて文字以外の情報も扱えるLLMが第二世代といえます
繰り返しになりますけど、これの面白いとこは
LLMの根っこの部分ですかね
土台の部分は実は何も変わってなくて
とにかくトークンというものを受け取って
トークンというものを返すということだけをし続けている
その上の革の部分に上積みの部分を入れ替えることによって
画像も扱えるし、いろんな添付ファイルも扱えるし
みたいな仕組みができてきたと
これが第二世代のマルチモーダルなLLMと言っていいと思います
第三世代への進化：自問自答（推論）能力
実際に使ってきた人であれば
確かにそういうふうに進化していったなというふうに思い出してもらえると思います
こうやって文字だけじゃなくて他のものも扱えるようになったLLMは
さらに次の進化を遂げます
それが第三世代のLLMといえると思うんですけれども
第三世代のLLMは何ができるようになったかというと
自問自答ができるようになります
自問自答をするというのはどういうことかというと
これチャットGPTとかブロードコードとか
時期によったりサービスによったりして微妙に違うんですけど
こちらが質問を投げかけると
試行中って書いてあったり
それをクリックしたりするとモゴモゴ言ったりしてるのが見えて
それを見たことがある人も多いんじゃないかと思います
例えばさっきの今日は良い天気ですね
調子はどうですかっていうふうに聞いたとすると
他のモゴモゴ言ってる
LLMが一人モゴモゴ言ってるやつの中では
ユーザーはなんか今日は良い天気ですね
調子はどうですかって聞いてるけど
これは何を答えたらいいんやろう
こういうことを答えるとユーザーは
納得するんじゃないかと思うんだけど
本当だろうか
まずはこれは多分定型的な挨拶だから
定型的な挨拶を返すといいのかな
多分あまり長い回答とか求められてないと思うから
同じくらいの長さで短く答えるのがいいんじゃないか
じゃあどういうふうに答えようかみたいなことを
一人モゴモゴ言ってるのが見える時があると思います
見える時がっていうのは
サービスとか
そのサービスも見せたり見せなかったりするんで
時期によると思うんですけれども
特にクロードコードなんかは
モゴモゴ言ってるやつをよく見せてくれる方だと思うので
目にすることが多いかと思うんですけども
そういうモゴモゴを言うっていうことを
やるようになっていったということですね
ちなみにこれが割と話題になったというと
ディープリサーチ
中国初のオープンなディープリサーチというのが
一時話題になって
これがモゴモゴ言ってるのをいっぱい見せるって
なんかおもろいっていうので話題になったりして
他のやつも
一時はどんどん見せるって方向になったりしましたけれども
最近は見せすぎても邪魔ということで
オープンAIはあんまり見せない感じ
クロードコードアンソロピックの方は
結構見せる感じというふうに
インターフェースが分かれてますけれども
いずれにせよ裏でモゴモゴ考えてるっていうことは
共通ですね
ユーザーからよく見えるところでいくと
これも表現がいろいろ
しょっちゅう変わったりしますけれども
Think Deeperとかよく考えるとか
あとは最近は推論両力という言い方が多いですかね
いろいろ自分で自問自答しながら進めるんですけれども
自問自答の長さをどれぐらい長くするか
短めにさっさと切り上げて
まあいっかって言って回答しちゃうのか
いつまでもなるべくモゴモゴしながら
ほんまにこれでいいんやろか
もうちょっとやることないんやろかと
一回答え出してみたけど
本当にこれでいいとか
自問自答する長さを長くする
推論両力を長くするという表現のやつもありますけれども
ユーザーの目で見たときには
そこをすぐ返すようにするか
長く考えてから返すようにするかということを選べるというふうな形で
モゴモゴ言ってるとコントロールできたりするようなインターフェースがあると思います
逆にあれですね
どっちだったかな
チャットGPTだったかクロードコードだったか
どっちに待ったか忘れちゃったんですけど
クイック回答みたいなボタンもあったりして
もうあまり考えんでいいからさっさと回答してや
みたいなやつを選べたりもしますね
モゴモゴ言ってるところで
途中で打ち切っていいからもう返せみたいな
演じ返せみたいなことを選べる性性愛もあると思います
この推論
モゴモゴ言うのを長くすると
回答精度は上がっていくんですよね
まず1回LLM的にも答えを出してみるんだけど
自分で出した答えを自分で見て
本当にこれかなとかこれでよかったんかなとか
違いそうな気がするからもうちょっと考えてみようとか
そういうふうに自問自答
一人モゴモゴができるようになると
回答のレベルも上がっていくと
ただそれとトレードオフなんですけれども
回答の質は上がっていく一方で
回答までの時間は長くなってしまうと
このあたりどっちを取るか
長めに考えていい回答を出すか
早めに回答して悪い回答がいいか
これもどれぐらい人間が待てるかとか
いうことに依存するので
そのあたりのバランスをどこで取るかというのは
ありますけれども
LLM進化のまとめと今後の展望
基本的にはよく考えたほうが
いい回答が出てくるということになりまして
LLMは賢くなっていたという経緯があります
ちょっと細かい話に立ち入ってますけど
今回何を整理したかったかというと
LLMの進化には基本的には3段階
今のところここまでのところ3段階あって
一番素朴なLLM第一世代から
第二世代マルチモーダルと呼ばれる
文字以外の情報も扱えるという方に
進化したということ
3つ目は一人もごもごですね
推論と呼ばれてますけれども
一人でもごもご自問自答しながら
聞かれたことにパッと返すだけじゃなくて
本当にその返してることが合ってるんやろうか
とかいうことを一通りもごもご自問自答して
返すというふうな第三世代というふうに
進化したとしてきたということですね
これプラス基本的にLLMというのは
事前に学習しておいて
その学習しておいたことに基づいて
反応を返すということをするんですけども
その学習量を増やすほど賢くなる
あとは前回でも少しお話ししました
パラメーターモデルのパラメーターというのを
増やせば賢くなるということで
ここまでのLLM自体の進化っていうのは
学習量を増やすパラメーター数を増やす
マルチモデルができるようになる
推論ができるようになるということで
第一世代 第二世代 第三世代ということと
学習量とパラメーターを増やすということで
基本的には進化してきました
こういうふうに
チャットGPTの衝撃以来4年ぐらいかけてですけれども
このLLM生成AIのモデル自体の進化っていうことだけを取り上げると
こういうふうな進化を遂げてきたという歴史
ここまでの歴史があります
確かにこういうふうにモデルのレベルだと
すごく進化しています
なんかチャットGPTの5.5がすごいとか5.6がすごいとか
ブロックのバージョン分かんないですけど
なんとかが賢くなったとか
アンソロピックだとハイクからソネット
ソネットからオーパス
オーパスからフェイブルに進化していって
なんかモデルが進化していくとすごくなった
あとはミュトスか
ミュトスがすごいとか
なんかいろんなやつが言われてますけれども
それは基本的に今みたいな進化
特に学習量が増えたとかパラメーター数が増えたとか
速くなったとか
推論が深くなったとかですね
推論の精度が良くなったとか
基本的にはそういうことを言っているわけです
ただ冒頭に言っていたみたいに
生成AIが産業革命以上のインパクトをもたらせられるとか
一流のプログラマーがプログラムを書かなくなってきたとか
そういうことはモデルの進化だけで起きているのかというと
全然そういうことはなくて
この第一世代、第三世代までの進化のざっくりとした説明をしましたけれども
これは実は一階部分の進化に過ぎなくてですね
生成AI全体の進化というのは
一階部分の進化と二階部分の進化というのに分かれていまして
その二階部分の進化というのの影響が結構大きいんですよね
一階、二階という言い方が
それ以上のイメージが湧かないので
もう少し違う言い方をすると
この第一世代、第二世代、第三世代というモデルの進化というのは
車に例えるとエンジンの進化に当たると言えると思うんですね
エンジンがめちゃめちゃ強くなって速くなるということは
確かにレースで勝つなり何なり
いい車にするためには
エンジンが進化するということは前提条件だと思うんですけど
じゃあエンジンが強くなれば
例えばレースで勝てるようになるんですかというと
そうではないと思うんですよね
例えばレースに勝つという目的を考えたときには
エンジンだけが強くなるんじゃなくて
足回り、タイヤとかも進化しないといけないし
操作性というんですかね
ハンドルとか車体の
車に詳しくないんであれですけど
車体のボディの剛性とか
いろんなことが関係して
速く走れる車が作れるはずですね
あるいは車の目的っていうのは
速く走って勝つということだけじゃないと思うので
便利な車ということになってくと
また別の居住制だとか
小回りが効くとか
いろんなエンジン以外の車の小要素っていうことも
進化していくことによって
便利な車になっていくということが言えると思います
次回からはその2回部分というか
車でいうとエンジン以外の車が
どういうふうに進化することによって
その産業革命を超えるかもしれないと
いわれる進化変化っていうのが
もたらされようとしているのかというところを
次回はもう少し
掘っていきたいなというふうに思っています
