言語モデルの特性
こんにちは、ninjinkunです。 今日は、3級連休TechLT Podcastカレンダープラス1に参加して、テックの足をしようと思います。
私、ninjinkunは、プログラマー兼UIデザイナーをしている人間です。
今日は、最近読んだ面白い技術エントリー、「言語モデルの物理学」というエントリーを紹介しようと思います。
これは、言語モデル、ラージュランゲージモデルですね。
チャットGPTとか、クロードソネットとか、私も非常に使っていますけど、
これがどういう特性を持っているかを、研究している科学者の人たちがいて、
その人たちの書いた論文を、さらに分かりやすく解説してくれているエントリーです。
結構、読むのは大変なんですけど、この調査の方が、面白い部分には黄色のハイライトを引いてくれているので、
このハイライトの部分だけでも、ぜひ興味を持たれたら読まれることをお勧めしたいと思います。
それで、キャッチーな部分を抜き出してくると、
例えば、言語モデルは、自分で間違いを出力しているなというのに、自分自身でも気づきながら出力しているという、
なので、どうも事前にこの問題は自分ではとてないというふうに、
6割ぐらいの確率でわかるらしいんですけど、
その時も、もうしゃべりだしているから止まれずにしゃべってしまうというようなことをやっているらしくて、
これは実際に使っていても、間違いを出力してくるときに、
お前間違ってるじゃんかというと、すみませんでしたとか言って、また別のことを出力しだすというようなことをね、
多分体験している人も多いと思うんですけど、そういう自分の実感にも当てはまるし、
とても人間ぽい動きで面白いですよね。
とか、事前に学習されている問題以上の問題も解ける能力があるとか、
数学とか算数のいろんな問題を加わせて問題が解けるようになるけど、
さらにもっと難しい問題を学習済みのモデルに与えても解けるようになると、
そういう強力な問題を解く性能があるよと。
あともう一つ面白かったのは、逆順の学習が実は苦手であると。
なので、にんじんくんは4月24日が誕生日だというふうに学習させると、
にんじんくんの誕生日は4月24日だって言ってくれるけど、
4月24日の誕生日の人は誰って言ってもパッと答えられないと。
チャットGPTとかこういうのが解けているように見えるのは、
おそらくは学習データに逆順のマッピングも含まれているからだろうというようなことが考察できると。
実際のLLMはウェブ上の膨大なデータをコーパスとして使いますので、
そのデータにだいぶ依存しているのではないかということで、
逆順の一般化っていうのは人間の言語のモデルの非常に特殊な部分だというふうに何か本で読んだんで、
LLMはそういうのが苦手なんだなというのがわかって面白かったですね。
LLMの内部観察手法
私は得られた結果自体もとても面白いんですけど、
この研究自体が面白いなと思いまして、
この調査の方々は自分たちでLLMを学習させて、
そのきれいなデータを食べさせたり、またノイズを混ぜたデータを食べさせたりして、
さらにコントロールされた関係を作った上で、
先継プロービングとか低ランクプロービングっていう、
これちょっと難しくて私は詳細がわからなかったんですけど、
こういう手法を使うことでそのLLMの内部の層に、
結局ニューラルネットワークですので、
その層に対してこういう学習がされているとか、
こういう考えをしているということを外部から観察できるらしく、
これはとても面白いですよね。
そういった研究をしているらしくて、
これは私はこのエントリーでは物理学って言ってますけど、
どちらかというと神経生理学とかFMRIとか、
そういう機械を使って人間の脳の機能を観測していくような学問がありますけど、
それに近い印象を受けて、
なのでこのLLMを新たな生態とまで言えないかもしれないんですけど、
知能のモデルとして外部から観測することで、
80年代にコンピューターというのが認知心理学とか、
そういう人間に知性を分類する新たな分野を生んだように、
このLLMに対する研究というのが、
人間の知能ってどういうことなんだっけっていう、
そういう逆方向の、もっと知性に対する洞察みたいなのが生まれそうな学問を切り開きそうな気がして、
これを読んでワクワクしました。
それではありがとうございました。
