AIのメモリーレイヤーの重要性
皆さんこんにちは、草のみきです。 宮武です。
Off Topicは、アメリカを中心に最新テクニックやスタートアップ、ビジネス情報を緩くかぼえしながらご紹介する番組です。
今回のトピックは、AIブレインロットとコンテキストロットについて話していきたいと思います。
はい。2026年に収録時はなってないですけど、
だいぶ先の収録ですよね。まだ11月ですからね、こっちは。
まだイベントも無事に終わったんでしょうか。
無事に終わったといいですけど、Off Topicの方だと、特に僕がすごい焦っちゃうので、早め早めと収録したいっていうところで、
11月の割と初めの方なのに、2ヶ月前ぐらいに1月分を収録しちゃっていますっていうところで、
今日に関しては、AIメモリー、AIの記憶のレイヤーですね、
と、そこに対する課題感について話していきたいなと思うんですけど、
今まで結構、このメモリーレイヤーについての話ってしたと思っていて、このAI時代の中での。
たぶん一番最初にこういう話をしたのって、2023年ぐらいだと思うんですよ、セカンドブレインのタイミングですね。
その時にそのAIシスタントを作る中だと、こういういっぱい情報を集められるようなセカンドブレインみたいな存在が必要になっていくみたいなことを話していたと思うんですけど、
その後に、たぶん一番話したのが2024年の1月とかですかね。
なのでちょうどこのエピソードが出る2年ぐらい前になると思うんですけど、その時にはそのAIハードウェアが出てくる中で、
データの相互運用性があるレイヤーが必要みたいな、いろんなところからデータを集めるような、そういうレイヤーが必要みたいな話をしてたんですけど、
それがまさにたぶんこのメモリーレイヤーみたいな話で、個人的にはこれがAI時代の中の一つのOSのレイヤーになると思っていて。
なので今日に関してはこのメモリーがなぜ大事なのかっていうのをもう一回話して、その中でAIメモリーの今の課題感みたいなところについて話していけたらなと思ってますね。
はい、なのでまずなぜ重要なのかっていうところでいくと、今現在のモデルってやっぱりすごい一発屋っていう言い方が正しいのかちょっとわかんないんですけど、
一回質問すると一回回答が返ってくるっていう。今のLLMって予想するエンジンなので、回答を。なので一回予想をちゃんとしてくれると。
場合によっては2、3回やってくれるかもしれないんですけど、基本的にそんなに回数としては多くないですと。
ただやっぱり人間の行動とか考えとかを見ると、常にいろんな予想をして回答にたどり着いていると思うんですよね。
これは特に話しているだけのタイミングじゃなくて、例えば人がコンビニに行くときにいろんな予想を自分の頭の中でしながら動いていて、それが一部予想、一部記憶を使っての予想ですよね。
なので例えばドアがどうワークするのかみたいなところはもう自分の頭の中でドアっていうコンセプトがあって、引くか押すかっていうなんとなくのフレームワークが入っている中で、それを覚えてそれに対して行動している。
押すと開くだろうとか引くと開くだろうみたいな予想をしているっていうのが、それがいっぱいそれをつなぎ合わせてやっているのが人間だと思うんですけど、
今のAIモデルがそれがそこまでできないっていうのが一つ大きな課題なのかなっていうところですね。
それは学習データがたまったらできるってことじゃなくて。
一部は学習データがたまったらできるんですけど、そこに対するまずデータ量が足り、キャパが足りない問題があって、人間ってもうすごい大量のデータを常に自分の中に入れている中で、さらに記憶の概念があるので覚えてるんですよね。
でも機械ってどうしてもそこのメモリーの限度が今まだまだあって、特に人間の場合ですといろんな情報をインプットしてるじゃないですか、テキストの情報だけではなくて、目からもそうですし耳からもそうですし鼻からもそうですし口からもそうだと思うんですけど、
あと感触みたいなところも情報として取り入れてるんですけど、それが今そのデータを全部取り入れるのに膨大なデータ量になってしまうので、なので今そういう制限がかかっているっていうのが今の現状かなっていう。
ただやっぱりこのデータをいっぱい集めることによって、よりその人の記憶とか、よりパーソナイズができるとか、そのAIにとってはそのメモリーレイヤーみたいなものはすごい重要な要因ですと。
だからこそ去年もいろいろ話したと思うんですけど、そのブラウザーを多くのAI企業が狙っているっていうのはまさにこのAI自体でのOSレイヤーの一つのオプションとしてあるのがこのブラウザーだと思うんですよね。
ブラウザーの役割と普及
オープンAIですと、最近Atlusを出して、ブラウザーカンパニーですとDeer、昔Arcですけど、パワープレキシティですとCometみたいなところで、このAIブラウザーみたいなところを作ろうとしているプレイヤーがどんどん増えているんですけど、
増える、そこに注力する理由としては、そろそろGoogleがChromeでやっているように普及活動のため、やっぱりどうしても僕も未だに全部の検索をChatGPTでやっていなくて、一部はGoogleでやってしまっているんですよね。
それってやっぱり、僕がChromeのブラウザーを使っているときには、新しいタブを開けてそのままURLのバーで検索しちゃうからっていうところもあって、そこのコードを変えるのって結構難しいじゃないですか。
ブラウザで検索するっていうのが組み込まれてますもんね。
特にたぶん我々の世代とかは特にそうだと思うので、なのでやっぱりそれをブラウザーそのものを変えられると、その検索がそもそもこれからPowerPlexになったり、OpenAIのChatGPTになったりするので、そこで変えられるっていうのが一つの意味合いとしてあるので、普及率に関わるっていう話もあるんですけど、
ただやっぱりそれ以上に、一つのアプリの中の情報だけではなくて、アプリをまたいだ、ウェブアプリをまたいだ形で情報を集められる。
ユーザーが何にクリックしているのかとか、どういう行動をブラウザ内で起こしているのかっていうのを全部把握できるようになるっていうのは、OpenAIからするとめちゃくちゃ大事な情報になってくる。
よりそのユーザーを理解するための情報になるっていうところですよね。
彼らからすると、当然ながらChatGPTないでコマースを取り入れるとか、そういうのもいろいろやってはいるんですけど、やっぱりそのデータだけだとどうしても足りないっていうのを彼らも理解していて、
だからこそ、それ以上のデータを集めることによって、個人の好みとか何を実際やっているのかっていうデータを集めることによって、メモリーレイヤーからアイデンティティレイヤーみたいなところまでちゃんと落とし込めるっていうところですよね。
だからこそ、OpenAIでChatGPTでサインインするみたいな、ログインするみたいな機能とかを割と積極的に今動こうとしてるっていう話も聞きますし、
他社アプリで、OpenAIのChatGPTの過去履歴を全部取り入れられるみたいな話とかはしているのは結構大事だと思っていて、これこそOpenAIのCFOのサラフライヤーさんという方も話しているんですけど、
やっぱりこのメモリーが今既存のサービスの上に乗っかる、オーバーレイされることによって、最終的にOpenAIがGoogleを検索市場で勝つのが、このメモリーレイヤーがあるかないかのところが勝負だという話をしたことがあって、
過去、この発言をした時、たぶん2025年の10月頃だったと思うんですけど、過去半年間でシェアを6パーから12パーまで上げることができたのは、やっぱりこのメモリーレイヤーみたいなものがあるからっていう話はしてましたし、
やっぱりメモリーレイヤーがあることによって、優位性が初めて作られるんですよね。いわゆる今までですと、同じプロンプトをOpenAIのChatJPTとPowerPlexityとGoogleのGeminiと、その他、例えばAnthropicのCloudとかにとりあえず入れて回答を比較するみたいな行動を取ってた人って結構多かったりすると思うんですよ。
でも、それを今後やる上で、過去の履歴を持ってるかどうかによって回答がよりパーソナリズムになる、よりその人に合わせた回答とか検索方法が変わっていくとなると、そのChatJPTを10回使って11回目を使った方がPowerPlexityを初めて使うよりも絶対いい回答が返ってくるみたいな。
そうすると、より多くの回数でChatJPTを使うっていう、それこそ去年話したパーソナリゼーションのネットワーク効果みたいなものが出来上がる可能性があるのかなと思うので、そこの一番大事なポイントっていうのは、このメモリレイヤーをしっかり取ることっていうところですね。
結構、確かに私たちの世代だとGoogleって検索するみたいなのってやってきたと思うんですけど、最近だとTikTokとかで検索かけるじゃないですか。それがGoogleとかよりもおいしいお店探すとか、悩みを相談するとか、なんか面白いコンテンツ探すとかもそうですけど、
TikTokも検索として使われている、ニアリーイコールブラウザーとしての機能も、もしかしたら可能性もあるのかなっていうのをちょっと聞いてて思って、TikTokの中で自分のパーソナライズの情報も持ってるから、
なんか、そういう機能ができたら使いたいなって思う。いいパーソナライズができそうだなって思いました。
でも、たぶんまさにバイトダンスの中だとこういうインターレストグラフみたいなのがまさにそういうものだと思うので、それを一つのアプリ内でやっているっていうところだと思うので、あとはこれをバイトダンス側からするとこれを広めたいのかどうかっていうところ。
オープンAIとか他社のサービスとかですと、そこのデータを取りたい。そこのデータってアプリ上ですとなかなか取りづらいじゃないですか。たぶん唯一取れるのってOSレイヤーの人たちなので、GoogleのAndroidを持ってるGoogleか、もしくはAppleのOSっていうところなので、そこのデータが取れない中だと、もうウェブ上で取りに行くしかない。
となると、やっぱりブラウザーっていうところのデータを持っていると、これはユーザーがどこまで許すかどうかっていう話でもあるんですけど、理論上ブラウザーのレイヤーを取っていれば、もしTikTokをウェブブラウザーで見る人ってそこまで多くないと思うんですけど、ウェブで見た場合にそこのデータを取れるっていう。
場合によってはそこの過去、履歴残るじゃないですか。過去を見た動画の履歴、TikTok上ですと。最近スレッツとかでも多分インスタグラムとかでも出してたと思うんですけど、それをとりあえず取りに行くとかっていう話かもしれないですけど、いわゆるデータを集めるパイプがこのブラウザーとしては非常に優れているのかなっていうふうに思いますね。
メモリーとデータの議論
で、当然ながらそれが後々広告とかの領域にもしっかりつながっていくので、実際何を購入したとか何を見てるのかとか、しかもそれがアプリをまたいだ瞬間が見えるので、Google、何か例えばChatGPTって検索してたのを後々Amazonで見たときに本当につながったのかどうかとか、そういうのがより見えるようになってくるので、
そういう意味ですと、オープンエンドとしての大きなマネタイズの道のりとしてあるのがこの広告かなっていうところなんですけど、これもどっかのタイミングで多分やっていくと思いますし、それこそ元インスタカートCEOのフィジシモさんを採用したと思うんですけど、
彼女は元々メタのFacebookアプリのトップで、そこで一時期Facebookのマネタイズを担当してた人なので、まさにこの広告事業を作った人でもあると思うので、そういう意味ですと多分彼女が採用された一部の理由としてはこういう取り組みを最終的にしたいからなのかなっていうふうには思いますね。
で、あとこのメモリの領域に関して一つすごい議論されているポイントが、そもそもこれってオープンになるかクローズドになるかっていう話だと思っていて。
だからクローズドっていうと本当にオープンAIが全部のチャットGPTのログインを全部のサービスにできるだけ自分たちで入れて、でもそこのチャットGPT経由でメモリができるみたいなこともあるんですけど、多分理想中の理想を言えば各ユーザーが自分のメモリレイヤーを抱えていて、
で、そこでこのアプリだとこれをこの部分のメモリを使えるようにしますよみたいなそこの判断をユーザー側が権限を持つような形だと思うので、そこのそこ関連のサービスも結構最近出てきてますし。
でもそれに対してやっぱりオープンAIとかGemini、GoogleのGeminiとかそういう大型のプレイヤーに関しては複数アプリを持っているからこそ、そのより多分少なくとも短期的に言うとより利便性の高いメモリレイヤーを作れてしまうのかなと思うので、ここの戦いっていうのは多分今年特に行われるのかなというふうに思いますね。
なので、このメモリレイヤーの重要性っていうところの中だと、第一ステップとしてあるのが、より多くのデータを集められること、それに対してそのデータを保管できるようにすることだと思うんですよね。
ここに関しては、多分2024年ぐらいからかなり多くの会社が動いているんですけど、そのコンテキストウィンドウってよく聞くと思うんですけど、コンテキストウィンドウをどんどん拡大していこうっていう話が結構出てましたよね。
去年、2025年ですとさらにそれが加速してたと思うんですけど、やっぱりこのメモリレイヤーが重要だからこそ、そこに対していっぱい記憶力のキャパをどんどん広げるっていうのが大事になっていますと。
なので、オープンAIもアンスロピックもマイクロソフトも、自分たちの今抱えてるAIシステムに対してより大きなメモリを持つようになりましたっていう機能アップデートとか発表とかをしてるんですよね。
このコンテキストウィンドウを増やすっていうところで言うと、すごい簡単に言うとプロンプトとかでより長い文章を書けるとか、昔ですと本当にエッセイ分の分量しか出せなかったのが、今だともう本を入れられるとか、コードで言うと部分的なコードを出すのと、
あと会社のリポジトリ全部入れて、それでAIにいろいろそこでバグを直してもらうとか、それに合わせたコードを書いてもらうみたいなことができるようになってくるので、将来的には多分映画をアップロードするとか、その前だと曲とかアップロードするみたいなことも全然できるようになるのかなっていうところですね。
で、それ多分まずはプロンプトとか自分がコントロールできるもののアップロードのキャパを増やすっていうところなんですけど、もう一つあるのが、どうしても一社だけで全部のカバレッジを持てるわけないので、第3社と連携して第3社からデータをもらえるような仕組みを作らないといけないっていうところで、これがそれこそMCPみたいなエコシステムができあがっているのは、
本当にこういうAIシステムとして、よりいろんなサービスから情報を引っ張りやすくするため。で、やっぱりこのChatGPTとかも、GoogleのGeminiとかも、例えばセールスフォースとつなげて、そこからデータを引っ張れるようにするとか、そこでAIエージェントがそこを中で動けるようにするとか、そういう取り組みっていうのがどんどん今発展しているような形となってますね。
じゃあ、ここの中でコンテキストウィンドウをより拡大して、そのキャパがどんどん増えると、より多くの情報を入れられるじゃないですか。そこに対してどういう課題が生まれるのかっていうところを、最近研究が割と行われていると思っていて。
AIブレインロッドの研究
ただ情報を増やすだけでシンプルにAIモデルが良くなるかっていうと、実は良くならなくて、実はいろんな課題が生まれているんですけど、その2つの課題を軽く紹介すると、1つがAIブレインロッド。
人間のブレインロッドもあったと思うんですけど、AIもブレインロッドがあるんじゃないかっていう話が1つと、もう1つがAIのコンテキストロッドっていう2つの大きな切り口があるので、そこを2つとも話したいと思うんですけど。
まずはブレインロッドから行きましょうか。ブレインロッドに関して、そもそも単語として、2年前になりますかね、2024年の流行語大賞になるんですかね、アメリカだとワードオブザイヤーになるんですけど、ブレインロッドでどう説明したらいいんですかね。
どう説明したらいいんですかね。コンテンツ見すぎて脳が腐るみたいな。
脳が腐るっていう直訳だとそうなっちゃいますよね。特に情報を見すぎっていうのも、特にあんまりクオリティの高くない情報がすごい増えているので、それによって脳に対する悪影響があるんじゃないかみたいな話だと思うんですけど。
そのコンセプトってLLMにも対象となるのかという研究を、去年ですかね、2025年にテキサス大学オースティン校とテキサスA&M大学とパデュー大学の研究者が合わさって研究していたんですけど、
いわゆる人間と同じようなあんまり良くないコンテンツをLLMがそれによってトレーニングされた場合に、それだけじゃないですけど、それも含まれた場合にどう影響を与えるのかっていうところを見ましたと。
すごい簡単に言うと、2つのオープンソースのLLMを使っていろんなテストをやっていたんですけど、各LLMに対して2つの種類のいわゆるSNS投稿をインプットとして導入したんですよね。
1つはSNS上でちゃんとエンゲージされているもの、ある程度クオリティが高いと彼らが見成したもの。
もう1つはもう少しセンセーショナルな、ハイプされたもの、いわゆるクリックベイト的なスレッドとかそういうのを、それが彼らにとってあまり良質高くないコンテンツですね。
それをインプットとして導入したときにどうなったかというと、よりクオリティの低いコンテンツを受けたモデルの知能が低下して、論理思考能力も低下して、
より倫理的にもおかしくなったり、より間違いを言うようになったり、そもそも考えずに答えにより直接たどり着こうとする傾向があったと。
なので簡単に言うと、よりパフォーマンス性が悪くなりました。しかもその後に、そのモデルに1回悪い影響を受けたモデルに対して良いデータを、よりクリーンなデータをリハビリとして与えたんですよ。
クリーンっていうのは?
よりエンゲージメントの高いものとか、よりクオリティの高いデータを渡したんですけど、それでも復活はしなくて、多少なりはパフォーマンス上がったんですけど、でもやっぱりそれでも倫理的に問題があったり、間違いをより他のモデルと比べると言うようになったりとか。
するので、いわゆるある意味の知能的な傷跡が残っていて、これも人間と同じだと思うんですけど、1回ファイノットで悪影響を受けると、なかなかリカバリができない。
人間もそうなんですね。
人間も多分なんとなくそうだと思っていて、ここに対してどこまで研究があるかどうかちょっとわかんないですけど、やっぱり1回そこ、そうなってしまうとなかなか抜け出しづらい部分あると思うので。
なので、いわゆる全体的にブレインロッドみたいなものはAIの中でも存在するんじゃないかという結論をこの研究者たちは出していて、これに対するカウンターで言うと、今のLLMって割とクオリティ良いじゃないですか。
それって言っても、インターネットのあらゆるデータでトレーニングされているので、当然ながら悪いデータもいっぱいあるわけじゃないですか。
なのに、ある程度のクオリティのものを出してくれているので、別に当然ながら多少なり低下をするかもしれないんですけど、全体的に見ると別にそんなに悪くないんじゃないかっていう、多分言えるのは言えると思うんですよ。
ただ同時に言うと、今のLLMって基本的に割と平均的な答えを出してくるパターンが多いので、なので平均っていうところはやっぱり低クオリティのものが多いからっていう話でもあるのかなと思いますね。
それが一つのカウンターで、もう一つのカウンターが特に最近ですと、エキスパートコンテンツの量が圧倒的にAIモデルの人たちは増やそうとしている。
これはそのいろんな例えば弁護士とか科学者とか哲学者でも何でもいいんですけど、実際採用して、大体パートとかで採用して、いろんな答えとかタスクを与えて、それでモデルをトレーニングしようとしてるんですよね。
これが多分まさにメルコアって我々も去年ちょっとカバーしたサービスですけど、がやってることでそこの採用の部分を手伝っているんですけど、なんで例えばこれも去年ちょっとニュースになってたんですけど、オープンAIが去年元投資銀行の従業員を100人以上採用したんですよね。
その100人に対して何をやらせたかというと、金融モデルを作るためにAIモデルのトレーニングを手伝わせてもらってたんですね。
それ以外もいろんなエキスパートを採用していたんですけど、そこのエキスパートのヒアリングとかすると、やっぱり徐々にAI側が上達していますと。
なので、2年前ですかね、2024年にオープンAIのO3モデルにいろんなタスクを与えて、何かの分野で与えてたんですけど、それが毎週3つぐらいオープンAIのそのO3モデルがやったことないタスクを彼が教えてたんですよね。
去年とかですと、もう週1個ぐらいしか考えられないみたいなところなので、基本的にもうどんどんどんどん成長しているので、それを考えるとそのモデルのエキスパートナレッジっていうのはどんどんどんどん上がっているので、
多少なりそういう低クオリティの情報が入ってきたとしても、それに補う分のエキスパートコンテンツが入っているのかもしれないですと。
なのでそこはちょっとどっちが、このブレインロッドっていうものが本当にモデルの、確かにモデルの低下にはつながるとは思うんですけど、それがあったからとして必ずしも全部のモデルが本当に低下するわけではないと思っていますと。
エキスパートコンテンツの役割
ただ、1つの情報のクオリティによってモデルのクオリティも変わるっていうのは当然ながらのことだと思うので、そこが多少なり検証されているというところですね。
ミネターキさんがヒアリングした方は、金融モデルを作っている方ってどうですか?
彼は金融モデルの方ではない人で、全然違う分野でのエキスパートで、そこに対してタスクをお願いされてたんですけど、
それこそ、例えばヘルスケアもありとか、バイオもありとか、リーガルもありとか、いろんな分野でこういうことって、オープンAIだけではないんですけど、いろんなAIモデルがやっているので、そこのエキスパートデータっていうのはどんどん広がっていますと。
ちょっと余談っていうか、違うトピックになってしまうんですけど、今までエキスパートデータを集めるっていうのがすごい人気じゃないですか、AIモデルの中で。
PHDの学生もめちゃくちゃ声かかってるらしくて、今普通に学校に行ってる学生とかも含めて1時間100ドルとか200ドル払うので、いろんな質問答えてくださいみたいな、そのAIトレーニングのためにっていう動きがある中で。
昔はそもそもインターネットの情報そのものを引っ張ってきていたと思うんですよね。
クローラーみたいなデータを使って、コモンクロールとかって多分すごい人気だったと思うんですけど、そこからデータが足りなくなったので、
インターネット使えるデータを全部使っちゃったので、その次にオープンAIとかアンソロビットとかそういう会社がどこに行ったのかというと、ライセンスデータだと思うんですよね。
実際、メディア企業と提携したりして、そこでよりリアルタイムの情報とか、よりニュースの情報とかそういうのをどんどん取り入れるようになったんですけど、
場によって例えばRedditとか会話データとかそういうところだと思うんですけど、その次に何が起きたのかというと、今のエキスパートデータ。
じゃあ次は何なのかというと、一部仮設されているのはよく言われる合成データですね。
なので、合成データがそもそも本当にモデルのトレーニングに役立つのかみたいな話ってずっと議論されていたと思うんですけど、
多分2024年ぐらいから割と本格的に使われ始めていたのかなと思っていて、
GoogleのDeepMindも一部の数学を解くためのAIモデル、アルファジオメトリーっていうモデルがあるんですけど、
それは一部合成データを使ったっていうのを彼ら明確に言っていて、
合成データを使うと、それを合成で作って、それに対してシミュレーションを起こして、それで答え合わせをするっていう無限のデータ生成ループが作れるので、
それをうまく使っていますと。
なので、この合成データっていうところは非常に個人的に面白いと思っていて、
最近イロンマスクもGlock5とかGlock6、早ければGlock5、遅ければGlock6はインターネットのデータをそもそも全部使いませんと。
ほとんど合成データによってトレーニングされますみたいなことを言ってたりするので、
それが本当に起きるかどうかわかんないですけど、合成データを、これ理論上の話にしかならないですけど、
合成データを無限に作ることができれば、いずれかは合成データによって全くオフトピックをリファレンスせずにオフトピックって作れるようになるっていう。
オフトピックは何を指してますか?
このPodcastを。
オフトピックのコンテンツそのものを意図せず、一切オフトピックっていうものを知らずにこのコンテンツを作ることが理論上可能になるっていう。
それは、この合成データっていうもの自体が本当にトレーニングでめちゃくちゃ使われるようになった時に、
今のメディア企業とかコンテンツを作ってる人たちからすると、そもそも彼らのコンテンツってトレーニングとってどこまで必要なのかみたいなところは問われる可能性はあるかなと思います。
ニュース系は全然別だと思うんですけど。
なんでまあそういうなんかちょっと面白い課題っていうのも出てくるかなと思いますし、
例えばそのオフトピックのPodcastコンテンツをそのまま合成データで誰かが作れてしまったとなると、
それってなんか著作権侵害になるのかとか。
AIブレインロッドの課題
それはその人の頭の中でしかわからないってことですか。
AIが合成データとして出してるもので、一切インターネットの情報でトレーニングされてなかった場合、
いわゆるそのオフトピックをリファレンスしてないので、
それでたまたまオフトピックと同じものを作れるっていうのって理論上可能だと思うので。
もう別に製作者とかいないってことですか、そもそもじゃあ。
製作者がいないですね、その場合は。
AI自らが製作者になるっていうことですね。
自然にできてしまってってことか。
そうですね。
普通だと何かしらの形でリファレンスされて、全く同じものになった場合にオフトピックが作権を出したりとか、
著作権を持っていればそれに対して侵害してるみたいな話ってできるんですけど、
そこが適用するのか、場合によってはそれが例えばトレーニング用だけで使われたらいいのかとか、
そこら辺もいろんな課題が出てくると思うので、
この合成データっていうもの自体は個人的にすごい興味あるんですけど、
いろんな課題を作りそうだなっていうふうには同時に思う部分ありますね。
コンテクストロッドの研究
なので、合成データの話は一回おいて、もう一回AIメモリの方に戻ると、
さっきAIブレインロッドみたいな話をしてたと思うんですけど、
もう一つ課題があると思っていて、
それがこのAIコンテクストロッドっていう話になるんですけど、
AIブレインロッドに関しては情報のクオリティの問題だったと思うんですけど、
コンテクストロッドに関しては量の問題になっていて、
いわゆるLLM上のコンテクストって何かというと、与えるインプットなんですよね。
すごい簡単に言うとプロンプトの文章がコンテクストじゃないですか。
そのコンテクストっていうものは一文かもしれないですし、
エッセイかもしれないですし、本かもしれないですし、長文だったり短い文章だったりすると思うんですけど、
ある企業、Chromaっていう企業がこのコンテクストロッドについての研究を出したんですけど、
インプット量、コンテクストを増やすとLLMのパフォーマンスってどうインパクトされるのかっていう研究なんですよ。
今まで多くのAI企業とかが出してきた研究結果とかだと、
基本的にはコンテクストが増えたとしても、
彼らのコンテクストウィンドウ、いわゆるキャパ内であれば、
均等にLLMは対処してくれますと。
なので、短い文章を出しても、長文を出しても、
基本的に同じようなパフォーマンスを出してくれるんじゃないかと。
っていうのが一般的に言われてたことで、
でもこれを証明するベンチマークがあるんですけど、
そのベンチマークがそもそも間違ってるんじゃないかっていうのが、
このChromaが指摘してるポイントであって。
今のコンテクストウィンドウが長くなるとか、
コンテクストがより多くなるとパフォーマンスが変わらないっていうためのベンチマークが、
英語で言うとNeedle in a Haystack、NIAHベンチマークっていうのがあって、
このNeedle in a Haystackって直訳すると、
星草の山から針を探すみたいな。
よくアメリカで言われるフレーズなんですけど、
どういうテストかというと、長文をAIに渡しますと。
その中から、例えばその長文の中に、
キャラクターAはブルーイっていう犬を飼ってましたっていう、
どこかの中にそれが入ってますと。
そこのAIに対して、その文章を渡した後に、
そのキャラクターAの犬の名前は何でしたかっていうのを聞くんですよ。
で、そこでブルーイって答えたら、
じゃあちゃんとわかってますねっていう話なんですよね。
でもそれってすごい直接的な引用でしかなくて、
それがそもそも正しいのかと。
その文章を理解してるのかっていうのが大事なんじゃないかっていうのが、
Chromaの指摘してるポイントで。
直接引っ張り出しただけで、パフォーマンスが本当にいいかどうかは分かりませんと。
なので彼らはLLMにいろんなタスクを与えたり、
例えばサマリーを知ってくださいとか、
あとは非直接的な質問を聞いたり、
あとは気を散らすための文章をあえて入れてたり。
例えばキャラクターAの犬の名前はブルーイなんですけど、
そのちょっと前の文章の中で、
ボブっていう犬の名前が出てきたりとか。
それでいわゆる間違えられるような文章設計にしたんですよね。
それでいろんな質問をした結果、
彼らの中のベンチマーク、
彼らは18個のLLM、
GPT 4.1とかクロード4とかジェミニー2.5とかクエイン3とか、
いろんなところを試したんですけど、
基本的にはインプットの長さが長くなるほど、
パフォーマンスはより信頼できなくなる。
なので均一にはなってないっていう話で、
より長い文章とか、
それこそその中で間違ってる情報とか、
反する情報とか、
いろんな情報が入ってると、
より間違いやすくなりますと。
なので、ただただデータとかキャパを増やすだけでも、
実はこのメモリー問題っていうのは解決してなくて、
ただ第一ステップとしては、
このキャパを増やすっていうのが技術的にまず第一ステップとして必要で、
さらにその中でどうこのメモリーを処理するかっていうのを話すのが、
今後すごい大事になっていく。
それの多分いろんなやり方があるんですけど、
そこについて来週話していきたいと思っていて、
ここのメモリーに対する考え方だったり、
そもそも全部のメモリーを一つの場所に集めるべきなのか、
そこに対して一つのAIモデルだけで対処するべきなのかとか、
いろんな多分答えがあると思うんですけど、
この情報が同じように保管されるべきなのかみたいな話も含めて考えるべきで、
これは正直答えはないんですけど、
結構人間の脳とかを考えると、
情報の処理の仕方ってすごい面白いふうにできてるなと思っていて、
人生、基本的にそんなに苦労しないじゃないですか、
生きていく中だと。
何がですか。
人間として何か、
例えば普段の生活。
メモリーに関して記憶とかですか。
普通に例えばスーパーに行くとか、
生きていく中での行動として問題がなかったりする。
やっぱり何が重要なのかみたいなものって、
常に我々の頭の中で処理されていて、
そこのプライオリティ付けが常にされているので、
そういう形でAIのメモリーレイヤーみたいなものも、
将来的にそういうのがもしかしたら必要になってくるかもしれないのかなっていうところで、
そこはちょっと来週もっと話せたらなというふうに思いました。
はい。
じゃあそんな感じで、
今回も聞いていただきありがとうございました。
気になった方はHotpic.jpのフォローお願いします。
そしてメンバーシッププログラムをHotpic.comもやっているので、
気になる方はチェックしてみてください。
また次回お会いしましょう。さようなら。
さようなら。
