00:00
はい、どうもこんにちは。 薩摩訛りの耳毒ラジオ、みやけんです。
本日の耳毒GNBですが、AIの話題となっております。
まず、普段のAIを使っていて、なんでこうなるんだろう、という、特に苛立ちポイント。
今回のこのYouTubeを見てですね、なるほどといろいろ不に落ちた部分があって、だとすればこうしなければならないなっていうのも確かにというところがあったので、
それの共有という感じでアップさせていただきました。それでは、耳毒GNB本編をどうぞ。
あの、ちょっと想像してみてほしいんですけど、あなたの職場にものすごく優秀な同僚がいるとしますよね。
え、頼りになる人ですね。
そうなんです。どんな難題でも一瞬で答えてくれるし、複雑な資料の作成も完璧で、本当に頼りになる存在なんですけど。
でも、一緒に長時間のプロジェクトをこなしているうちに突然、さっき決めたルールを無視し始めたり、全く的外れなことを言い出したりするんですよ。
さらには、返事をするスピードが極端に遅くなったりして、あれ?さっきまであんなに賢かったのに、一体どうしちゃったの?って、ちょっとイライラしてしまいますよね。
まさに能力が急激に低下したように見えますね。人間相手なら、少し疲れてるのかな、コーヒーでも入れようかって済みますけど、相手が画面の向こうのシステムだと、どう対処していいか分からず混乱してしまいますよね。
そうなんですよ。そして、多くの人がこれと全く同じ経験を日々のAIに対して抱いていると思うんです。
えー、よく聞く話です。
日常的に使っていると、長い会話の後半で急になんかポンコツになる瞬間があるんですよね。
ありますね。
今日は、この現象の裏側で何が起きているのかをディープダイブしていきます。
実は、私たちがAIに対して、なんで分かってくれないの?って怒っていたのは、
AIが急に愚かになったからでも、機嫌が悪いわけでもなく、根底にあるシステムの仕組みそのものが原因だったんです。
そうなんですよね。ここで非常に面白いのが、今世界を接近している最新のモデルであっても、この根本的な弱点から全く逃れられていないという事実なんです。
逃れられていない、なるほど。今回のディープダイブでは、YouTubeチャンネルAI真相部の非常に興味深い解説動画、
なぜAIは長い会話で話を忘れてしまうのか、という情報源をベースにしています。
03:03
はい、素晴らしい解説動画ですね。
AIの脳内で一体何が起きているのかを徹底的に解剖していきます。
私たちのミッションは、リスナーの皆さんが抱いている、AIは私たちの会話の文脈をずっと記憶してくれている、という最大の思い込み。
思い込みですね。
これをくすがえすかとです。そして、今日からすぐに仕事やプライベートで使える、AIを賢く操るための実践的なハックを持ち帰っていただこうと思います。
AIの挙動に関するフラストレーションは、その裏側でどんなデータ処理が行われているかを知ることで、劇的に解消できますからね。
では、まず衝撃的な事実から入りましょうか。
はい。
AIが話を忘れる理由を探るには、私たちがチャット画面で言葉のキャッチボールをしている裏側で、一体どんなデータのやり取りが行われているかを知る必要がありますよね。
そうですね。そこが一番重要です。
結論から言うと、そのAIは過去の会話を一切記憶していない、ということであっていますか?
その認識で間違いありません。
一切ですか?
一切です。私たちがAIの返答を受け取るたびに、AI側の記憶はきれいにリセットされているんです。
つまり、毎回完全にゼロの状態に戻っているんですよ。
いやいや、ちょっとちょっと待ってください。
じゃあ、なんで会話が成立しているように見えるんですか?
と言いますと、
例えば、さっきの企画書の件だけど、やっぱりトーンを少しカジュアルにしてって言ったら、ちゃんとさっきの企画書を直してくれますよ。
ああ、なるほど。それはAIが覚えているからではないんです。
違うんですか?
はい。あなたが新しい短い質問を一つ送信したとき、システムの裏側では、これまでの会話の全履歴と今回の新しい質問を合体させているんです。
合体させて。
ええ、それを毎回丸ごとAIに送信し直しているからなんですよ。
それはつまり、
1往復目の挨拶から50往復目の最新の質問まで、毎回毎回最初から最後まで全てを読み直させている状態なんです。
なるほど。つまりこれって、数秒ごとに記憶を完全に失う天才秘書に対して、毎回分厚い疑似録の束をドスンと机に置いて、これ全部最初から読んで続きの一行を書いてって頼んでいるようなものですよね。
ははは、完璧な例えですね。まさにその疑似録の束の厚さにはシステム上の限界がありまして、
限界が。
はい。AIの世界ではこれをコンテキストウィンドウ、つまり文脈の窓と呼んでいます。
AIが一度に見渡せる視界の上限のことですね。
ああ、コンテキストウィンドウ。最近のニュースだと100万トークン読み込めるAIが出たなんて話題もありましたよね。
ええ、ありましたね。
このトークンって、私たちがあまり馴染みのない単位ですけど、具体的にどれくらいの量なんですか?
そうですね。日本語の場合、だいたい1文字が1から数トークンとして計算されることが多いです。
はい。
なので、100万トークンといえば分厚いビジネス書で何十冊分にもなるものすごい膨大なテキスト量になります。
本何十冊分?
ええ。
06:00
それだけの量を一瞬で読み込めるなら、日常の会話で窓からあふれさせる方が難しい気がするんですけど。
そう思いますよね。でも、もしその上限を超えて会話が流れ流れ過ぎたらどうなるんですか?
エラーが出て止まっちゃうとか?
いえ、エラーは出ないんです。
出ないんですか?
はい。窓から情報があふれたときは、一番古い最初のやり取りから静かに切り落とされていくんです。
静かに切り落とされる?
ええ。AIにとっては忘れたのではなく、最初から渡されなかった、つまり存在しない世界の話になるわけです。
ああ、なるほど。なんか私が最初に出力するときは絵文字を使わないでって指示したのに。
はい。会話の後半で急に絵文字を使い始めたことがあって、ちょっとイラッとしたんですけど、
あれは指示を忘れたんじゃなくて、その指示自体が窓の外に押し出されて消滅していたからなんですね。
まさにそういう現象です。
でも、だったらそのコンテキストウィンドウをもっと巨大にすればいいんじゃないですか?
おお、と言いますと?
100万トークンも入るなら、そもそもあふれること自体が稀ですし、問題は解決しそうですけど。
そこがですね、この問題の最も厄介な部分へつながるんです。
はい。
実は窓からあふれていなくても、つまりデータとしてはしっかり渡されているのに、
AIは書いてあるのに読み落とす、という致命的な欠陥を持っているんです。
えっ、書いてあるのに読まないんですか?機械なのに。
ええ、機械なんですけどね。
なんか人間みたいに斜め読みしてサボるってことですか?
サボるという意図はないんですが、結果的に似たような現象が起きています。
へえ。
2023年にスタンフォード大学の研究者たちが発表した
ロストインザミドル、真ん中で迷子、という有名な論文があります。
真ん中で迷子?
はい、これは20個の文章の束をAIに渡して、その中のたった1つにだけ答えを隠して探させる、という実験です。
はいはい。
いわゆる干し草の中の針を探すようなテストですね。
端っこの文章なら全部合わせても当然100万トークンの窓には余裕で収まる量ですよね?
ええ、すっぽり収まります。
彼らはその正解が書かれた文章の置き場所を1番目、5番目、10番目と意図的にずらしていって、AIの正答率がどう変化するかを測ったんです。
なるほど。
中身は全く同じで、場所だけを変えたんですね。
ちょっと待ってください。文章全体を瞬時に読み込める機械なら、答えが最初にあろうが真ん中にあろうが正答率は変わらないはずですよね?
人間ならそう期待しますよね。しかし結果は見事なU字型のグラフを描いたんです。
U字型?
はい。答えが1番目、つまり先頭にある時の正答率が約75%で最も高くて、最後である20番目にある時もほぼ同じくらい高かったんです。
ふむふむ。
ところが答えを真ん中あたりに置いた瞬間、正答率が20ポイントから30ポイントも激減したんですよ。
信じられない。全部読んでるはずなのになぜ真ん中だけすっぽ抜けるんですか?
09:01
不思議ですよね。
なんか校長先生の長い話の最初と最後しか覚えてない人間の記憶みたいじゃないですか?
ええ、本当に面白い現象です。AIが文章を読む時、どの言葉にどれだけ注目するかというアテンション、つまり注意力を計算しているんですが、
注意力、はい。
この注意力の総量には限界があるんです。
限界が。
文章が長くなればなるほど一定量のジャムを巨大なパンに薄く塗り広げるように、全体に行き渡る注意力が分散して薄くなってしまうんです。
ああ、ジャムの例えすごくしっくりきます。
ありがとうございます。
限られたエネルギーを広い面積に引き伸ばしているから、一つ一つの言葉に対する解像度が下がるんですね。
その通りです。
でもそれなら全体が均等に薄くなるはずですよね。なぜ最初と最後だけが濃く残るんですか?
いい視点ですね。理由は2つあります。
はい。
まず先頭が強いのはAIが学習する過程で、文章の冒頭には重要な前提や要件が書かれていることが多いというパターンを大量に読み込んでいるからです。
ああ、なるほど。
報告書でも手紙でもニュース記事でも大事なことは最初に書きますよね。
確かに、AIは過去の膨大なデータから最初の方に大事なことが書いてあるというバイアスを強く持っているわけですね。
そうなんです。
じゃあ最後が強い理由は何ですか?
それはAIの基本構造そのものに由来します。
AIの根本的な仕事は直前の言葉から次に続く言葉を予測することなんです。
はい。
次に何を言うべきかを決めるとき、最も大きなヒントになるのは当然直前に書かれた内容ですよね。
ああ、なるほど。私たち人間の会話でも相手の最後の言葉に対して返事をしますもんね。
ええ、まさに。
だから一番最後、つまり直前の言葉には最も強い注意が向く。
結果として最初と最後に注意力が偏って、中間に挟まれた部分は注意力がすっからかになる。
はい。
これが真ん中で迷子になるU字型の正体なんですね。
そういうことです。しかも先頭であっても正答率は75%なんです。
つまり4回に1回は読み落としています。
え、先頭でも読み落とすんですか?
ええ。ここに文章全体の長さによる注意力の希釈が加わるので、どんなに良い場所に大事な指示を書いていても、長い会話の中では徐々に効き目が薄れてしまうんです。
いや、ちょっと恐ろしいですね、それ。
そうですね。
でもそれなら単純に注意力の総量自体を増やせばいいんじゃないですか?
と言いますと?
真ん中を見落とすなら、もっと強力なスポットライトを全体に当てられるようにシステムを改良すればいい。
なぜ開発企業はそれをしないんですか?
そこには物理的というかお金と計算コストの巨大な壁が立ちはだかっているんです。
コストですか?
はい。クロマシャという企業が現在最前線の18種類のAIを集めて大規模な調査を行いました。
はい。
意地悪なフェイク情報を混ぜた長い文章を読ませるテストです。
おお、今のAIのオールスター戦みたいなものですね。結果はどうだったんですか?
12:01
例外ゼロ。全滅です。
え?全滅ですか?
はい。18種類全てにおいて、入力する文章が長くなるほど成績が落ちました。
条件によっては正当率が50%近く低下するものもありました。
半分も?
ええ。ここで重要なのは、この劣化は100万トークンの上限に達する遥か手前から始まっているということなんです。
限界を迎える前からすでに脳の処理が追いつかなくなってコンテクストの腐敗が起きているんですね?
その通りです。
でも、なんでそんなに急激に計算が苦しくなるんですか?テキストデータなんて動画や画像に比べたら軽いそうなのに。
AIがどの言葉に注目するかを計算する際、実は全ての言葉を他の全ての言葉と1回ずつ比較するという凄まじい作業を行っています。
全てを全てと?
はい。例えば10個の単語がある文章なら、1個目の単語を残り9個と比較し、2個目も残り全部と比較し、とやると大体10の2乗で100通りの計算が必要になります。
えーと、ちょっと待ってください。単純計算で、もし文章の長さが32倍になったら、
はい。
あ、すべての言葉を総当たりで比較するなら、掛け算じゃなくて2乗になるってことですか?
そうなんです。
例えば4000トークンから12万8000トークンになったら、32の2乗だから約1000倍ってことですか?
まさにそこがポイントなんです。文章を少し長くしただけで、計算の手間は1024倍に跳ね上がります。
1000倍。私が最近AIの返事がじわじわ遅くなってきたなって感じていた正体は、裏側で計算量が爆発していたからだったんですね?
ええ、そうなんです。しかも毎回最初から全部を計算し直していたら、本当に何十分もかかってしまうので、
実際のシステムではKVキャッシュという工夫を使っています。
KVキャッシュ。
はい。これは途中までの計算結果を一時的なメモとして保存しておいて、増えた単語の分だけを新しく計算する仕組みです。
おお、それなら毎回ゼロから計算し直すよりはだいぶ楽になりそうですね。
計算の時間は確かに短縮されます。しかし、今度はその計算結果のメモを置いておく場所がパンクするんです。
ああ、メモリの方ですね。
ええ。試算によると、一人のユーザーの100万トークン分の会話の途中計算を保持するだけで、約600GBのメモリが必要になります。
600?
はい。これは一般的な家庭用パソコン40台分に相当する容量です。
40台分。私一人がAIと長話をするためだけに、裏側でパソコン40台分のメモリが消費されていると。
そういう計算になります。
それは確かに企業側からすれば、注意力を無限に増やすなんてコスト的に絶対無理ですね。
そうなんです。だからこそ研究者たちは、全部を丁寧に比較するのを諦めて、近くの言葉だけを見るとか、うまくサボる設計を模索しています。
なるほど。
しかし、サボればサボるほど、当然見落としは増える。これが今のAIが抱える大きなジレンマなんです。
15:07
そういうカラクリだったんですね。私たちが毎回渡す疑似力の束が分厚くなりすぎて、AIは必死に読んでるけど、真ん中を読み飛ばし、しかも裏側では計算コストが爆発してパンク寸前になっていると。
ええ、その通りです。
あのでも、ここで根本的な矛盾を感じるんですけど聞いてもいいですか?
もちろんです。なんでそう?
裏側でそこまで無理をして計算していて、しかも毎回記憶が綺麗にリセットされているんだとしたら。
はい。
なぜ、昨日のチャットとは全く別な新しいチャットを開いた時でも、AIは私の名前とか文章の好みのスタイルを知っていることがあるんですか?
ああ。
毎回完全にリセットされているなら、私のことなんて忘れているはずですよね。
非常に鋭い指摘ですね。実は、そこが今のサービスに組み込まれている最も賢い工夫なんです。
工夫ですか?
はい。AI本体は相変わらず何も覚えていません。覚えているのは、AI本体の外側に用意されたメモ帳なんです。
外側のメモ帳。
はい。多くのサービスでは、あなたとの会話の中から、この情報は後で役に立ちそうだという要素を、例えば職業、好み、書き方の癖などを自動で抜き出して、
ええ。
別の場所にこっそり保存しています。これをシステムプロンプトやカスタムインストラクションと呼びます。
なるほど。
そして、あなたが新しいチャットを開いて話しかけた時、AI本体にデータを渡す直前に、そのメモ帳の中身を見えない形で会話の冒頭に貼り付けているんです。
つまり、新しい記憶喪失の天才秘書が来る度に、裏でマネージャーがこっそりこのボスの名前は誰誰で、結論から話すのが好きだぞっていう引き継ぎ資料を持たせてから、私の前に座らせているような状態ですか?
あはは、その表現がぴったりです。AIが記憶を取り戻しているのではなく、毎回カンペを渡されているだけなんです。
カンペなんですね。
さらに最近では、膨大な社内資料などのデータの中から、必要な時に必要な資料だけを検索して引っ張ってくる技術も使われています。
ほう。
これをベクトル検索やラグと呼びます。
ベクトル検索。それって要するに、私が赤いフルーツについて教えてって聞いた時に、資料の中に赤いフルーツという言葉が直接なくても、リンゴとかイチゴが意味的に近いぞってAIが理解して、その部分のメモだけを賢く探してきてくれるみたいなイメージですか?
いい線言ってますね。言葉そのものが一致していなくても、意味の近さを数字の近さとして測り、関連する情報だけを自動で探し出して、私たちが送るプロンプトにこっそり混ぜ込むんです。
なるほど。すごい仕組みですね。
今の開発の主戦場は、AI本体の記憶力をいかに上げるかから、いかに適切な資料を裏側で検索し、短く要約してノイズをなくしてからAIに読ませるか、という事前準備の勝負へと完全にシフトしているんです。
18:04
すごくよくわかりました。では、そういった仕組みがすべてわかったところで、私たちユーザーはどう立ち回るべきかという話に移りましょうか。
はい。
この、毎回ゼロから読み直している、真ん中は忘れやすい、計算が爆発する、というポンコツだけど憎めない天才秘書と、明日からどう付き合っていけばいいんでしょうか。
仕組みがわかれば、対策は非常にシンプルで強力なものになります。リスナーの皆さんに今日から実践してほしい、AIを賢く操る4つのルールを紹介しましょう。
お願いします。
まず一つ目は、大事な指示は最後にもう一度書くことです。
あっ、さっきのU字型の法則を利用するんですね。
そうです。
一番最後、つまり直前が最も注意力が高いなら、あえてそこに大事なことを持ってくると。
おっしゃる通りです。最初に過剰掛けで出力してと指示しても、会話が長引けば真ん中に埋もれて薄れます。
ええ。
だから、送信する直前の末尾にしつこいくらいにもう一度、必ず過剰掛けで出力してくださいと書く。これだけで無視する確率は劇的に下がります。
これはすぐに使えますね。念押しは人間にも有効だと。
はい。
そして、そもそも会話が長引くこと自体が問題なわけですが、どう防げばいいですか?
それが二つ目のルール。会話が長くなったら、要点をまとめていさよく新しいチャットに移る、です。
ああ、これ私よくやっちゃうんですよ。一つのチャットルームで延々と会話を育てようとしてしまうというか。
ええ。
長く話した方が、AIが私のプロジェクトの意図を深く分かってくれるような気がして、何週間も同じチャットを使い続けちゃうんですよね。
実はそれが最大の思い込みであり落とし穴なんです。先ほど見たように積み上がっているのは理解度ではなく、毎回読み直される分厚い紙タバコだけです。
耳が痛いですね。
返事が遅くなったり、対外ハズレになってきたと感じたら、AI自身にここまでの要点と決定事項をまとめてと指示します。
はい。
そして、出力されたその要約をコピーして、まっさらな新しいチャットの冒頭に貼り付けるんです。
自分で引き継ぎ資料を作らせて、新しい天才秘書に渡すわけですね。
これなら紙タバコの厚さが一旦リセットされて、もたサクサク動いてくれそうです。すごく実践的ですね。
はい。
じゃあこちらから資料を渡すときも気を付けた方がいいですか?
もちろんです。それが3つ目のルール。長い資料は丸ごと投げず、関係ある部分だけを切り出して渡す、に繋がります。
とりあえず全部読んどいてって、100ページのPDFを丸投げするのはダメだと。
でも100万トークン読めるなら、とりあえず入れといた方が親切かなと思っちゃうんですけど。
読めるからといって、無関係な情報を入れるのは危険なんです。
危険?
はい。無駄な情報はノイズとなり、先ほどのジャムの例えのように、限られた注意力を薄める邪魔者になります。
本当に必要な部分だけを抽出して渡す方が、遥かに的確で質の高い答えが返ってきます。
21:00
情報の断捨離ですね。自分が読む立場になっても関係ない資料を山ほど渡されたら嫌ですもんね。
ええ。
そして最後のルールは何ですか?
4つ目は、1つのチャットに複数の話題を混ぜないこと。
つまり、仕事の企画書の相談をしている同じチャットの途中で、
あ、そういえば明日のデートのレストランの候補出してとか、全く違うジャンルの質問をしちゃダメってことですね?
その通りです。話題が混ざるとどの文脈に注意を向けるべきか混乱し、お互いの情報が邪魔をしあいます。
1つのタスクにつき、1つの部屋を徹底してください。
いやー、この4つのハックを聞いてハッとしました。
AIの出来栄えって結局のところ私たちがどう資料を渡すか、つまりプロンプトの設計次第で劇的に変わるんですね。
そうなんですよ。
ポンコツになった時は頭が悪かったわけでもなく、ただ単に私が渡した紙束が分厚すぎたしノイズだらけだっただけだったと。
使う側の意識を文脈を記憶してくれる相手と話しているから、
記憶喪失の作業員に毎回的確で簡潔なマニュアルを渡すに切り替えるだけで、パフォーマンスは本当に別次元になりますよ。
それなら辻褄が合いますし、なんだかイライラも消えました。
それは良かったです。
でもあのちょっと思うんですけど、いつか未来の技術で毎回読み直すんじゃなくて、脳そのものが私たちの会話を本当に記憶できるようになる日は来ないんですか?
そうすればこんな面倒くさい工夫はいらなくなりますよね。
もちろん本体のパラメーター、つまり脳内のつまみを直接回して学習させ、真の記憶を持たせる研究も進んでいます。
しかしそこには計算コスト以外にもう一つ非常に厄介な問題があるんです。
何ですか?
新しいことを覚えると古い知識が壊れるという現象です。
壊れる?
ええ、これを破滅的包却と呼びます。
人間なら新しい知識を付け足すだけで済みますけど、AIは限られた数のつまみのバランスをとって全体を維持しているため、あなた専用の細かい記憶を無理やり書き込むと、
はい。
もともとできていた高度なプログラミングの能力や論理的思考力が上書きされて消えてしまう危険性があるんです。
うわあ、それは困りますね。
昨日まで天才だった師匠が私のコーヒーの好みを完璧に覚えた代償に簡単な足し算ができなくなるみたいな。
ああ、まさにそんな感じです。ただここで少し立ち止まって考えてみてほしいんです。
もし将来、技術的な壁を全て越えて、私たちのことを何でも記録し決して忘れない絶対的な記憶を持ったとしたら、
はい。
私たちは本当に幸せでしょうか?
幸せじゃないんですか?何でもわかってくれる完璧なパートナーになりそうですけど。
人間の関係が長く続くのは、実はお互いに少しずつ忘れるからだという考え方があります。
ああ。
私たちが機嫌が悪くて言った些細な愚痴、恥ずかしい勘違い、若気の至り、
もしそういった過去の一言一言を永遠に忘れなくなり文脈として蓄積し続けるとしたら、
24:02
なるほど。
それはあなたにとって全てをわかってくれる最高の相棒になるでしょうか?
それともあなたの過去のデータを全て握りしめた少し息苦しい監視者のように感じてしまうでしょうか?
いやあ、確かに。
今日私はすぐ忘れるポンコツだって文句を言って始まりましたけど、
一言一句完璧に記憶されることの恐ろしさには気づいていませんでした。
ええ。
リセットされるからこそ私たちは失敗を気にせず何度もぶつかっていけるんですね。
どこまで覚えていてほしいか、そしてどこからは忘れてほしいか、
その境界線をデザインしていくことは単なる技術の進化だけでなく、
これからの私たち人間自身に突きつけられた大きな課題なのかもしれません。
深いですね。
次回チャットしていて、あ、また話が通じなくなったなと思ったときは、
イライラする前にちょっと深呼吸して考えてみようと思います。
はい。
この数秒ごとに記憶を失う天才秘書に、私は分厚すぎる疑似録を押し付けていなかったか、
そして彼女が忘れてくれるからこそ、私は毎回新しい気持ちでトライアンドエラーができるんだということ。
ええ。ぜひそうしてみてください。
リスナーの皆さんも今日から是非、紙束の厚さと注意力の分散を意識して、
AIとの新しい付き合い方を始めてみてください。