00:00
リスナーのあなたも、AIといい感じで作業してたのに、急に、なんかあの、関数は絶対触るなって言ったよね、みたいな、3時間前の指示を忘れられて、イラッとした経験ありませんか?
あー、ありますよね、それ。ほんとよくあります。 ですよね。
さて、これを紐解いていきましょう。 今日の深掘りは、あるITエンジニアがまとめた、AIエージェントの文脈圧縮に関する分析記事です。
私たちのミッションは、長時間作業をしたAIが、突如、記憶喪失になる理由を解き明かして、7つのAIツールの公式資料から、私たちがどう対策すべきかを抽出することです。
実はこれ、AIが急にサボり始めたわけじゃないんですよね。 あの、AIの記憶力、つまりコンテキストウィンドウにはデータ量の上限があるんです。
ふむふむ。
会話が長くなって、その上限に近づくと、システムは古いやり取りを裏側で、勝手に要約して、スペースを空けようとするんですよ。これが圧縮です。
勝手に要約されちゃうんですね?
ええ。しかも厄介なことに、会話の先頭が要約されて形が変わると、プロンプトキャッシュっていう機能まで効かなくなるんです。
キャッシュが効かないってことは、つまり?
本来なら、過去の文章パターンを記憶して応答を早く安くする仕組みなんですけど、
要約のせいで、毎回ゼロから読み直す羽目になるんです。結果として応答が遅くて、割高になるっていう二重の損害を生んでるんですよね。
やばいですね、それ。見えないところでそんなコストが。
つまり、圧縮っていうのは旅行カバンの服を真空パックにギュッと詰め込まれるようなものですよね。
ああ、なるほど。いい例えですね。
スペースは空くけど、外から見て何が入ってるか全然見えなくなるみたいな。つまり、これどういうことなんですか?
ここで非常に興味深いのが、記事が提示している圧縮を読み解くための3つの問いなんです。
いつ起きるのか、何が残るのか、そして元に戻せるのかですね。
いつ起きるか、何が残るか、元に戻せるかですね。
はい。例えば、コーデックスっていうツールを例にすると、要約が人間には読めない不透明なデータとして処理されちゃうんですよ。
人間に読めないってことは、中身が全く見えないってことですか?
まさにそうです。完全にブラックボックス化しちゃうので、利用者は絶対に触るなっていう自分の指示が生き残っているのかどうか、直接検証する手段すら奪われてしまうんです。
ちょっと待って、それなら単純にAIにこれは超重要だから絶対要約しないでって口頭で念押しすればいいんじゃないですか?
いやー、それが通用しないのが言語モデルの面白いところなんですよ。システムにとって重要なのは重要度じゃなくて置き場所なんです。
置き場所ですか?
はい。クロードコードの設計思想を見るとその理由がよくわかります。チャット欄でどれだけ念押ししても、それはやがて要約の波に飲まれて消えちゃいますよね。
確かに。
でもディスク上の指定の場所、つまりルートのクロード.mdっていうファイルにルールを書いておけば、AIは毎回そこを読み直してくれる仕組みになってるんです。
03:01
なるほど。会話の外に置くってことですね。
そうなんです。対象的にヘルメスエージェントなんかは、ユーザーの実際の発言を要約せずに原文のままで残すアプローチをとって、細かなニュアンスを守ろうとしていますね。
原文のまま、つまりバーベイティブで残すツールもあるんですね。なんかマヌスはURLやパスだけ残して本文は落とすっていう、元に戻せる圧縮思想を持ってるとか。
そうそう。それもすごく理にかなってます。情報が完全に消えるわけじゃなくて、必要な時にまた読みに行ける状態を作ってるわけです。
あと、アンチグラビティのスラッシュBTWコマンドで、脇道の質問を本筋から反らす機能とかもすごい感心しました。ここからが本当に面白いところなんだけど、リスナーの皆さんが明日からどう実践すべきかっていう
話ですよね。
これを全体像と結びつけると、一つの明確な結論に行き着くんです。著者が提唱する最強の対策、それが圧縮前メモカードです。
圧縮前メモカード、なんだか強そうですね。
目的とか禁止事項とか決定事項をAIとの会話の中、つまりいつ要約されるかわからない場所に放置するのではなくてですね。
手元のメモとかtoodoo.mdみたいな会話の外側のファイルに最初から書き出しておく運用が必須になるということです。
そこを常に参照させるわけです。
あなたしか覚えていない決定事項をAIのブラックボックスな要約に預けっぱなしにしちゃダメってことですね。重要なルールは会話の外側において、AIに何度も再認識させることが鍵だと。
まさにその通りです。それが一番イライラを防ぐ確実な方法ですね。
すごくクリアになりました。
ここで最後にリスナーのあなたに少し考えてみてほしいことがあります。
作業の決定事項をAIの記憶に頼るのではなく、結局のところ私たちが手元のメモで管理してAIを誘導し続ける必要があるのだとしたら、
未来において思考の主導権を握っているのは果たしてAIなのでしょうか。それとも私たち人間なのでしょうか。
この問いを胸にぜひAIとの付き合い方を見直してみてください。
