00:00
こんにちは、現場のAI業務改善ラジオの大地です。 今日は、AIは記憶が埋まるほど精度が落ち、コストも増えるというテーマでお話しします。
ChatGPTやクロードのようなAIの記憶量は、最新のモデルだと文庫本20冊を超えます。 なのに、長い会話を続けていると、最初に伝えた条件を無視した回答が返ってくることがあります。
それ、さっきも言ったよ!と言いたくなるあの場面です。 今回は、前半でAIの記憶の仕組みを、後半で指示を無視させないための2つの対策をお話しします。
対策は、AIの回答精度とコストの両方に効きます。 AIの記憶領域のことをコンテキストウィンドウと呼びます。
人間でいう短期記憶にあたるものです。 AIと会話を続けるほど、コンテキストウィンドウにはそれまでの会話内容や検索した情報などがどんどん積み上がっていきます。
そして、AIは毎回積み上がったコンテキストウィンドウの全情報を踏まえて回答を考えます。
コンテキストウィンドウは、AIの作業机だと思ってください。 机が広がればたくさんの資料を広げられますが、広さには限りがあります。
資料で埋め尽くされた机では、目当ての1枚を探すのにも時間がかかりますよね。 クロードオーパスのような最新のAIモデルだと、コンテキストウィンドウの上限は100万トークン。
およそ文庫本20冊分の情報を机に広げられます。 トークンは、AIが情報を扱う単位のことで、ざっくり1単語が1トークンだと思ってください。
例えば、「今日はいい天気ですね。」という文なら、「きょうはいいてんきですね。」で、合計5トークンといった感じです。
コンテキストウィンドウに入るのは、AIとの会話だけではありません。 AIが読み込んだファイルや、実行したコマンドの結果、
AIにあらかじめ組み込まれている役割や振る舞いのルール、 ファイル検索やコマンド実行などのAIが使える機能の説明書、
連携したカレンダーや顧客システムから取り込んだ情報、 これらすべてがコンテキストに含まれます。
作業のためにいろんな情報を与えるほど、コンテキストウィンドウは埋まっていきます。 ちなみに、コンテキストを何にどのくらい使っているのかは、
AIに、今時点でコンテキストウィンドウは何にどのくらい使った? と聞けばわかります。
コンテキストが埋まるほど、AIが正確に情報を思い出す能力は下がっていきます。 これはクロードの開発元アンスロピックが公式に発表しており、コンテキストの劣化と呼ばれます。
作業机の例えで言うと、机が埋まるほど探し物に手間取るのと同じです。 AIと長く会話を続けるほど、最初に伝えた条件を無視した回答が増えてきます。
冒頭でお話した、それさっきも言ったよ、という現象はこれが原因です。 18種類のAIモデルを検証した研究でも、入力が長くなるほど単純な作業でも性能が下がることが実証されています。
まさに、AIの記憶は埋まるほど精度が落ちるということです。 さらに、AIが文章を作る仕組みがコスト増加に関係してきます。
AIはそれまでの会話をすべて踏まえて、次の一言を予測しながら文章を組み立てています。 つまり、AIは何かを尋ねられる度に、これまでの会話の全履歴と今回のメッセージ両方を読み直しています。
03:08
この読み直す量がそのままトークンの消費量につながります。 会話を一往復する度、それまでの履歴も丸ごと積み重なっていくので、会話が長くなるほど消費するトークン量も増えていきます。
消費する量が増えるほど、AIの利用上限に早く達したり、コストが加算だりします。 原因と仕組みが分かったところで、ここからは今日からできるコンテキストウィンドウが埋まる対策を2つ紹介します。
対策の一つ目は、話題やタスクが切り替わったタイミングで新しい会話を始めることです。 関係のない話題を含んだままの長い会話はコンテキストが埋まり、AIの性能を下げる上に、トークンも余分に消費します。
作業机の例で言えば、タスクが変わったタイミングで机の上を一度片付けるということです。 具体的な手順はこうです。
まず、AIとの壁打ちや議論を一通り終えます。 次に、決まった内容をマークダウンファイルにまとめてと、AIに伝えます。
マークダウンは、AIが読み書きしやすい文章の形式です。 そして、まとめてもらったファイルを元に、新しい会話で作業を依頼します。
こうすると、それまでの雑談や試行錯誤を持ち越さずに、必要な情報だけでAIに作業を頼めます。
対策の2つ目は、CodeXやCloud CodeのようなAIエージェント向けのもので、指示ファイルの圧縮です。
AIエージェントは、起動するたびにあらかじめ用意したCloud.mdのような指示ファイルをコンテキストへ生み込みます。
最新のAIモデルは賢いので、指示が細かすぎると、かえって性能を落とすことがあります。
アンスロピックも、成果につながる最小限の指示だけに絞る設計を勧めています。
指示ファイルをAIに圧縮させるときの僕のおすすめは、洗練された必要最低限の内容にして、という指示です。
この指示をすると、しない場合に比べて数十行、多い時には数百行ファイルの内容が減ります。
こんなに減らして大丈夫かと、僕も最初は不安になりました。
ですが実際に運用してみると、AIは全く問題なく仕事をこなしてくれます。
人が読む量も、AIが読み込む量も減るので、一石二鳥です。
指示ファイルの最適化に、もっと本格的に取り組みたい方には、信頼できる唯一の情報源という考え方、SSOTの解説会も参考になります。
概要欄に貼っておくので、興味があれば見てみてください。
まとめます。
AIが一度に扱える記憶には上限があり、コンテキストウィンドウと呼ばれます。
コンテキストには、会話だけでなく、読み込んだファイルや指示ファイル、ツールの説明書なども積み上がっていきます。
コンテキストが埋まるほど、AIが正確に思い出すのが下手になり、会話を続けるほど、トークン消費も増えていきます。
対策は2つです。
1つは、タスクが変わったタイミングで新しい会話を始めること。
もう1つは、AIへの指示ファイルを洗練された必要最低限の内容にすることです。
まずは、今日から話題やタスクが変わったタイミングで新しい会話を始めるようにしてみてください。
概要欄に今回の内容を解説した記事を貼っておきます。
06:00
興味があれば見てみてください。
質問やご意見、取り上げてほしいテーマがあれば、ぜひコメントお願いします。
それでは今日はこの辺で。