仕事の重さに合わせたAIの推論量
あの、すごく優秀なアシスタントを雇ったと想像してみてください。
はい、いいですね。
でもその人、ファイル名を一括変更するだけの単純作業に、なぜか20分も壁を見つめて調考するんですよ。
それはちょっと困りますね。
ですよね。逆に、複雑な並行処理のバグ調査とかを頼むと、即座に自信満々で的外れな答えを返してくるんです。極端すぎませんか、これ。
能力の高さとタスクに対する力の入れ具合が全く噛み合っていない状態ですね。
まさにそれなんです。実はこれが今のAIエージェントに起きている問題なんですよ。
今回の深堀りへようこそ。
今日は7つの公式資料をもとに、AIの思考量、つまり推論の深さを仕事の重さに合わせて最適化するミッションに挑みます。
非常に重要なテーマですね。
はい。リスナーのあなたにも問いかけたいんですが、あなたのAIも無駄に疲弊していませんか。
実を言うと、私自身もちょっと混乱している部分があるんです。
と言いますと?
AIにお金を払っているなら、常に100%の脳みそを使って最高の結果を出してほしいじゃないですか。
わざわざ自分のアシスタントをあまり考えさせないようにダウングレードする理由が、いまいちピンときていなくて。
なぜかというと、常にフル回転させると目に見えない税金を払い続けることになるからなんです。
税金ですか?
はい。AIの思考量は直接クレジット、つまり費用と出力時間に関わってきます。
単純な作業に最大の推論をさせれば、毎回のやり取りで数秒の時間と無駄なコストが確実に削られていくんですよ。
ああ、なるほど。家作りに例えると分かりやすいかもしれないですね。
設計図を練る建築家には一番頭を使わせるべきだけど、
ええ、その通りです。
実際に現場で釘を打つ実行部隊にまで、釘を打つたびに哲学的な聴講をされたら困る、みたいなことですよね。
まさにその構造です。実際資料にある複数のツールがそのアプローチを採用していますよ。
ツールごとの推論量の使い分け
例えば、マヌスは無料のチャットモードで要件や方向性をしっかり固めます。
はいはい。
そして複雑な実行フェーズだけを、クレジットを消費するエージェントモードに渡すんです。
ジェンス・パークも似たような感じですか?
ええ。ジェンス・パークは下書きを標準モデルで何度も回して、最終的な成果物だけを上位モデルに引き上げるという方式です。
へえ、賢い使い方ですね。とりあえず全部マックス設定が正解じゃないんだな。
さらにコーデックスに至っては、計画フェーズには高い数値を設定して、
実行や単に読むだけの調査を行うサブエージェントには低い数値を割り当てるよう、仕事の種類で明確に分けています。
なるほど、適材適所というわけですね。
設定変更とプロンプトキャッシュの仕組み
じゃあ、ツールの中で実際に思考の強さのダイヤルを下げたときって、裏では何が起きているんでしょうか?
単純なボリューム調整というわけじゃないですよね?
ええ。ツールによってメカニズムはかなり異なります。
例えば、クロードコードの場合、強さの設定は厳密な予算制限というより、傾きや挙動の信号として働くんです。
傾きですか?
はい。なので、ローに設定しても、難問にはそれなりに頭を使います。
ただ、ここに一つ罠がありまして。
え、罠ですか?
会話の途中で気軽に設定を切り替えると、プロンプトキャッシュが壊れて、その後の応答が遅くなってしまうんです。
ちょっと待ってください。どうして設定を変えるとキャッシュが壊れるんですか?これまでの会話内容は覚えているはずですよね?
それがですね、AIのキャッシュ機能は過去のコンテキストと完全に一致していることを前提に機能するからなんです。
ああ、そういうことか。
はい。思考量のパラメータを変えると、裏側でシステムプロンプトや生成の条件自体が書き換わってしまいます。
するとAIは、新しい指示だと認識してしまって。
これまでの会話履歴を最初からすべて読み直さなきゃいけなくなるんですね?
その通りです。
なるほど。それは裏側の仕組みを知らないと絶対やっちゃいますね。
永続設定・一時設定とフォールバック
あ、罠といえばアンチグラビティの使用には笑っちゃいました。
ああ、エフォートコマンドですね。
そうそう。強さを上げると次回以降の規定値としてずっと残るんですよね。
これ完全にエアコンの温度設定じゃないですか。
確かによく似ていますね。
今日は暑いからってキンキンに冷やしたのを忘れて、翌日軽い作業なのに無駄に重い処理が走って凍えるっていう。
ええ、非常に現実的なリスクです。
もし今これを聞いているあなたが、今週なんだかAPIの請求額が跳ね上がってるなと思ったら、
昨日AIの試行設定をMAXにしたまま忘れていないか確認した方がいいですよ。
本当にそうですね。だからこそ、バックグラウンドの自動処理などには1回限りの上書き機能を指定するなどの工夫が必要になります。
なるほど。他のツールはどうですか?
対象的なのがHelmets Agentです。
こちらはグローバルのオプションを付けない限り、設定の変更はあくまで一時的なものになります。
ほうほう。
さらに視覚処理のような補助タスクには、メインの推論とは別の低い強さを設定できるので、リソースを効率的に節約できます。
Helmetsは一時的で、アンチグラビティは永続的と。
では、もしAIがそもそも対応していないレベルの深い試行を要求したらどうなるんですか?
と言いますと。
例えば、レベル3までしか対応していないモデルに、レベル5で考えろって指示したら、エラーで止まっちゃうんでしょうか?
そこでオープンクローのフォールバック機能が入ってきます。
エラーにはならず、実行時にはそのモデルが対応可能な最大レベルに丸められるんです。
よかった。止まらないんですね。
はい。ただ重要なのは、ユーザーがレベル5を要求したという希望自体は、設定として保存されたままになる点です。
それはなぜですか?
後からより賢いモデルに変更した際などに影響するからです。
なので、ステータスコマンドを使って、自分が要求したレベルと実際に動いているレベルの乖離を確認する必要があります。
なるほど。ツールごとに設計思想が全然違うんですね。
今日学んだことをリスナーの私たちが活かすなら、新しい仕事を頼む前に、仕事の重さと作業後に戻す値をメモする試行量割当カードみたいな習慣をつけるのが良さそうです。
それは素晴らしい習慣になると思います。
深く考えることをやめる判断
エアコンを強にしたら終わったら戻すですね。
その通りです。あ、最後に一つ。オープンクローンの資料に興味深い事実がありまして。
何ですか?
彼らの最高設定であるウルトラは、単に推論エンジンの出力を上げるのではなくて、計画と検証を伴う全く別の実行モードに切り替わる仕組みになっているんです。
ただパワーを上げるだけじゃないんだ。そこからすごく挑発的な問いが浮かびますね。
どんな問いでしょう?
私たちはAIに対して深く考えるほど良い結果が出ると思いがちですよね。
でももし真の賢さが限界まで深く考えることではなくて、いつ考えるのをやめるかを知ることだとしたら。
深いですね。
リスナーのあなたが次にAIへ依頼を出す時、アプローチはどう変わるでしょうか?
きっと頼み方が大きく変わるはずです。
そうですよね。ファイル名を変えるだけの仕事で優秀なアシスタントに壁を見つめさせるのはもう終わりにしましょう。
それでは今回の深掘りはここまでです。
