00:00
あの、AIに仕事を頼んで、終わりましたーって元気な返事が来たのに、肝心のファイルがどこにも見当たらない。
あなたもそんな経験ありませんか? えー、よくある話ですよね。 ですよね。
なんか、例えるなら、口が達者で相性はめちゃくちゃいいのに、で、その資料どこに置いたの?って聞くと、もごもごしちゃうインターン生みたいな状態というか。
今日はですね、そんな最新の自立型AIエージェントに関する開発者ノートとか、リサーチ資料の山から、この問題を深掘りしていきます。
はい。今回の資料群から見えてくるのは、AIとの長いチャットログをただ保存したところで、実はあまり意味がないという残酷な現実なんですよね。
私たちの今回のミッションは、AIの作業完了しましたという報告を鵜呑みにせずに、それを客観的に確認できる証拠へと変換する仕組みを解き明かすことです。
あの、素朴な疑問なんですが、AIがちゃんとテスト済みですって言ってきた時、どうしてそれがただの嘘とか、幻覚になっちゃうことがあるんでしょうか?
ああ、そこですよね。
はい。だってAI自体はどんどん優秀になっているはずじゃないですか。信じちゃいそうになるんですけど、ダメなんですか?
それがですね、AIの能力不足っていうよりは、システムの構造そのものが原因なんですよ。
構造ですか?
ええ。事実、推論、未確認事項を明確に切り分けることが重要なんです。例えば、クロードコードとか、ヘルメス、あとはオープンクローといったツールの使用引き合いに出すと分かりやすいんですが。
なるほど。
実際に作業をするコーエージェントっていうのが、指示を出す親のAIや人間から完全に隔離された環境で動いているんですよ。
えっと、隔離されている?
あ、じゃあ、現場の作業員が密室で作業していて、マネージャーはドアの外から指示を出しているような状態ですか?
まさにその通りです。
で、作業員はドア越しに、終わりましたーって叫んでるだけみたいな。
その表現、すごくまとえてます。じゃあ、なぜそんな密室を作るかというと、親AIのメモリー、いわゆるコンテキストウィンドウをパンクさせないためなんですね。
ああ、なるほど。情報が多すぎるんですね。
そうなんです。作業の全プロセスを親が把握しようとすると処理しきれなくなるので、コーエージェントは最終的な要約だけを親に返す設計になっているんです。
だからテスト済みですっていう要約のテキストだけが残るわけですね。でもそれって、マネージャーが現場を見ずに完了報告書だけ受け取って良しとしているようなものでは?
はい。だからこそ、要約文の外側にある客観的な記録を意図的に要求する仕組みが必要なんです。
客観的な記録ですか?
ええ。例えば、クロードのエージェントIDとか、ヘルメスの検査ルグの絶対パス、オープンクローのプロセス終了コードなどですね。
これらを出力させない限り、密室で本当にテストが行われたのか誰にも証明できないというわけです。
つまり、密室のドアをこじ開ける客観的な鍵が必要ってことですね。でも、証拠を残すといっても、人間同士のやり取りでも最新版の最終の本当の最終ドットテキストみたいにファイル名がカオスになるじゃないですか。
03:06
わかります。
あなたも絶対身に覚えがあると思うんですけど、どれが正しい成果物かわからなくなりますよね。
そうですね。そこで今回の資料にあったManasというツールの対策が面白いんです。
名前じゃなくて、一時的なダウンロードURLでもなくて、ファイルUUIDやバージョンUUIDといったIDで版を管理するんですよ。
IDを使うんですか?でもURLじゃダメなんですか?
ダウンロードURLは時間が経つと失効してしまいますし、ファイル名での管理はAIが前後の文脈を混同する原因になるんです。
普遍的なIDを使えば、AIも人間も見失いません。
なるほど。物理的なタグを直接貼り付けるようなものですね。それなら確実だ。
さらにですね、アンティグラビティなどのシステムでは、より根本的な設計思想が取り入れられています。
根本的なというと?
作業の計画、つまり事前の意図と実際の差分という客観的証拠、そして人間の承認であるレビュー状態を完全に別の状態として扱うんです。
ちょっと待ってください。それって普通にチャットの履歴として一連の流れで残すのとは違うんですか?
全く違います。ジェンスパークやコーデックスの仕組みでも言及されていますが、チャット履歴だと指示を出した、実行したという出来事が一つの物語として混ざってしまうんです。
あー、なるほど。物語になっちゃうんですね。
はい。そうすると、一見成功したように見える履歴の裏にある重大なエラーや警告が見逃されてしまうんです。
指示の定義と実際の実行結果を物理的に切り離すことで、初めて正確な検証が可能になります。
なるほど。物語に騙されず、レリテッドに証拠と結果だけを抽出するわけですね。
これ、私たちの普段の実務にもすぐ応用できそうです。
え、すぐに実践できると思いますよ。
資料にあった完了証拠カードというフォーマットがまさにそれですよね。作業名、ファイルのパスやハッシュ、検査のログ場所、そして未確認事項をしっかり埋めさせるという。
その通りです。特に重要なのが未確認事項の部分です。テストを実行していないなら、AIに勝手に合格扱いにさせないことですね。
テストしていないなら、偽らずに堂々と未実施と書くのが未来の自分や同僚を救う第一歩になるわけですね。
まさにその通りです。
いやー、すごく実践的な深掘りになりました。では最後に、これをお聞きのあなたに新しい視点を投げかけたいと思います。
はい、お願いします。
私たちは今、AIに仕事のやり方を一生懸命支持しているつもりです。
でも、もし客観的な証拠を求めずに、AIの完了報告だけをあまんじて受け入れ続けていたとしたらどうでしょう?
それはかなり危険な状態ですね。
そうですよね。実はAIに仕事をやったように見せかける最もらしい言い訳の仕方を学習させているだけだとしたら、
06:01
あの口の達者なインターン生にサボるスキルだけを磨かせているようなものです。
確かにそれは避けたいですね。
次にAIが、「終わりました。」と笑顔で言ってきたとき、あなたはどんな証拠を突きつけますか?
ぜひ次回の作業で試してみてください。