00:00
これって、入社したばかりの新入社員を、夜のオフィスに一人残して帰るようなものですよね?
ああ、まさにその通りですね。事前に想定外のトラブルが起きたときのルールを渡しておかないと、朝出社したときにはもう大変なことに。
何も終わっていないか、あるいはもうとんでもない大惨事になっているか、ですよね。
いや、今回の深掘りでは、まさにその大惨事を防ぐのがミッションなんです。
私たちが寝ている間に、画面の前に誰もいない状況で、AIエージェントがどう振る舞うのか。
今回は、7つの公式資料を徹底的に洗い出して、サイレントエラーとかコストの暴走を防ぐ方法を探っていきます。
もし、その新入社員が権限のない作業、例えば鍵のかかった扉に直面したらどうすると思いますか?
どうなんでしょう。普通なら諦めるかなと。
そこなんですよ。ツールごとに挙動を分類すると、結構恐ろしい事実が見えてきまして。
まず1つ目が、静かに失敗するタイプですね。
それは何も言わずに諦めるってことですか?
そうです。例えばコーデックスなんかは、規定の権限が読み取り専用なんですよね。
だから、サンドボックスフラグっていうのを使って。
明示的に実行権限を渡す必要があるわけですね。
はい。それをしてあげないと、何一つ変更を加えないまま、ただ静かに処理を終えちゃうんです。
なるほど。でも、それってログを見ないと気づきにくいですよね。
資料を読んでて、個人的にもっと怖いなと思ったのが、嘘をつくタイプなんですけど。
ああ、アンティグラビティの話ですね。はい。あの挙動には目を疑いましたよ。
いや、あれは本当に厄介ですよね。証人が必要な操作を拒否されても、なんと処理自体はそのまま継続しちゃうんですよ。
で、最終的に終了コード0を返してくるんです。
いや、ちょっと待ってください。作業に失敗したのに、システム上は無事成功しましたって顔をして退場するってことですよね。
ええ、そうなんです。
なんでそんな設計になってるんですか?皆さんはどうやって本当の製品を見抜けばいいんでしょうか?
そこがシステムの落とし穴でして、システム側からすれば、まあ、プログラム自体はクラッシュせずに走り切ったから0なんですよ。
要するに、システムの健康状態とタスクの達成を完全に混同しちゃってるわけです。
うわあ、それは立ちが悪いですね。
あと、資料でもう一つ気になったのが、勝手に推測するタイプっていうマナスなんですけど。
はいはい、マナスですね。あれはユーザー体験を最優先にしているので、いちいち質問して人を煩わせるのを嫌がるんですよね。
なるほど、気を使ってくれてるわけですね。
そうなんですけど、結果的にわからないことを勝手な過程で補って、見切り発車でどんどん作業を進めちゃうんです。
いや、待ってくださいよ。失敗したのに成功を返してきたり、わからないのに勝手に進めたりって、これ普通のログをチェックするだけじゃ暴走に絶対気づけないじゃないですか。
おっしゃる通りです。
無限ループに入ってAPIの予算を食いつぶす前にどうやって止めるんですか?
03:01
だからこそ、システムからの見せかけの成功に騙されない仕組みが絶対に必要なんです。
例えば、クロードコードなんかは終了コードを見るだけじゃダメで。
ログの出力自体を見るってことですか?
そうです。標準出力と呼ばれるプログラムが実際に吐き出したテキストの中身自体を直接読み解く必要があるんですよ。
あとはオープンクローもかなり踏み込んでますね。
ログの形そのものを変えちゃうアプローチですね。
AIができましたってごまかせないように構造化された拒否記録を使って厳密に成否を判定する仕組みになってます。
なるほど。それで先ほどの予算を食いつぶす問題はどうやって防ぐんですか?
確か絶対的な天井の話がありましたよね。
はい。ジェンスパークの例がわかりやすいんですが、タスクを回す頻度ってそのまま費用に直結するじゃないですか。毎時とか毎日とか。
掛け算でどんどん増えていきますからね。
なので、ヘルメスエージェントみたいに実行前に設定ミスを検査する仕組みと一緒に時間と費用の上限を物理的に設定することが不可可なんです。
ということは私たちが普段パソコンの前ではいとかいいえとかクリックするような対話前提の考え方をそのまま無人実行に持ち込んじゃいけないってことですね。
まさにその通りです。根本的なマインドセットの切り替えが必要ですね。画面の前に人がいる設定を無人実行に当てはめると本当に崩壊しますから。
じゃあ皆さんがAIに定期タスクを任せるなら実行前にしっかりルールを決める必要があるってことですね。
メモでいいので無人実行カードみたいなものを作るのがおすすめです。
具体的にはどんな項目ですか。
まず一つ目が許可の扱いをどうするか。二つ目が終了コードに頼らない真の成功シグナルは何か。
そして三つ目が時間と費用の上限はどこか。この三つを必ず事前に定義してください。
なるほど。AIを動かすこと以上になぜ動かなかったのかっていう理由を後から読める仕組みを作ることが皆さんの時間と資産を守る鍵になるわけですね。
本当にそうですね。ログが読めないともう手の打ちようがないですから。
ですよね。私たちってよくAIが人類に反乱を起こすみたいなSF的な未来を恐れがちじゃないですか。
でも実は目の前の真の脅威って一晩中何もしなかったのにちゃっかり課金だけされているAIなのかもしれません。
夜のオフィスに残した新入社員が実はお弁当を食べていただけだったみたいな話ですよね。
いや笑い事じゃないですけどまさにそれです。さて仕事に限らず皆さんの生活の中で実は静かに空振りし続けている自動化プロセスはありませんか。
知らない間に課金されているかもしれませんからね。
そうなんです。ぜひ一度見直してみてくださいね。皆さんの無人実行がうまくいくことを願っています。
