00:00
あの、AIエージェントに関する最新の技術資料とか、 開発者のレポートをいくつも読み解いていくと、
ある共通の大きな問題が浮かび上がってくるんですよね。 はい、そうですね。なんていうか、AIに仕事を任せたときに、「終わりました!」って
ヒンジだけで満足しちゃってないか、ということなんです。 今回の深掘りでは、AIの言葉を鵜呑みにしないで、確実な成果物と履歴を要求して、
仕事の真偽を見極める方法を探っていきます。 えー、これ非常に重要なテーマですよね。
まずちょっと想像してみてほしいんですけど、 あなたが配管口に水漏れの修理を頼んだとしますよね。
で、配管口が、「直しましたよ!」って元気に言うんだけど、 直ったパイプは絶対に見せてくれないみたいな。
間違いなく怪しい状況ですよね。 AI相手にこれと全く同じことをやっちゃってませんか?って話なんです。
まさにその通りで、私たち日常的にAIエージェントを使っているときって、 実はこれと同じ落とし穴にはまっちゃってるんですよ。
そうなんですよね。
AIが生成するあの流暢な完了報告って、単なるテキストであって、 実際の作業が成功した証明には全然ならないわけです。
じゃあ、どうやってその直ったパイプを見せてもらうのかってことになりますよね。
つまり、AIが具体的に何を変えたのかを証明させるには、どうすればいいんでしょうか?
今回の資料の中で非常に実用的だったのが、 クロードコードなんかの開発ツールの例ですね。
ここではチェックポイントっていう概念が使われているんです。
チェックポイントですか?
はい。プロンプトごとにAIの採放状態が自動で保存されて、
さらにGitの差分、つまり変更前と変更後の差分を 常に出力させるような仕組みですね。
これなら失敗しても直前に巻き戻せます。
なるほど。差分を出すわけですね。
でもちょっと待ってください。
いちいちコードの差分を見たりとか、 チェックポイントごとに人間が確認してたら、
せっかくAIで自動化したのに手間が増えませんか?
なんだか本末転倒な気がするんですが。
直感的にはそう思いますよね。でも実は逆なんです。
逆なんですか?
ええ。依頼を小さく分けて各判断点でその差分を確認する方が、 結果的には劇的に時間を節約できるんですよ。
巨大な依頼を丸投げして、後から原因不明のエラーを 手作業で直す羽目になるよりはるかに効率的です。
ああ、確かに後から全部やり直すよりはマシですね。
でも結果のコードが変わっているのは分かったとして、
なんでその変更をしたのかとか、 本当に処理が終わっているのかまでは、
差分だけじゃ分かりませんよね。
おっしゃる通りです。そこで重要になるのが、 結果だけじゃなくて過程の証拠なんですね。
過程の証拠?
ええ。例えばGoogleのツールなんかだと、AIに実装計画をまず出させて、
それを実際のブラウザ操作記録と照らし合わせてレビューする仕組みがあったりします。
さらにタスクの状態を厳密に読み取ることも不可欠になってきます。
状態って、終わったか終わってないかの二択じゃないんですか?
それが単純な二択じゃないんですよ。
資料にあるマニュースというツールを例にすると、
03:00
状態を処理中、完了、入力待ち、エラーって細かく区別してるんです。
ほうほう。
ここで一番怖いのが、AIが人間の入力を待っているだけの入力待ち状態を、
人間側がエラーで止まったって誤認してしまうことなんです。
ああ、それってネット通販の追跡システムみたいなもんですよね。
配達中と配達完了が全然違うように、
AIが単に止まってるからって成功したとは限らないし、
エラーとも限らないってことですね。
まさにその通りです。誤認して再実行したうと、
同じ仕事を二重に動かすことになりますからね。
だからこそ、ログとか所要時間のデータをしっかり見ることが重要になってきます。
所要時間もですか?
はい。一瞬で完了ステータスになっても、
処理時間が異常に短ければ、
中身が空っぽだったり、幻覚で適当な返事をしてるだけだなって見抜くことができます。
なるほど。さっきの配管工の例に戻ると、
作業の記録とか、本当に水漏れが止まったかのテスト結果を全部チェックしなきゃいけないわけですね。
でも、そのログとか状態を毎回どうやって管理すればいいんでしょうか?
高度なツールだと、データベースを使って履歴を全文検索できるようにしているものもありますね。
ハーメスエージェントの例なんかがそうです。
へー、データベースで。
ただ、私たちが今日からすぐ使える、最も強力な仕組みとして資料が提案しているのが、
成果物代帳カードというアプローチなんです。
成果物代帳カード、なんか難しそうですね。
いえいえ、シンプルですよ。
AIに指示を出すプロンプトの最後に、空欄の受領書フォーマットみたいなものを置いておくだけなんです。
あ、プロンプトに入れるんですね。
ええ、変更ファイルは何か、最終状態は、実行したテスト結果は、みたいな項目を用意して、
AI自身に毎回これを埋めさせるんです。
なるほど、長いプロンプトを書いて、AIを賢く立ち回らせようとするんじゃなくて、
単に受領書の提出を強制しちゃうんですね。
そういうことです。
これなら、明日の自分が今日のAIの作業を信じていいのか、一目でわかります。
すごく鮮やかな解決策だと思います。
ええ、AIの完了判定って、返事の巧みさで決めるべきじゃないんですよ。
返事の横に置かれた証拠、つまり差分とか状態、検証結果が揃って初めて終わったとみなすべきなんです。
確かに、AIの終わりましたっていう言葉を信じるのをやめて、証拠を見せろと言わなきゃいけないってことですね。
それが真の児童会への近道ですね。
ということで、最後にあなたに問いかけたいと思います。
今週、あなたがAIから終わったと言われたまま、確実な証拠を受け取っていない仕事は何でしょうか?
なかなかドキッとする質問ですね。
もし、AIが成功したという幻覚を見ているだけだとしたら、あなたはどうやってそれに気づきますか?
ぜひ、次回の依頼からは台帳を要求してみてください。
今回の深掘りはここまでです。
