00:00
リスナーのあなたも、ちょっと学生時代の数学のテストを思い出してみて欲しいんですけど。
はい、数学ですか?
途中式を全く書かずに、答えだけポンって書くやつ。
あれ、もし間違ってた時に、自分がどこでつまづいたか全くわからないですよね。
ああ、確かに。結果だけ見せられても、そのどうやって考えたのかが、完全にブラックボックスになっちゃいますからね。
そうなんですよ。
で、今回の深掘りのミッションなんですが、実はこれ、私たちがAIエージェントに仕事を任せる時に、無意識にやっちゃってることなんです。
なるほど。AIから最終的な完成品だけを受け取るのは、すごく危険だっていうことですね。
はい。ということで、今回は、とあるITエンジニアのノートを情報源にして、AIを使いこなすための新しい視点をリスナーのあなたに提供していきたいなと。
ええ、よろしくお願いします。
早速なんですが、AIを中身の見えない箱にしないためには、私たちはまず何をすべきなんでしょうか?
そうですね。AIに実際に行動を起こさせる前に、まずは途中経過をどう見せるか、そこを設計することですね。
途中経過の設計ですか?
ええ。例えば、Googleのアンティグラビティという機能だと、AIが実際に行動を変更する前に、アーティファクト、つまり実装の計画とか変更の差分を先に見せる仕組みになってるんです。
あ、いきなり作業をさせずに、まずは計画書みたいなものを出させるわけですね?
まさにそれです。AIが勝手にファイルを書き換えちゃってから、ああ、やっぱり直してって後戻りするより、触る前にそこは触らないでって指示を出す方が圧倒的に手間もコストもかかりませんから。
言われてみれば当然ですよね。これ、クラウド環境で作業させるときなんかも同じような工夫が必要になりそうですね。
はい。そこはクラウドコードとかオープンAIのコーデックスクラウドの事例がすごく参考になれます。
ほう、どういうふうにやるんですか?
AIをクラウド上の隔離された環境で動かしつつ、エージェントビューっていう機能で裏の作業プロセスを一覧化するんです。
なるほど。裏柄を全部見れるようにするんですね?
ええ。それに加えて重要なのが、情報探索用のエージェントを読み取り専用に制限するような権限の分離ですね。
ああ、権限を分けるんだ。何でもできる権限を与えたままだと、調べてるだけのはずが、いつの間にか重要なファイルまで書き換えてたなんて事故も起きかねないですもんね。
そういうことです。
つまり、これってAIの作業環境を見えない裏口じゃなくて、あの、シェフの仕込み工程からお皿に盛るまで全てが見えるオープンキッチンみたいにするべきってことですよね?
いや、本当にその通りですね。オープンキッチン化が第一歩です。ただ、キッチンが見えていても、AI特有のその静かなる失敗には注意が必要なんですよ。
静かなる失敗?
ええ。例えば、AIに毎日のデータ集計を任せたとしますよね。で、AIからの報告がエラーなしだったとしても、実は処理対象のデータがゼロ件だったから、何もしなかったっていうケースがあるんです。
03:12
うわあ、処理してないのに成功しましたって顔をしてるわけですね。それは困るなあ。
だからこそ、MENOSとかオープンクラウドといったツールの設計思想にあるように、状態の変更を細かく記録しておく必要があるんです。
ああ、なるほど。
古い前提のままAIが空回りするのを防ぐわけです。これに加えて、ジェンスパークのテスト手法も重要になってきます。
テストって普通に動くかどうかのテストですか?
正しい入力だけじゃなくて、わざと送ってはいけない異常な入力を試すんですよ。
異常な入力のテスト?それってなぜAI特有に重要になってくるんですか?
AIって想定外の悪いデータを受け取った時に、どう処理していいかわからず、とりあえず成功したことにしてしまうというハルシネーションを起こしやすいんです。
ああ、なるほど。
だからどう失敗するのかを事前にテストしておかないとすごく危険なんですよね。
確かに。でもちょっと待ってください。そういう細かい挙動を全部監視するとなると、例えばイベントフックみたいな機能を使って頂戴のロゴを全部残すことになりますよね。
はい、そうなりがちですね。
そうなったら、今度は私たちがその大量のログの中からエラーを探す仕事が増えません。それじゃあかえって忙しくなって本末転倒な気がするんですけど。
非常に鋭いですね。実はそこ、ハーミズエージェントの設計思想が明確な答えを出しています。
ほう、どんな答えですか?
すべての行動を証拠として残すのは間違いなんです。正解は、短い要約とファイルパス、つまりデータの保存場所のリンクだけを残すことなんですよ。
ああ、深太い報告書を全部読まされるんじゃなくて、目次だけ置いておくようなイメージですね。
ええ、まさに。普段は要約だけを見て、必要な時だけパスをたどって詳細を確認しに行く。これなら人間が情報量でパンクすることはありませんよね。
すごくすっきりしました。つまり、AIに頼むときは、開始、途中、完了、停止という4つの状態をどう記録するかをあらかじめ決めておく。これが仕事を任せる鉄則ですね。
そうですね。リスナーのあなたが今日から使える具体的なテクニックとして一つおすすめがあります。
何でしょう?
AIの回答の最後に、未確認の事項を一行追記させるように指示してみてください。
AIに、「私はここまでやりましたが、ここはまだ見ていません。」って宣言させるんです。
未確認事項はこれですってあるだけで、次に人間がどこから手をつければいいか一目でわかりますね。
ええ。
まるで数学のテストで完璧な途中式が書かれているような安心感があります。
これならAIの仕事が一回きりの投げっぱなしじゃなくて、次へ繋がるバトンになりますね。
本当にそうですね。プロセスを共有することで結果的に信頼関係も生まれますし。
06:04
はい。さて、AIに途中経過を論理的に求めるこの習慣、これが当たり前になったとき、
私たちが人間の同僚に仕事を引き継ぐ際のコミュニケーションって今後どう変わっていくんでしょうか?
興味深いですね。
もしかすると、人間同士のチームワークすらもっと洗練されていくのかもしれません。
今回の深掘りはここまでです。
リスナーのあなたもぜひ、今日のAIに依頼から試してみてくださいね。