00:00
あの、新入社員に、これいい感じでやっといてって言って、あとはもう完全に放置する。 まあ、そんな恐ろしい真似、普通は絶対しないじゃないですか。
はい、絶対にしないですね。第三次になりますから。 ですよね。でも、リスナーのあなたも含めて、私たちがAIエージェントに仕事を頼むときって、実はこれと全く同じことをやってしまっているんですよ。
ええ、本当にそうなんですよね。 で、その結果どうなるかっていうと、AIがとんでもないミスをしないか、結局人間がパソコンの横でずっと画面を見張ることになる。
ああ、業務を丸投げして楽をするはずが、ただの監視業務に変わっちゃうわけですね。 そうなんです。今日取り上げるITエンジニアの方の記事。
AIにできたと言わせないわ。まさにこの痛いところをついていまして。 今回の徹底分析では、そのAIに作業をさせる前に、合比の基準をどう設定して本当に使える結果を引き出すか、そこを紐解いていきましょうか。
はい。要するに、AIに作業をさせる前に、人間側がビシッと完了の基準を決めておかないから、AIのできましたっていう言葉が全く信用できなくなるんだという話なんです。
これってつまり、AI自身にどこまでやれば合格かを決めさせている状態ですよね。なんか受験者と採点者を同じ人に設定しているようなもので。
それじゃ誰だって自分に100点つけちゃいますよね。構造としては全くその通りなんです。だからこそ一部の最新ツールは、作業前の計画段階で採点を済ませるというアプローチをとっています。
計画段階で採点ですか?
はい。例えば、Manus2っていうツールにあるプランモードなんですが、これいきなりコードを書かせたり、制作に入らせたりする前に、まずはAIにどう進めるかっていう計画だけを出させるんです。
なるほど。つまり、一番コストのかからないテキストの計画の段階で人間が起動修正をかけるわけですね。
その通りです。オープンAIコーデックスのダウン・ウェン機能なんかも同じ思想でして、作業を始める前にこのテストを通過したら完了とする、みたいな条件を最初に言葉にして固定してしまうんです。
ゴールポストを後から動かせないようにするんですね。でも計画をガチガチに決めても、実行中にAIがログを見た感じ全部うまくいってますって、それっぽい言い訳して合格したふりをすることってありませんか?
ありますね。AIは最もらしい説明を作る天才ですから。だからこそ、AIの内部の雰囲気じゃなくて客観的な証拠で確認する仕組みが必要になるんですよ。
雰囲気じゃなくて証拠?
ええ。例えば、クロードコードのフックス機能とか、ヘルメスエージェントのようなシステムでは、AIの自己申告じゃなくて、外部からの客観的な信号を完了判定に使うんです。
外部からの信号っていうと具体的にはどういうことですか?
AIが、し直しましたって言った言葉を信じるんじゃなくて、実際にそのファイルが存在するかとか、ブラウザ上のボタンが本当に動くかといった、外から確かめられる事実だけをクオリティゲート、つまり積書にするんです。
03:06
いや、でもちょっと待ってください。いちいち外部の証拠確認でAIの作業を止めてしまったら、せっかくの自動化のスピードが台無しになりませんか?寝ている間に全部終わらせてほしいのに?
ああ、一見そう見えますよね。でも実はこれ、間違った方向へ爆速で進む時間を減らすためのブレーキなんですよ。
あ、なるほど。
AIが勝手に勘違いしたまま数時間作業して、翌朝それに気づいて全部やり直す。これ以上に時間を無駄にするシナリオはないですからね。
確かに。翌朝の絶望感は絶対に味わいたくないです。じゃあ、その積書を無事にクリアして客観的な証拠も備ったら、いよいよそのまま実作業、つまり本番環境を触らせていいわけですね?
いや、そこが最大の罠なんですよ。
え、違うんですか?
テストをクリアしたことと、現実のシステムに影響を与える本番作業への移行は全く別に管理しないといけません。
ゲンスパークというシステムでは、シミュレーション環境での成功であるテストランと、実際に外部システムと連携するターンオンを明確に切り離しています。
ここからが本当に面白いところなんですけど、テスト環境での成功をそのまま本番のゴーサインと取り違えるのって、実は人間のシステム開発でも一番よくある恐ろしいミスですよね?
そうなんです。人間でもやるミスを超高速で動くAIがやったら、もう大惨事です。
だから、オープンクローなようなアプローチでは、作業の大きさじゃなくて、失敗した時の損失の大きさに合わせてテストの厳しさを変えるんですよ。
というと、リスクに合わせて変えるってことですか?
ええ。単なるテキスト処理なら機械的な軽い確認で済ませて、本番のデータベースを触るようなリスクの高い作業なら、環境依存を含む重い確認ステップを踏ませるわけです。
なるほど。ここまで聞いて、リスナーの皆さんも、明日からの仕事ですぐに使える具体的なアプローチが見えてきたんじゃないでしょうか?
そうですね。AIに依頼文を作る時に、ただお願いするだけじゃなく、何ができれば合格か、どうやって証拠を確認するか、そして副作用を防ぐために何を未確認として残すか、この3つをセットにするだけでも劇的に変わるはずです。
完璧な報告を求めるんじゃなくて、人間が次の判断を一つ進められる確実な証拠をもらうということですね?
ええ。まさにそれが今のAIとの正しい付き合い方だと思います。
今日の徹底分析はここまでですが、リスナーのあなたに最後に一つ考えてみてほしいことがあります。
はい。何でしょう?
もし私たちが、AIに対してここまで厳密に官僚の定義を言語化して客観的な証拠を求めるのが当たり前になったら、いずれ人間の同僚に仕事を頼む時のコミュニケーションの在り方自体も根本から変わってしまうのではないでしょうか?