00:00
あの、AIに、これ、いい感じに返信しておいてって任せて。 で、いざ送信される直前になって、
あ、待って、やっぱり文面見せてって慌ててキャンセルボタンを探す。 あなたにもこういう経験ありませんか?
いやー、ありますよね。あのヒヤリとする習慣。
ですよね。今日はですね、このヒヤリハットをなくすための徹底解剖です。
手元に7つの最新AIエージェントの公式仕様と、あるエンジニアの考察ノートがあるんですが、
ここから見えてきたのが、あの、AIにどこでブレーキを踏ませるかっていうすごく切実な課題への新しいアプローチなんですよね。
そうなんです。で、このノートが指摘している革新って、実はAIの性能の話ではなくて、
人間の注意力こそが究極のボトルネックであるっていう点なんですよ。
AIに全部任せきれない以上、絶対に人間が確認するプロセスが発生するんですが、
AIが高速でタスクをこなせばこなすほど、人間は確認作業に追われて疲弊しちゃうっていう。
まさにそれです。だからこそ、仕事を読む、作る、そして取り返しのつかない送るの、この3段階に分けて設計する必要があるんです。
なるほど。その送るの手前で止めるのはすごく理にかなってると思うんですが、具体的にシステム側ってどうやってそのブレーキを実現してるんですか?
それがですね、単純なONかOFFかじゃないのが面白いところでして、
例えばCODEXだと、AIが自由に暴れ回れるあのサンドボックス環境と、
はいはい、隔離された遊び場みたいなものですね。
そうです。それと、外の世界へ影響を与える前の承認ポリシーを明確に切り離してるんです。
クロードコードなんかはもっと柔軟で。
へー、権限を切り替えるってことですか?
ええ、作業に併せて権限のグラデーションを作ってるんですよ。
最初はファイルを読み取るだけのモードで、次は編集までできるモードみたいに段階的に。
つまり、AIに家の鍵を渡すときに、中を見ていいよっていう権限と、
家具を勝手に動かしていいよっていう権限を分けてるってことですよね?
そういうことです。
でもそれって、グラデーションを細かくしすぎると、
なんかAIがこれやっていいですかっていちいち聞いてくることになりませんか?
ああ、そこなんですよ。
毎回止められると、結局人間側が確認疲れを起こして、
最後にはもう全部オッケーでいいやって承認ボタン連打しちゃいそうです。
非常に鋭いですね。
まさにその承認疲れによる人為的ミスを防ぐために、
Googleのアンティグラビティが面白い解決策を出していて。
どんな解決策ですか?
彼らは細かいコマンドごとに許可を求めるんじゃなくて、
実装計画とか差分っていう大きな成果物の塊で人間に提示するんです。
ああ、なるほど。
料理人が塩を一つまみ入れるたびに味見を頼んでくるんじゃなくて、
完成したソースを一口だけ味見してくれって持ってくるようなものですね。
それなら人間も一回で全体の判断ができますし。
まさにその通りです。
03:00
その味見の間に調理の手が完全に止まっちゃうのを防ぐのが、
オープンクローのロブスター機能に代表される仕組みで。
なんか再開トークンを使うってありましたね。
はい。承認待ちで一時停止しても、許可を出せば止まった場所から即座に続行できるんです。
最初からやり直す無駄を省きつつ、人間の判断を待つコストを下げているんですよね。
じゃあもし人間がいつまでも味見しに来なかったらどうなるんですか?
まさか勝手に料理出しちゃったりは。
そこがセキュリティの最終防衛戦です。
ハーメスの設計なんかだと、タイムアウトが起きても
人間が不在なから進めちゃえとは絶対にならないんです。
フェイルオープンにはしないんですね。
必ず拒否として強制終了すると。
はい。フェイルクローズの原則を徹底しています。
Gensparkの送信取り消し機能やマーナスデスクトップの権限分離も
根底にある思想は同じですね。
なるほど。Gensparkの機能も後で取り消せるから確認サボっていいよって話じゃなくて。
ええ。不可逆な操作の前に最後の数秒を物理的に買うためのメカニズムなんです。
マニューズモも許可された場所にいるから何をやってもいいという前提を排除しています。
ということはシステム側がどれだけ高度な保険を用意しても
はい。
人間が最後に責任を持って決断するプロセス自体は大体できないってことですね。
まさにそこが今日一番お伝えしたいポイントです。
だからこそ私たちAIを使う側もその境界線を意識しなければいけない。
そこで今日からあなたも試せる実践的なテクニックとして
あの境界カードですね。
そうです。
AIへの依頼文の最後に読む、作る、止める、送るっていう4行を書き足すんです。
どこまで自動でやらせて自分は何を確認してゴーサインを出すか。
前もってルール化しておく。
事前に定義しておくことで人間の認知的な負荷を下げつつ
本当に重要な判断だけに集中できるようになれますからね。
ええ。
全てを自動化してくれる魔法のボタンは確かに魅力的です。
でもだからこそ考えてみてください。
あなたが自分の仕事において最後まで絶対にAIへ手放したくない決断とは何でしょうか。
