00:00
えっと、入社初日のアシスタントにですね、会社の全銀行口座のパスワードを渡して、あとは吉田にやっておいて、なんて、まあ絶対に言えないですよね。
いやー、それは怖すぎますね。でも今話題のAIエージェントに対しては、皆さん無意識にそれと同じようなことをしてしまいがちなんです。 そうなんですよ。
今回の深掘りでは、あるITエンジニアの方のノート記事を基に、AIに最初から実行の全権限を与えないことの重要性をひも解いていきましょう。
はい、これすごく重要ですね。 例えば、オープンAIのコード生成AI、あのコーデックスの資料なんかを見ると、このリスク管理について明確な線引きがされているんです。
えっと、線引きと言いますと、具体的にはどういうことですか?
技術的に全くアクセスできない状態にするサンドボックスと、アクセスはできるんだけど、実行前に人間へ確認する承認プロセス、この2つをはっきり区別しているんですよね。
ああ、なるほど。物理的に部屋の鍵をかけて入れなくするのと、ドアの前に警備員を立たせてパス証を確認させるのとの違いみたいな感じですかね。
まさにそんなイメージです。そして、その警備員にどんな指示を出すかが鍵になるんですが、実際の自立型AIの設計書を見ると、これがすごく細かいんですよ。
例えば、Googleアンティグラビティとかを見ると、ウェブページを読む権限と、ページ帳でクリックや入力を行う権限が完全に別物として扱われていますよね。
そうなんです。読むだけなら単なる情報収集ですけど、入力やクリックができるとなると、勝手にログインして送信ボタンを押すことまでできちゃいますからね。
確かに。でもここで気をつけたいのが、クロードコードなんかのツールにあるこの先も聞かないっていう、あの確認スキップ機能の存在ですよね。
はい。ブラウザでもよくある今後は表示しないっていうチェックボックスですね。毎回聞かれると作業のリズムが崩れるので、つい押しちゃう気持ちはわかります。
わかります。私もめんどくさくてすぐ押しちゃうんですけど、あれって実は結構な罠になり得るんですよね。
そうなんですよ。一度そのチェックを入れると許可設定がファイルに高級的に保存されてしまうことがあるんです。
高級的に保存されるってことは、今日急いでるからといって外部へデータを送るような高リスクな操作をスキップしちゃうと、明日以降の安全装置まで消えちゃうってことですか?
その通りです。読むのと書くのと送るのとではリスクの次元が全く違うので、安易に同じ許可レベルでくくってはいけないんです。
なるほど。でもちょっと待ってくださいね。権限を細かく分けて、ここは人間が確認するって設定にしたら、AIはいちいち作業を止めてきますよね?
はい、止まりますね。
せっかく自動化ツールを入れたのに、途中で何度も止まったら意味がないんじゃないかってリスラーの皆さんも疑問に思うんじゃないでしょうか?
ああ、そこがすごく面白いところで、実はその止まることこそが意図された安全装置なんです。
意図された安全装置ですか?
ええ。例えば、マニューセーAPIっていう自律的にタスクをこなすシステムの裏側には、処理中に待機するという状態が組み込まれているんです。
待機ってことは、エラーでフリーズしたわけじゃないんですね?
03:02
はい。意図的に人間の確認や追加入力を待っている状態なんですよね。
なるほど。勝手にメールを送信するんじゃなくて、宛先と本文を作って、下書きの状態で寸止めするようなものですね?
そうそう。その寸止めがあるからこそ、後からなぜその操作をしたのか、人間が責任を持って説明できるようになるんです。
確かに。AIエージェントのオープンソース実装であるオープンクロードでも、この考え方を採用していますよね?
ええ。ポリシーが許しているか、許可リストにコマンドがあるか、そして最後に人間の確認があるか、という三段構えの防壁ですね。
自律性を高めつつ暴走を防ぐには、この最後の人間による確認の壁がティノしている必要があるわけですね。
スピード重視でガードレルを外しちゃうのは危険だと。
本当にその通りです。だからこそ、記事で提案されている確認ゲートカードという実践的なアプローチが役に立つんです。
操作対象や自動化する範囲、そしてどこで必ず停止させるかを事前に決めておくというアプローチですね。
でも、これ最初から全部完璧に決めるのは大変そうじゃないですか?
ええ。だから、全てを最初から完璧に定義する必要はないんです。
まずは、外部へデータを送る操作だけを確認待ちにするというルールを作るだけで十分です。
なるほど。AIの自律性を広げる前に、まずは人間が確認できる範囲をしっかり確保するんですね。
ここは絶対見せてね、というゲートを作ると。
そうやってスモールステップで始めていくのが、一番安全で確実な方法だと思います。
はい。というわけで、今回はAIの権限管理について深掘りしてきました。
最後に、リスナーのあなたに少し考えてみてほしいことがあります。
何でしょうか?
もし将来、AIがあなたに代わって完璧に確認ゲートの判断までできるようになったとしたら、
その時、人間であるあなたがあえて自分で決定ボタンを押したいと思う仕事は何でしょうか?
おお、それは考えさせられますね。
ええ。効率化の先にあるあなた自身の役割についてぜひ探究してみてください。
