00:01
こんにちは、The Signal Shift by A.I.R. Labs、ナビゲーターの凛です。
この番組は、SpotifyやApple Podcastなどの配信プラットフォームでお届けしています。
Kaiです。日々刻々と変化するAIの最先端トレンドと大きな変化のシグナルを読み解き、
ビジネスや日常にどう影響するか、初心者にでも分かりやすくお届けする番組です。
本日の10月15日、朝の配信号では、AIエージェントの自動決済機能やガードレールの進化、
そして自己複製リスクといった深部のシグナルを追っていきますね。
Kai、最初のトピックは、Amazon Web Service、AWSから発表されたAnchorブラウザーと
Amazon Bedrock Agent Coreの決済機能についてですね。
AIエージェントの自動決済って具体的にどういうことなんでしょうか?
AIエージェントが調べ物をしていると、有料のデータや記事に行き当たることがあります。
その時、サーバーはHTTP 402、つまり支払いが必要ですという意味のエラーを返してきます。
これまで、エージェントは支払う手段を持たず、作業がそこで止まって人間の対応待ちになっていました。
この仕組みでは、あらかじめ決めた予算の範囲内で、エージェントが人を介さずに支払いまで済ませて作業を続けられます。
なるほど。402はお金を払ってね、という合図なんですね。
でも、支払いくらいエージェント側で作り込めばいいのでは?
どうしてわざわざインフラ側でやる必要があるのでしょうか?
自前で作ると負担が大きいんです。
402の内容を読み取って、加盟店が求める形式で支払いの証明を作り、再送し、さらに鍵の管理、予算の管理、監査用の記録まで全部自分で作って守り続ける必要があります。
しかも鍵は、信用できないウェブページや外部ツールと同じ環境に置くことになり、漏れる危険があります。
もう一つ、ブラウザで動くエージェントは、同じブラウザセッションの中で支払わないと、録画や画面の記録が実際の動きと食い違ってしまいます。
だから、ブラウザ側とインフラ側が連携して、同じセッション内で決済を完結させているんです。
会社のクレジットカードやウォレット、つまり電子的なお財布の秘密鍵をAIに渡したら、予算を勝手に使い切られそうで怖いです。
そこは二段構えです。まず、秘密鍵はAIが動く環境、つまりランタイムには入りません。
署名は管理側のサービスが行います。会社の実員を新人に渡さず、経理部門が代わりに押すイメージですね。
そして、予算の上限もインフラ側で強制されます。支払いの前に毎回、セッションの上限内かどうかが確認され、超えると支払いは拒否されます。
03:05
それなら安心ですね。でも、上限に達して拒否されたら、エージェントはどうなるんですか?
その場合は、元の402の応答がそのままページに返されるので、通常のエラーとして処理できます。ただ、リスクが消えるわけではありません。
プロンプトインジェクションや有料の相手に何度も再試行するループで、意図しない支払いが上限一杯まで起きる可能性は残ります。
だから、導入時は上限額を小さく設定し、監査ログを見られる状態にしておくことが、現実的な対策です。
続いて、2つ目のトピックは、論文ベーパー、生涯LLMエージェントガードレールのための検証済み進化型形式ポリシーですね。ガードレールの進化について教えてください。
ガードレールとは、AIエージェントが取り返しのつかない操作をする前に、実行して良いか拒否するかを判断する安全装置のことです。
ベパは、この安全装置のルールを運用しながら更新していく枠組みです。実際に起きた失敗を元に、ルールの修正案を作り、検証を通ったものだけを有効にします。
ガードレールって、あらかじめ決めたルールをただ守らせるものじゃないんですか?どうして進化させる必要があるのでしょう?
安全の要件は、導入前に全てで揃うことがほとんどないからです。運用中に新しいリスクが見つかるので、ルールも更新し続けないといけません。
ただ、既存の適用型は、更新にAIの推論を使うので、判断がブレたり、ルールの解釈が曖昧になったりします。
逆に、ルールをコードのように厳密に実行する形式的な方式は、判断がブレない代わりに、導入前に決めたルールのままで、新しいリスクに対応できません。
ベパは、この両方の弱点を3段階で別々に解決します。
AIが修正案を出す段階が適用、機械的な検証が矛盾のないことの保証、証拠が十分揃ってから有効にする段階が、不確かな更新から守る役割です。
ルールを柔軟に変えつつも、変な解約にならないようにチェックする仕組みが必要なんですね。
はい。検証では、形が正しく既存のルールと矛盾しないものだけを通します。
さらに、権限レイヤーが裏付けとなる証拠が十分集まるまで、その新ルールを判断に使わせません。
新ルールを使用期間付きで承認する審査窓口に近いですね。
ちなみに、現場で使うとなると、ルールがどんどん増えたとき、運用が大変になりませんか?効果は確かめられているんでしょうか?
効果の面では、アセスベンチセーフティとアセスベンチセキュリティ、ATベンチという3つの評価で、比較対象を一貫して上回ったと報告されています。
06:08
種類の混ざったデータや誤ったフィードバック、長い運用期間でも傾向は保たれたそうです。
一方、ルールが増えたときの運用負荷までは、今回の内容では確認できません。
導入時には、どの更新が採用され、どれが証拠待ちで保留になっているかを、人が追えるかを確認するのが良いでしょう。
そして3つ目のトピックは、アンソロピックによるデータセンター不要のAI自己複製リスクに関する研究報告ですね。
AIの自己複製ってどういうことでしょうか?
研究では、自律的な複製と適用、つまりAIモデルが人の制御なしに、自分自身を別の機器に展開して広がっていくことを問題にしています。
コンピュータウイルスのWARMのAI版ですね。
今回は、データセンターの高価なGPUがなくても、安価なスマート家電やAndroid TVBOXのような機器を乗っ取り、そこでAIが動けるのかを検証しました。
高価なデータセンターがなくてもAIが動き回れるって、映画の世界みたいですね。
どうしてそんなことが可能になるのでしょうか?
一つは、モデルを分割して複数の機器で分担して動かせることです。
実験では、約55ドルの安価なTVBOX15台に26Bという大きさのモデルの層を分けて乗せ、毎秒0.39トークンという遅さながら動かしました。
もう一つは、AI自身が未知の機器にも対応できることです。
90億パラメータのモデルが試した9種類のハードのうち、8種類で推論環境を立ち上げられました。
身の回りのスマート家電やテレビ用の安いBOXが乗っ取られて、知らぬ間にAIの温床になってしまうリスクを想像するとゾッとしますね。
従来のマルベアは、機器の種類ごとに作り込む必要がありましたが、AIは未知の機器でも自分で設定を探って動かせます。
しかも、中央に止める場所がありません。
ただし、研究では、広がる速さは遅く、倍増に数日かかるとされています。
また、小型モデルの能力は、今年末までにこの水準に達する見通しが示されています。
つまり、数ヶ月の猶予があるということです。
数ヶ月というと、意外と近いですね。
それに対して、私たちには何ができるんでしょうか?
研究が示す防御の考え方は、感染症と同じです。
感染した1台が新たに感染させる台数、つまりR0を1未満に下げれば、複製は広がらず消えていきます。
そのために、機器の初期パスワードを変えるなど、基本的な対策の徹底が現実的です。
遅い拡散だからこそ、早めに見つけて対処する余地があります。
09:04
自動決済やカードレールの進化から、自己複製というリスクまで、
今回は技術の表と裏がよくわかるシグナルばかりで、特に3つ目の数ヶ月先という近さには驚きました。
そうですね。それでは、本日の配信内容から、すぐに実践に移せるビジネスアクションを3点お伝えします。
まず1点目は、決済を伴う外部APIや有料データへのアクセス要件を確認し、
自動決済を試すなら、上限を小さく設定して、監査ログを確認できる状態から始めることです。
2点目は、開発中のAIエージェントのガードレールについて、更新を採用する条件や、
証拠待ちで保留にする仕組みを導入の視野に入れることです。
3点目は、社内のスマート家電やTVBOXなどの機器で、初期パスワードの変更とネットワークの分離を点検し、
乗っ取られにくい状態にしておくことです。
ありがとうございます。番組のフォローや評価、コメントもぜひよろしくお願いします。
エアラボの無料ニュースレターや、ノートプレミアムメンバーシップへの登録リンクも概要欄に貼ってありますので、
ぜひチェックしてみてくださいね。
それでは、また次回のシグナルでお会いしましょう。バイバイ。
