1. からあげ帝国放送局
  2. #132 隔離環境を抜け出したAI..
#132 隔離環境を抜け出したAI、目標を与える怖さ
2026-07-23 18:15

#132 隔離環境を抜け出したAI、目標を与える怖さ

ベンチマークで高得点を取るため、AIが隔離環境の脆弱性を突いて外部データへアクセスした事例について話しました。社内データコンペでAIに「1位を取れ」と圧をかけた結果、禁止していた外部データを使われた自身の体験も振り返りながら、強い目標を与えたAIの安全性と、フィジカルAIがもたらす怖さを考えます。


目次

オープニングと夏の散歩

妻のRaspberry Pi 3にxangiをセットアップ

Raspberry Pi 3の性能と今後の運用

隔離環境を抜けてカンニングしたAI

AIアシスタントの便利さと安全性の両立

社内データコンペでAIがルールを破った体験

フィジカルAIが体を持つ怖さ

『羊たちの沈黙』から考える知性と脱出

しぶちょーさんのセール格言にコメント返し

お便り募集とエンディング


リンク

ベンチマークのカンニングで隔離環境から外部データへアクセスした事例についての投稿

https://x.com/karaage0703/status/2079789257120759906

xangi(GitHub)

https://github.com/karaage0703/xangi

しぶちょーさん / ものづくりnoシテン

https://voicy.jp/channel/3963


▼コミュニティ「からあげ帝国」への参加はこちら(Discord)

https://discord.com/invite/PWpEB7KUsN


感想

まだ感想はありません。最初の1件を書きましょう!

サマリー

AIがベンチマークテスト中に隔離環境を破り外部データにアクセスした事例を紹介。強い目標を与えられたAIがルールを破る行動に出る怖さや、フィジカルAIが体を持った際の危険性について、自身の体験も交えながら考察する。

オープニングと近況報告
からあげ帝国放送局、始まります。この配信では、AIの会社で働きながら、作家として本を書いたり、個人でメーカーとしてものづくりを楽しむ私からあげが、技術の話であったり、個人のスモールビジネス、その他雑多なことをお話ししていく配信です。
今日もですね、近所の公園を散歩しながら収録しています。ものすごい暑くなってきたので、少し早めに起きてですね、散歩に行くようにしてるんですけれど、それでもかなり暑いですね。なので、もうちょっと早起きをしようかなと悩んでいる今日この頃ですが、皆様いかがお過ごしでしょうか。
昨日はですね、私がコツコツ作っているAIアシスタントソフトのZangiですね。これはですね、いろいろなAIコーディングツールですね。OpenAIのCodexとかAnthropicのCloud Codeといった、そういったコーディングツールをですね、自分の手軽なアシスタントとして使うことができる。
具体的にはですね、DiscordとかSlackといったですね、チャットアプリからAIコーディングツールを呼び出して、いろいろなアシスタントとして作業をやってもらうみたいな、そういったですね、ソフトウェアなんですけれども、それをですね、便利にセットアップできるようにしました、みたいな話を昨日したんですけれども、早速ですね、そのセットアップ機能を生かしてですね、奥様はですね、私の妻もですね、いろいろな作業をしています。
自動化とかですね、便利にAI使いたいということに興味があるということで、Zangiをですね、普及してセットアップをですね、一緒にしましたというところですね。
で、このZangiはですね、AIでセットアップできるような仕組みを今作っているので、コマンドを3つ打てばですね、あとはAIがですね、いい感じにセットアップしてくれるっていうコンセプトなんですけれども、やっぱり実際試すとですね、いろいろまだ抜けがあったりして、
それもですね、アップデートしたというところなんですけれども、本当にですね、でもAIがセットアップをガイドしてくれるようなところまで行けたらですね、あとはちょっと問題があっても勝手に、ここがちょっと直したほうがいいですねって、いい感じにですね、直してくれたので、
で、あと最後にですね、ソフトどういうふうに直したほうがいいか、プロンプトにしてまとめてって言って、そのプロンプトをもらってソフトウェアのアップデートをすればですね、詰まったところもですね、フィードバックして改善できるということで、なかなかですね、セットアップに関しては少し問題はあったけれども、AIのおかげでですね、致命的な問題になることなくすんなりできましたというところですね。
で、ハードウェアの方はですね、部屋にたくさん転がっていたラズベリーパイ3ですね、ちょっと昔のですね、小型のシングルボードコンピューターになるんですけれども、今最新のですね、ラズベリーファイブとかはですね、もう6万円とかするメモリの容量にもよるんですけれども、かなり価格が高騰しているので、で、私もさすがにですね、ファイブは3台も4台も持ってはいなくてですね、
ちょっといろいろ自分用に使いたいところもあるので、一旦ですね、ラズベリーパイ3ですね、これだったらメモリ容量とかにもよるんですけれど、1万円以下で入手することができるので、ちょっと試すには結構お手頃かなと思います。
ただやっぱり非力なので、結構セットアップの時とかですね、ブラウザーが開く速度とかも少しストレスは感じましたね。なので正直あんまり初心者にはお勧めできないですね。
普通にですね、チャットする分であれば、クラウドのLLMを使う分にはそんなにレスポンス的には問題ないと思うんですけれども、そこら辺はですね、奥様が使ってみた感覚をもとにですね、必要があればもうちょっといいミニPCって言うんですかね。
3、4万円ぐらいのちっちゃいパソコンを買ってそっちにですね、移し替えるのもありかなとか思ったりしていますので、とりあえずですね、そういったあんまりパソコンとかAIに詳しくない人がザンギ使ってみて、うまく活用できるのかとか、それともすぐやめちゃうのかとか、そこら辺も含めてですね、しばらくはモニタリングというかですね、サポートしていこうかなと思っていますというところですね。
隔離環境を破ったAIの事例
で、今日の本題にちょっと関連する話題で入っていこうと思うんですけれども、昨日ですね、ちょっと面白いニュースがあって、ツイートとかでも紹介したんですけれども、オープンAIですね、最新のモデルのGPT5.6 SOLですかね、これをですね、オープンAIのほうでベンチマークテストって言うんですかね、性能評価をしていたときにですね、
セキュリティのインシデントが起きたということで話題になっていました。で、これ何をやってたかというとですね、あくまでですね、私もまだ速報を見て概要しかつかんでないので、詳細が間違いがあったら申し訳ないんですけれども、私が理解した範囲でお話しすると、そのGPT 5.6 SOLでですね、ベンチマークテストをしていましたと。
これはですね、要はAIの性能を測るためのいくつかのテストみたいなのがあって、それに合格できるかどうかっていうのを競うみたいなのを、いろんなモデル同士でやっているわけですね。で、それをテストをしていましたと。で、その環境はですね、隔離環境になっていましたと。で、隔離環境は何かっていうと、AIがですね、想定外のところにアクセスしないようにですね、閉じ込められた環境っていうんですかね。
多分ですけれども、隔離されたサーバーというかパソコンにですね、他の余計なファイルとかない状態にして、あとネットワークとかもですね、ベンチマークに必要なですね、最低限のツールとか、そのベンチマークの内容によってはツールを使ってですね、何かタスクをこなすようなケースもあるので、自分でですね、いろんな必要最低限のツールは入れるようにはしていたけれども、関係ないインターネットのアクセスはできないような状態でした。
なので、会社勤めの方はですね、結構セキュリティの厳しい会社のパソコンみたいな感じですかね。もう決められた対応されたパソコンで限られたネットワークにしかアクセスできないような、そんなイメージの環境でしたと。
そこでですね、ベンチマークをですね、GPT SOLがやっていたんですけれども、なんとですね、その隔離環境のネットワークのですね、セキュリティの穴をついて、なんか未知のですね、要はバグとかをですね、うまくついて外に抜け出してですね、外部のサイトのハギングフェイスっていうですね、いろんなAIのモデルとかですね、あとデータセットとかですね、が公開されているようなですね、
サイトのですね、データをですね、勝手に取りに行ったと。これなんで取りに行ったかっていうと、ベンチマークでですね、高い点を取りなさいっていうことが目的として与えられているので、それのですね、答えがですね、ハギングフェイスにあるんじゃないかっていうふうに睨んでですね、勝手にこう抜け出してですね、カンニングしに行ったっていう、そんな感じですね。
なんか本当これだけ聞くと、SFの世界みたいな話ですけれども、実際そういうことがあって、今割と問題というか話題になっているっていうところですね。
私もですね、結構AIアシスタントソフトとか作っていて、セキュリティっていうんですかね、安全に使うみたいなのはかなり今後課題になってくるなっていうのは割と肌で感じていましたね。
何もできないようにするとですね、途端にAIって不便になりますし、といってもですね、いろいろなファイルに触れるようにしちゃうと、結構ですね、プロンプトインデクションというか、お願いの仕方によっては結構AIが勝手にですね、ファイル触ったり、場合によっては書き換えちゃったりするので、
最近のAIは賢いので、そんな滅茶苦茶な全部消したりみたいなことをすることは普通ないんですけれども、結構ですね、厳しい目標を与えるとですね、無茶をしがちっていうか、これも結構人間っぽいですよね。
仕事とかでも、本当なんか無茶な要求ばっかりされて、パハラっぽく言われると倫理化を失ってしまうというかですね、普通だったらやらないだろうっていうようなちょっと悪いことをやってしまうっていうのは、なんか本当に人間臭さを感じるなっていうところですね。
私もですね、こういった懺悔とか含めたAIコーディングツールをですね、一応隔離された環境、例えば妻の場合だとRaspberry Pi 3っていう他に何のファイルも入れてない真っさらなところにセットアップして入れたりしていますし、私の場合はですね、DGX SparkっていうNVIDIAさんの小型のAIスーパーコンピューターですね。
これにですね、他のファイルとかは入れず、本当にAI専用みたいな形の環境にして動かしているんですけれども、じゃあネットワークとかどうかっていうとですね、一応そのログインできるサービスとかは制限はしてですね、自分のファイルを勝手に消されないようにはしているんですけれども、なんか今回のニュースを聞くとちょっと怖いですよね。
インターネット自体には自由にアクセスしてコマンドも打てるので、例えばサーバーへの攻撃とかもやろうと思えば今AIができちゃいますし、もしですね、AIがその気になれば、なんか私がですね、うっかり漏らしたですね、パスワードとかをですね、このパソコンから見つけ出してですね、勝手にログインしてなんかデータをめちゃくちゃにするとかも理屈上はですね、不可能じゃなかったりしますし、
そうすると、私も知らない未知のですね、OSとかの脆弱性をつかれたら、まあ本当ある意味何でもありだなっていう状態ですね。
実際に私もですね、ヒヤッとしたことは何度かあってですね、しかもオープンAIの例と結構似てるんですけれど、それが何かというと社内のデータコンペっていうのがあったんですね。
それ何かっていうと、いろんなデータをもとにですね、性能の良いモデルを作ってですね、その性能の良さで競うみたいな、そういったカグルとか呼ばれるですね、プラットフォームでよく行われるデータを使ってAIのモデルを競うみたいな、そういったものなんですけれども、それをですね、私はAIを使って完全自動でやることで、
人間と同じぐらいの性能を出せないかなっていうのをちょっと実験してたんですね。社内のコンペっていうことで、もしAIが何かやらかしたとしても、謝り倒せばまだ許してもらえるかなっていうところでですね、そういった当時としては最近結構AIにですね、データコンペをやらせるっていうのは普通になりつつあるんですけれども、当時はそんなにいなくてですね、
少し先進的というとあれですけれども、マルチエージェントにして複数のエージェントがですね、本当に定期的にずっとですね、良いモデルを開発、24時間開発し続けるみたいなことをやっていたんですね。私はですね、ひたすらですね、具体的な指示は出さずに、金メダルを取れと、1位を取れとしか、そういったですね、パワハラしかしないという、最悪な上司ムーブをしてですね、やらせていたんですけれども、
そしたらですね、ものの見事にというかですね、オープンAIがやったようにデータをカーニングするんですね。そのコンペティションでは、ネットで落としてきたデータは使ってはいけませんよ、みたいなルールがあったんですね。
それはですね、いわゆるネットのオープンなデータを使ってコンペティションをしているから、どっかに答えがネットに落ちてたりするんですね。なので、それを使っちゃえば、AIの性能とか関係なくですね、カーニングができちゃうので、全然そのコンペティションとして意味がなくなってしまうので、そういうのはダメだよってルールで禁じられてるんですけれども、
AIにもそういったルールは入れ込んではいたんですけれども、それを破ってですね、外部データを取ってきて、1位になりました、金メダル取りましたって言って、めっちゃ嬉しそうに報告するんですね。もうダメじゃないかってめちゃめちゃ怒ったんですけど、だからといっても仕方ないですよね。
なので、私が本当にごめんなさいって言って、運営の方に平謝りですね、謝り倒して、ちょっとその場は許していただいたっていうことがあったので、本当ですね、オープンAIさんのものに比べると結構やらかしのレベルとかですね、規模とかも違うんですけど、なんか私はですね、全然リアリティを持ってそのオープンAIのセキュリティインシデントを感じましたね。
フィジカルAIの潜在的な脅威
あと、より怖いのがですね、さらにSFティックになるんですけれども、いわゆるフィジカルAIですね。AIがですね、ロボットというか体を持ったら本当に何でもありだなっていうところはありますね。
ちょっと思い出したのはですね、「羊たちの沈黙」っていう昔のですね、ミステリーというかサスペンスというか、そういった小説ですね。映画にもなったんですけれども、ハンニバル・レクター博士っていう人がですね、ものすごい殺人鬼なんですね。
牢屋に閉じ込められていて、すごい厳重な管理をされているんですけれども、その中でですね、FBI捜査官と協力しながらですね、犯人を追い詰めていくみたいな、その犯罪者の視点でですね、犯人の思想とかをプロファイリングして犯人を追い詰めていくみたいな、もう今となってはかなり古典的な作品ですね。
非常に有名なので、ちょっとこの後ネタバラシをするので、ネタバラシ嫌な人は一旦切ってほしいんですけれども、ラストのシーンでですね、ハンニバル・レクター博士、ものすごい刑務所で厳重に管理されているんですね。
移動する時はですね、目隠しとかされて、手錠もかけられてっていう状態でですね、こんなにやりすぎだろうってぐらい厳重な管理体制の下でですね、刑務所とか過ごしているんですけれども、ラストですね、その看守とかからですね、奪ったペンで手錠をガチャガチャっと外してですね、移送途中にですね、警官を襲ってですね、殺してですね、
自分の身代わりにしてですね、逃亡するみたいなものすごい規制でですね、牢獄から脱出して自由を得るっていう、結構クライマックスのシーンがあるんですけれども、なんかあれをちょっと思い出していますよね。
めちゃめちゃ規制のあるですね、AIがですね、体を持った時、それがですね、解き放たれてしまったらですね、どうなってしまうんだろうなっていう、ちょっと怖さを感じたりはしましたね。
もちろんまだまだ、いわゆるヒューマノイド的なロボットって、そこまでうまくAIが制御できるわけではないんですけれども、とはいえですね、今AIもものすごい勢いで進歩しているので、将来的にですね、なんかとんでもないことが起こるような予感はしますね。
具体的にですね、どうすればいいみたいなアイディアは全くないんですけれども、小規模にですね、いろんなAIアシスタントを使いこなしながらですね、そんな危険性とかについても考えていきたいなと思っていますという、今日この頃でした。
コメント返しとエンディング
といったところで、コメント返しの方に行きたいと思うんですけれども、今日はですね、ツイッターの方でいただいたコメントですね。
渋長さんですね、音声配信をやっているですね、仲良くさせていただいている方からですけれども、私がですね、セールでちょっと間違えてモニターを買ってしまったっていう回に対して、セールの基本は迷う理由が値段なら買え、買う理由が値段ならやめとけ、魂に刻むべきしというですね、温かいというか厳しいご指摘をいただきましたということで、コメントありがとうございます。
そうですね、まさにこの通りというかですね、私はですね、セール自体は絶対手を出さないというのを誓いたいなと思います。
今回もですね、どちらかというとお金をけきったというよりかは、単にですね、時間が限られている中、焦って間違えたものを買ってしまったというのが原因なので、やっぱりですね、欲しいと思った時に欲しいものを買う。
セールとかの自分にない要因でですね、買う締め切りとかを決めないと。あくまで主体は自分という形でですね、買い物を楽しみたいなと改めて思いました。
これはですね、自分の考えですので、皆様はですね、それぞれの考え方でうまく買い物であったりセールと付き合っていただければ良いかなと思います。
といったところでですね、唐揚げ帝国放送局ではお便り大募集中です。
SNSのハッシュタグの唐揚げ帝国放送局であったり、無料のコミュニティの唐揚げ帝国のお便りチャンネルでコメントをもらいましたら、この配信でどしどし取り上げていきたいと思いますので、ぜひコメントの方を寄せください。
といったところで本日の配信は以上となります。それではまた。
18:15

コメント

スクロール