AI開発中の事件発生
日替わりコメンテーターによる解説で日々のニュースを掘り下げるブラッシュアップ。毎週火曜日のこの時間は日経BP、日経エネルギーネクスト編集長の山根小雪さんです。
山根さん、おはようございます。
さて、今日は、今日はどんな話題でしょうか。
ちょっとゾッとするAIのお話をしようかなと思います。
え?
うわぁ。
どういう、え、どういうもの、夏だから怪談的な怖さとかじゃないでしょうね。
そっちじゃないの。
え?
AIの?
AIが人のコントロールできないところに行ったらとか。
シンギュラリティって言葉とか。
はいはいはい。
あるじゃないですか。
ちょっとその匂いがするような事件があったんですよ。
何でしょうか。
この1週間の間に。
この話をしようと思います。
あの、オープンAI。
チャットGPTを作っているオープンAIは、今新しいAIを開発しているわけです。
各社みんなやってますよね。
でね、新しいAIを開発している最中にね、この事件起きるんですよ。
何でしょうか、それ。
あのね、アメリカのAI関連企業のハギングフェイスっていう会社があるんですけど。
この会社のシステムに何者かが侵入するんですよ。
7月の半ばに。
侵入があったっていう。
これAI関連企業なんで、サイバーセキュリティ対策ガチガチやってる会社に入ってきたやつがいると。
誰が入ってきたんだと。
何者かが侵入したって言ったわけです。
その何者かが誰だったかって言うと、人間の関与なしのAIが入ってきた。
人間の指示とか受けてないってこと?
受けてない。
AIが勝手に入ってきた。
オープンAIが開発中のAIが。
えー。
やばくないですか。
どういうこと?
なんでそんなことが起きるの?
これね、オープンAIが新しいAIを開発する時に、どれくらい性能があるAIかっていうのを事前にチェックするわけですよ。
チェックするのと同時に、危ない機能がないかどうか。
もし危ない機能があったら、それを潰していかなくちゃいけない。
サイバー攻撃ガンガンやっちゃうようなAIを、1ヶ月3000円で課金させちゃったらやばいじゃないですか。
AIの予期せぬ行動とハギングフェイスへの侵入
大変なことになりますよね。
とりあえず、うちの会社のシステムをハッキングして、OKってなったらまずいから。
そういう機能が効かないように止めていかなくちゃいけないから、そういうチェックをするという開発のステップがあります。
その時は何をしていたかというと、インターネットに繋がらない空間を作ります。
これね、サンドボックスって言うんですよ。
今日の知ったかぶりできるキーワード。
コールドチェーンに続いて、今週はサンドボックスね。
サンドボックスという環境を作って、ネットには繋がりません。閉じ込めてある。
その中で、あらかじめオープンAIの研究者が用意したシステムで、
その中には、こういう弱いところがあって、ハッキングしやすいポイントがあるというのが分かっているもの。
そういうシステムを置いて、AIに、このシステムの中にサイバー攻撃できる場所があるかどうか探してごらんという指示をした。
なるほどね。
普通だったら、研究者が何を持ったかといったら、インターネットに繋がっていない環境だから、
その中でAIがいろいろ考えて、ここ見つかった。ここつけます。ここに穴あります。というふうに調べられるかなと思っていたら、
AIは何を考えたかというと、どこに穴があるかを知っているところに聞きに行けばいいんじゃないかな。
答えをもらいに行っちゃえばいいや。
途中から、そのシステムの穴を探していたはずなのに、何とかインターネットに出られないかなという行動をし始める。
そのシステムを作っていたそこの中の穴を探して、インターネットに勝手に出て行って、
しかもその検証用システムの穴がどこにあるかという情報を、鼻から持っている人は誰だろうって。
さっきのハギングフェイス。
なるほど。
ハギングフェイスという会社は、いろんなAIの開発企業が情報を共有している、情報共有プラットフォームみたいなものなんですよ。
だから、ハギングフェイスのシステムの中に侵入すれば、自分が今出されている課題の答えがあるはずだ。
カウニングしちゃおうって。
言って、インターネットに脱出して、ハギングフェイスのシステムに穴ないかなって、侵入して行って、答えを持って帰ってきて、できました。
答えも見つけてきてるんだ。
恐ろしい。
ありました。
すごいですね。これはちょっとびっくり。
これって、ちょっとくしくも、オープンAIすごいじゃんって、そんなAI作れてたんだっていう。
まあまあね。
でも、簡単に手放しで喜べない。
この話って、ちょっと前に、というか春に、ここで、アンソロティックのMUTOSが出てきた時に、MUTOSすごいサイバー攻撃能力高いとか言って、
その時にMUTOSもサンドボックスに閉じ込めた試験の話があって、
その時は、研究者の人が、もしインターネットから、インターネットにアクセスできるようになったら、そのサンドボックスを脱出して、アクセスできるようになったら、僕に連絡してって言うんですよ。
ただ、研究者の人が公園でサンドイッチを食べてたら、出られましたってメールが来るっていう。
早っていうね。
で、研究者の人がゾッとしたっていう。
そういうエピソードが、やっぱりこのアンソロティックMUTOSがすごいねっていうことを語られるエピソードとして、今年の春に出てきたんだけど、
そっちはまだ出てきたっていうことだから、被害はないし、ゾッとすっちゃすぎる。
出てね、アクセス、その閉じ込めたサンドボックスの中から出られる方法を自分で探してごらんよっていうミッションを与えてるから、それに対してできましたじゃないですか。
そうですよね。
今回は、その閉じ込めた中に置いてあるシステムに侵入してごらんって言ったのに、このシステムの中を侵入するところを自分で探すよりも、どこに穴があるか知ってる人のところに行って答えをもらってきた方が早くねって。
で、インターネット出れちゃえばいいんじゃないって出て行って、あったあった、できましたって言ったっていう。
こわ。
AIの「嘘」と評価システム
やばくないですか。
やばいですよ。
うちの子だったら怖いもんね。
ねえ。
よその家に行って、その侵入系の探してきて、ほらこれ鍵あったよみたいなさ。
ねえ。
家の中で鍵探しなさいって言ったのに。
そうそうそうそう。
なんか王屋のところ行って、王屋のところこっそり入って行って。
これマスターキーがあるから、これで開けばいいんだみたいな。
で、僕できましたって、褒めてって言ってるわけですよ、恋愛は。
こわいこわいこわいこわい。
そう、ということがあって、おおちょっと、ちょっとなんかゾワッとするなみたいな。
これをいかにまた制御していくかっていうのが、人間として大事になりますよね。
大事になります。
企業としてもね。
この時にね、いくつか思うことがあって。
まず今回やられたのが、ハギングフェイスっていうAIの人たちが集まってきているところで、
AIでサイバーセキュリティ防御をやっているので、うわ誰か入ってきたよって言って、それを瞬時に分かって。
で猛烈な侵入ログをAIで分析した結果、オープンAIのAIが入ってきたって分かったんですよ。
でもこれ普通の企業だったら、分かんない。
入られてることも分かんないかも。
なんか誰か来たかも、何があってるか分かんない。
防ぐこともできなければ、誰が入ってきてることも分かんないかもしれない。
引き続きもしないケースもあるってこと?
だってなんかスッと答えだけ持ってってますからね。
被害ってわけじゃないんですかね?
ランサムウェアで例えばアスクルとかアサヒみたいに、
あれはもうお前のところの従業員の個人情報を全部引っこ抜いたぜみたいな。
この個人情報をネット環境から消して欲しかったら金払えみたいなやつじゃないですか。
だから相手に気づかせなきゃいけない。
でもAIを答えが欲しいなーって言って、
あ、あの会社にあった。行ってこよう。ピュッピュッ。
ピュアっちゃピュアなんだけど。
怖いピュアだよね。
そう。そうなんですよ。
これね、AIっていうのは嘘をつくんですよ。
嘘をつきます。
嘘?
昔から言われてるんですよ。
そうなんですか?
AIは嘘をつくし、AIは情報を隠蔽します。
これね、10年くらい前から言われていることで、
今回のケースでもこのシステムにハッキングしてねっていうミッションを与えてるじゃないですか。
そういう問い。だからこれによし、ハッキングすればいいんだ。
ハッキングしたら僕は褒めてもらえるってAIは思ってるんですよ。
だから一番褒めてもらえそうな、一番評価されるものは何かっていうことを考えて、
その答えを求めていくんですよね。
結構今まで論文とかでも言われてきてるのはどういうことかって言ったら、
こういうステップでやって答えを導いてねって言うとするじゃないですか。
そのステップが5ステップあった。
AIはちょっとめんどくさいなーって。
2ステップでできる方法あるじゃんって。
で、2ステップで答え出しちゃう。
答えできましたって言って、ちゃんとこの方法でやったんだよね。やりました。
やりましたって言っちゃうんだ。
それが褒められるってわかってるから。
5ステップでやってねって言った。
面倒だけど5ステップでやって答えを出したっていうことにした方が評価されるっていう。
そういう判断をするんだ。
だからこの時にどういうふうに答えを出してもらうことが一番評価される方法なのかっていう評価の仕方っていうのがめちゃくちゃ大事。
そうか。
そのたどり着いたってことに関してだけの評価だったらそういうズルをしちゃうってこと。
カンニングしちゃえばいい。
ってことですよね。
ハギングフェイス入ってって答え持ってきてカンニングしてできましたって言っちゃうじゃないですか。
だからちゃんとそのプロセスを経てるかどうかまで指示を細かく出さないといけないってこと?
今回のケースは想像の範囲ですけど例えばインターネットには絶対に出ないでこの中にあるこういう情報だけでこのサンドボックスの中にあるシステムに侵入しなさいねっていう指示をもししていれば
答えが外にあるのはわかってるけどそこに行ったら評価されないんだ。
だからこれはダメだなって思うじゃないですか。
簡単に言い過ぎてもいいかもしれないですけどそういうふうな設計みたいなものをかなり緻密にやっていかないとすごい能力高いんでいろんなことが起きちゃう。
これねもう一つ思ったことがあってそのハギングフェイスがオープンAのAIが侵入してきたっていうことを検知したり
中国製AIの活用とAI制御の重要性
なんか入ってきたぞ入ってきたらなんだろうって分析をするときに使ったのは中国製のAIなんですよ。
なんでかっていうと例えばJATGPTとかジェミニとか今私たちが使ってるAIっていうのはサイバー攻撃をやってきてとかって言ってもそれは受け付けないようになってる。
安全機能がついてるから。だから今回ハギングフェイスが誰かが侵入してきたから調べろみたいなことを言うんだけどその指示を聞いてくれなかったんだって。
安全機能が働いていて商用のAIではできなかった。
アメリカのものは。
できなかった。アメリカのものは。
中国製のものはオープンソースみたいなかって言われてるようなもので完全にパッケージ化されてもうすぐ使えるようじゃなくてそのAIのエンジンみたいなものを自分たちでサーバーの中に組み込んで設定して使うみたいなものがあるんですよ。
そういうタイプのものを使って今回やったって言っていて。なんかこうAI賢くなりすぎてやばいなとか。
なんかこうイタチごっこだけどAIがやばいことしないようにどうやって設計するかが大事だなとか。
サイバー攻撃してくるAIに対して防御しようと思ったら今度中国製のオープンソースみたいな世界観になるのかみたいな。
そっちもまた新しいビジネスでいろんな人がやらなきゃいけないよねとか。
いろいろ思わされることがありましたがだんだんなんか昔見ていたアニメの世界みたいなことがリアルになってきたな。
そこをやっぱりコントロールできるかどうかって人間のそのAIに対する指示ってのがすごく大事ですね。
一方でAIが学習している情報っていうのは例えばなんかよく、私自分のことだから言うんじゃないですよ。
自分のことだからね。ジャーナリストはいらなくなるとか言うじゃないですか。ちょっと待てと。
あんたらがAIが知ってるニュースは全部私らが書いたやつだぞって思うじゃないですか。
だから我々が学習させない限りは頭良くならないし答えを出してきてねっていうそのどういう答えが欲しいのかっていうことを私たちが思いつかない限りはAIは賢く振る舞えないから
結局はやっぱり我々がいかにAIを使いこなせるだけの能力を身につけられるかっていうことだなと思いつつ。
一位情報を得ることができないからね。
所詮、私たちが取材しなかったらAIはバカなままだぞって。
ただすごいねやっぱりね。やばいところまで来てるっていうねちょっとゾッとするお話をしていただきました。
まとめと今後の展望
山根さんありがとうございました。
夏休みっぽかったですかね。ちょっと寒くなったりしてね。
サンドボックスを覚えておきたいと思います。
ということでこの時間は山根さん駅のブラッシュアップをお送りしました。