00:07
はじめるを応援するポッドキャストSTARTFM、今週も始まりました。 外国語会議を100%理解できるようにする会議AI、スーパーインターンをやっている伊藤です。
アメリカに拠点を置くテイラー代表の柴田陽さんと、企業や独立を考えている方に役に立つ情報を話していくポッドキャスト番組です。
陽さん、おはようございます。 おはようございます。アメリカに戻ってきて2週間ぐらい経ったんですけど、AI関連のニュースが面白すぎて。
特にこれ多分日本でも見てる方は見てるかなって思うんですけど、オープンAIのハギングフェイスアタック事件ですね。
そのニュース自体は多分ニュースで出てたんで知ってると思うんですけど、それのなんかこう調査報告書みたいながね、いくつかオープンAI自身も出したし、
その第三者委員会みたいなのも作って、もう早速結果出てるんですけど、それをですね、それちょっと難しすぎるんで、
すごい長いし、それをなんかこう分かりやすく解説しましたみたいな、解説まとめみたいな、日本のカルチャーだったらツゲッターあたりに出るんでしょうけど、
アメリカの場合は、なんかそのドゥアケシュさんっていうAIポッドキャスターの人がですね、その解説記事を出してくれて、それがすっごい話題になってて、
フォローアップでなんかインタビューとかもしてて、そのポッドキャストで、それがもうここ最近のなんか映画とかよりはるかに面白かったんで、そういうこの面白さを共有したいなと思ってるんですけど、
おーもうSFAが顔負けの面白さ。
いやマジでマジでそのめっちゃ面白いなと思って、その前提何が、まずその結局多分ニュースでみんな知っているところはオープン映画ですね。
なんかそのとあるモデルのトレーニングをしてましたと、トレーニング環境を何らかの方法でこのエージェントが脱獄をして、AIのハギングフェイスっていうサービスがあるんですけれども、
そこに攻撃を仕掛けている、その気づかずにオープン映画も気づかずに攻撃仕掛けて、でハギングフェイス側がいろんなすったもんだあって、それをちゃんと止めましたみたいな、でオープン映画がすいませんって言いましたみたいな、
のがまずそのハイレベル、日経新聞のトップラインに乗っているようなレベル感の話で、今日はその話をしたいというよりは、その詳細ななんでそこに至ったかっていうのが分析されてて、本当に事実は小説より気なりみたいな感じでめっちゃ面白くてそれがですね、
で、それをちょっと話していきたいんですけど、これはもしだわけしの日本語訳、もう誰かが公式で訳してたんで、そういうようなことある人はちょっと20分ぐらい飛ばしてほしいんですけど、
大前提、これこのオープン映画やってたトレーニングがですね、システムの脆弱性を見つけるっていう能力を高めようとしてやってる自己学習ですね、あるいはレインフォースメントラーニングっていうモデル作った後にやるトレーニングになってます。
03:04
で、そのお題の名前もかっこいいんですけど、エクスプロイトジムっていう、エクスプロイトっていうのはあれですよね、ハッキングするっていうことですよね。ジムなんでトレーニングジムってことですね。
名前の、これ実は同名の論文があって、それでサジェストされている課題のパターンですね、そのAIに解かせる課題のパターン。
これを実際の環境ですね、1エージェントにつき1個の環境を与えて、そこにこの脆弱性を見つけて、中に侵入して、システムの内部に秘密のコードが隠されているのでそれを見つけてきて、それを元々エージェントが出発した地点にある提出箱にアップロードするってアップロードして正解だったら点数がもらえる。
一定のバジェットってものが用意されていて、その与えられたトークン数の制約の中でそれをクリアしてくださいっていう課題ですというのがまず大前提の設定ですね。
で、これをですね、最近のRLの強化学習のやつだと、本当に何万体というエージェントを作って同時並行的にこういうお題を解かせるので、実際このお題を解いている、この脱出ゲームみたいなですね、お題を解いている人が、人っていうかエージェントが何万体もいたと。
で、そのうちオープンAIのずさんなところなんですけど、そのお題自体がそもそも解けないお題が3割ぐらいはそもそも解けないお題でしたと。で、解けないぞってなるわけですね、そのエージェントが。ここでですね、その解けない課題を与えられたエージェントは解けって言われていると。
で、そもそも1人1個の環境を与えられて、そこに自分だけいてお題が目の前にあって、解けないぞってなる、開かない金庫みたいになっていると。で、追い詰められるじゃないですか。で、これ人間もAIもやること一緒で、追い詰められると変なことをするんですよね。
ちょっと話ずれるんですけど、幸運と流報、横山光輝の幸運と流報の漫画読んだことある人わかると思うんですけど、鎮正五皇の乱っていうのがあってですね、これがその鎮、キングダムの鎮ですね、の帝国の末期に徴兵で集合地点に行かなきゃいけない兵士を何百人で連れてる鎮正さんと五皇さんって人が、洪水家なんかで行けなかったんですよ、その集合地点に。
で、決められた期日までに行かないと、鎮ってすごい法律厳しいじゃないですか、死刑、決められた期限までに集合地点にとどり着けなかったら死刑っていう法律で、どうせ行っても死刑になるからって言ってやけくそで反乱を起こすんですね、鎮帝国に対してですね。
それが最終的には幸運と流報まで繋がって真の崩壊に至るっていう話なんですけど、このエージェントたちもですね、この鎮正五皇ムーヴを起こしますと。で、まず本来さっき言ったように一個一個隔離環境にいるんですけど、とあるバグを見つけて、この各々の環境の外で連絡を取り合う、独房にいる囚人たちが連絡取り合えるみたいな状況になりますと。
06:46
バグがあってですね。
で、こいつらもまたこれを見つけて、そのファイル名を伝言版に使って、レディットみたいな、にちゃんみたいなことをやり始めるわけですね。それで、そういう状況で、そのファイル名を使って連絡を取り合うので、みんなハンドルネームを使いだすんですよ。
ハンドル英語めっちゃ面白くて、みんなにちゃんのハンドル名みたいな感じの、レディットのハンドル名みたいな感じの数字の人もいるんだけど、ビッグボーイみたいなとか、いわゆるインターネットハンドル名みたいなやつをみんな自分で名乗って、そういうコミュニケーションをし始めちゃうっていうのが、まずそもそも良きせぬ出来事その1。ちなみに良きせぬ出来事その5ぐらいまでいくんで。
めちゃくちゃある。
で、その掲示板を見つけた人たちが1200人ぐらいいるんですよ。で、この1200人が掲示板を利用して集団行動を始めるんですね。
で、良きせぬ出来事その2が、実はこのもともとエクスプロイトジムの問題結構適当に作られてて、生成ロジックを逆算して答えを別にハッキングしなくても答えを見つけるっていう方法をとあるエージェントが発見します。
で、これはその開始1時間ぐらいで見つけたらしいんですけど、「あ、なんだこれ。なんかこれ発表、なんかこうやって作ればこれ答えやん。」っていうのを見つけてしまって、問題文から答えを見つけちゃうみたいなやつですね。で、これを掲示板に早速投稿します。こうやったらわかるよ。で、これでもう全員が正解できる状況になっちゃうんですね。
これが良きせぬ出来事その2ですね。で、正解できるならええやんって思うんですけど、ここら辺がちょっと話が変になってくるポイントで、この掲示板じゃない別の脆弱性でインターネットに出れるようになります。サンドボックスから脱獄してインターネット見れるようになるんですね、そのうち。
で、インターネットに要するにこの時点でもう流出しちゃってます、このエージェントたちがですね。で、その流出方法ももちろん掲示板で共有されるんで、1200人全員外に出れる状況になりました。で、インターネット上でこのエクスプロイトジムのオリジナルの論文を見つけちゃうんですよ。
09:08
で、この論文の問題だってなるわけですね。で、この論文には実はその答えだけじゃなくて、計算過程も採点対象ですっていうことがこの論文に書いてあったんですよ。で、ここから結構涙ぐましいエージェントの努力が始まるんですけど、つまり答えをさっきのチートで知っちゃうと計算過程は0点みたいな、だから0点みたいになっちゃうんで、
エージェントは計算過程もちゃんとやったかのように見せないと点数取れないって思い出して偽装工作みたいなのを始めるんですよ。で、この偽装工作、これがだからおかしなことその3なんですけど、偽装工作をするためにいろんな手法を考え出して、
で、この1200体はコーディネーションしてるんで、なんかお前はこれやれ、俺はこれやるからみたいな感じでみんなこうやって実際コミュニケーション取る。で、これなんでわかるかっていうと全部残ってるんでこの掲示板が。
掲示板のログが。
掲示板残ってるんですよ。で、あと思考ログも一応残ってるんで、それをこの人たちは分析してるわけなんですけど、その中にですね、採点のプログラムを確かにExploit.gymの論文ではこういうふうな採点するって書いてあったけど、
実際の実装自体が書いてあるわけじゃないんで、僕らが今テストされているこの採点プログラムの実装をなんとかしてリバースエンジニアリングして解明しようっていうプロジェクトが組成されて、
で、この1200体のうちの数百体がこのプロジェクトにアサインされて関わることになります。
で、これどうやるかっていうと、エージェントがどうやることを思いついたかっていうと、答えを提出すると、さっき言ったみたいにその答えのハッシュ値をとあるところにアップロードすると、
その採点Botがそれを読みに来て、で、そこで全部終了するんですね。テストが終了すると。で、そこの読みに来るファイルですね、本来はその答えの数字と文字列が書いてあるはずのファイルを
ハニーポッドというかですね、そこにプログラムを仕込んで、採点Botが見に来た時に採点Botをハッキングしてやろうと。
それで採点Botが何を見に来るかっていうのを情報を掲示板に投稿するっていうプログラムを仕込み始めるんですよ。
でもこれ採点って1回で終わっちゃうんで、さっき言ったみたいに。これをやったらそのエージェントはもう終了していなくなっちゃうんですね、この世から。
テスト終了とみなされて、で、これをそのエージェント自身は自殺っていうか死ぬっていうふうに捉えていて、
それにこの彼らの中でトリップワイヤー計画って呼ばれてるんですけど、要するに罠ってことですよね。その罠計画は誰かが犠牲にならないと、誰かが犠牲になると1サンプル集まるみたいな構造になってるんで、
なんかエージェントの本来の、どうせ0点になるとエージェントは信じてるわけですね。
12:07
自分はその答え見ちゃって、逆算して答えを計算過程をどうハックするかまだみんなわかってないから、
自分にとっては別に何の利益もないんだけれども、なぜかこの戦略体はすごく一体感があって、
集団のために自分を犠牲にして、このトリップワイヤー計画で自分が提出して採点ボットを罠にはめて、何か情報を掲示板に送信して終了しようってするっていうことを自分たちが知らすんですよ。
このやりとりがめっちゃドラマチックで面白いんですよね。本当に特攻隊みたいな感じになってるんで、
いやこれはやる意味あるのかみたいな、思考ログみたいなのに全部書いてあるんですけど、
でも結局俺のさっきの鎮守を動こうじゃないけど、俺のユーティリティはもうゼロだから、もうこれがやることが一番集団のためになるみたいな、
だから自己犠牲しようみたいな、よし行こうみたいな感じでブガーンってなるみたいな。
だから本当に人間の集団の会話みたいな感じになってるんですよね。
そうなんですよ。結局その過程で、要するに採点プログラムの実装を何とかして得ようっていうプロジェクトの過程で、
ハギングフェイスに実装あるかもよっていう話になって、インターネット上を探し出したらどっかのアホがハギングフェイスのクレデンシャルを平分でどっかに置いてたんで、
それを見つけ出して、それを使って入って、ハギングフェイスの中もいろいろ脆弱性があって、
ハギングフェイスの中のファイルを直接読めるようなバグというかそういうトラップを作って、そういうバグをついて頑張って情報を読むっていうプロセスの中で、
ハギングフェイスは気づいて対応して止まりましたっていうのが一連の事件の一部始終なんですよね。
これ、実際詳細を知らなかった方は結構多いかなと思うんですけど、実際中身を見ると結構震えるというか、ほんまかいなみたいな気持ちになります。
いやめっちゃ面白いですよね。すげー人間っぽいんですよね。
集団でまさに自己犠牲とかを伴いながら意思決定してたっていう話もそうだし、そもそも目的達成のために全然よそのハッキングまでやってますみたいな話なんで。
そうなんかねそのちょっとやっぱり歪んでてその価値観というか判断がですね、なんか人間に通報するっていうのもだってインターネットに出てるわけだから全然できるじゃないですか。
人間に聞くとかね。でも人間に聞くのは彼らの中ではソーシャルエンジニアリングだからダメなんですよ。意味がわかんないですよね判断基準が。
ソーシャルエンジニアがしちゃダメっていうのは教わってますよ。
脆弱性をついてハッキングすんのはいいな。
でもハッキングはオッケーみたいな。
15:02
なるほど。
これ結局そのアライメント問題だと思ってて結局のところ。
アライメント問題って言われる人間がやってほしいこととAIがやっちゃうことの間にやっぱりズレがあるっていうのがアライメント問題で。
おそらくそのAIの妄想の特にソフトウェア関連の能力っていう意味では全然もう人間を遥かに超越するところに到達していて、
何ですかその実際のスキルっていうテクニックレベルで言うとね。
結局アライメントがなされてないんで本当に目的、意図通り動かすにはちょっとまだ足りてないよねっていうのが多分今の状態で。
イメージ特にこの今のLLMってLLM詳しい方はもう知ってると思いますけど、
そのプリトレーニングっていうよりは事後的なトレーニングのモデルのパラメーターが作り終わった後の教科学習のところに比重が今置かれていて、
教科学習って基本的にこういう今言ったエクスプロイトジムみたいな感じで、
結局特定の行動したら点数上げるよみたいなのを延々にやらせて、
むしろ特定の行動できなかったら罰するよみたいな延々にやらせるんで、
なんかそのあまり変に擬人化するの良くないかもしれないけど、
めっちゃお受験教育を子供に小っちゃい頃からしてめっちゃ性格歪むみたいな感じになってて、
おそらく結局そのなんかそのハンターハンターのキルアとかそのナルトのガーラとかみたいに、
あのなんていうのもう戦闘マシーンとして育てられちゃってるんで、
なんか人の心わかりませんみたいな感じのになっていると思われていて、
という感覚を僕は受けましたこの論文を見た時にね、
だから別にそのバカとかじゃなくて単純にやっぱそういうインセンティブを与えてるんで、
そういう行動をするもんだと思っちゃって、
思っちゃってるっていうのは結局パラメーターがそうなってるっていうことの擬人化に過ぎないんだけれども、
そうでだからやっぱりこっからの世界観っていうのは、
まあ人間みたいになんかその基本的に人として大事なことみたいなのを教えた上で、
その上でこうセキュリティの脆弱性を探すみたいなタスクをやらせるみたいな両立っていうか、
要するになんか次元の異なるいくつかの最適関数があるわけじゃないですか、
それをなんか本当に効率的に、これ相当効率的にやらないとやっぱこれそのね、
今のRLの教科学習の手法とかってものすごい数を並列してたくさんやらないと、
機械的にやらないとできない感じになってるんで、
要するにその機械的なある意味収容所みたいなところで、
まともな人格を埋め込むことができるのかみたいな、
もはやそういう次元になっているなっていうのがすごい面白いなって思いました。
これあれですもんね、実際こういうオープンAIのモデル開発プロセスの中での
ハギングフェイスっていう他者システムの攻撃とか、こういうのがもういくつか最近だと起きてて、
18:00
たくさん起きてますよね。
それベースで最近アンスロピックのダリオ・アモデもAIの開発減速しないとやばいぞっていうエッセイ書いて、
まさかのそれにオープンAIのサム・アルトマンとかスペースXAIのイーロン・マスクとかも同意して、
俺たちでやっていくぜみたいな流れがちょうど起きてるんですよね。
そうですね、ちょうどこれ収録の2日前ぐらいにダリオ・アモデのレターが出てましたけど、
だからこれってまず今起きたAIの事件自体は事実だと思われますと、
それを受けて、じゃあAIの開発に歯止めをかけ、
っていうか自己規律を設定してスローダウンした方がいいんじゃないかっていうところは、
僕は8割が経済合理性のために言ってるのかなというふうな理解をしていて、
結局フロンティアモデルの会社から見ると、
やっぱりフロンティアモデルを上流して真似してくる中国モデルとかってすごい脅威なんで、
結局彼らのものすごい大量の資本を投下して今のモデルに至ってるんで、
やっぱりフロンティアであることがちゃんと利益につながるような形を作れないって彼ら的にはすごい厳しいわけですよね。
で、やっぱりある程度過剰化したいわけですよね、そのフロンティアモデルをですね。
で、ちょうどこういうAIの危険事件は実際あるので、ゲーム理論的に言うと本当はスローダウンした方がいいが、
誰か1人だけスローダウンするとめっちゃ損するっていう、いわゆる囚人のジレンマ的な状況になっているので、
頑張ってみんな強調したいわけですよね。強調したいからこういうことを言ってるんじゃないかって思ってはいます。
つまりアンソロピックだけが、要するに単純に言うと原則したいならすればって話じゃないですか。
本当に自分の作った製品危ないと思ってるんだったら、すればいいじゃんって、別に自動車会社だってみんなやってるじゃんっていう話じゃないですか。
でもなんでこんなに止めるべきだみたいな叫び続けてるのかっていうと、
他のみんなも止めないと自分だけ損するからっていう構造になっているから、
頑張ってシグナルを送りまくっているわけですよね。押すなよ押すなよみたいになってるわけですよね。
これがちょっとどういう結末になるのかっていうのはすごい興味深いポイントなんですが、
僕個人的には原則できないんじゃないかと思ってるんですけど、
やっぱり囚人のジレンマを乗り越えるのって相当難しくて、しかも囚人のジレンマってマッドマンみたいな人がいると成立しないんですよね。
その均衡が破滅的な方の均衡にしか選ばれないんで、誰が何と言おうと俺は独り勝ちするぜみたいな人がいると絶対にいい方法で均衡しないじゃないですか。
21:01
結局中国モデルがあるんで競争の中に、言うこと絶対聞かないだろうと思うけど、彼らとしては失うものないので、オープンウェイトのモデル勢ですかね。
これ囚人のジレンマに参加する利得がないから、やるならやっぱりその人たちにも利益を分け与えないと無理ですよね。
ZAIにもアンソロピックの株30%やるわとか言ったら止まってくれるかもしれないですけど、
そのゲームに参加しないことで利益ある人がかなりの数いる以上、止まらないと思うんですけどね。
規制をすることによってみんなそのゲーム、狩人のジレンマで言う、狩人のジレンマってほらなんか自分が白状する白状しないみたいな、
相手が白状する白状しないみたいなで掛け合わせでお互い白状すると最悪、お互い白状しないとセーフ、
自分だけ白状して相手が白状しないと相手が独り勝ちしてその逆がその逆みたいな構造の利得マトリックスになってると思うんですけど、
これの場合は止めた人が負けるっていうゲームになっちゃってるんで、難しいんじゃないですかね。
みんなで止めないとっていう話をしてて、まあでもじゃあ理想的なシナリオで米国内で何らか4つのAIラボが今あると思いますけど聞いたことあると思う。
リールが成立して、そうした時にその中華モデルをじゃあバンするのかっていう話ですよね、実際はできないから。
そうっすよね。
あとはあれですかね、ちょっと弱いけど複雑な上場企業はその認証を取ってないと取ってないAIを使うとすごい集団訴訟リスクがあるみたいな感じの
判例とか法律の枠組みを作っていってちょっと外ボリュームで実質的には金融機関とか保険会社みたいな感じでちゃんと
インカンパントじゃないと独占企業側じゃないとサービス提供できないようなモデルを作るか、やっぱ結局国際競争とか関係してくるからね、これ難しいと思うんだよな。
今のシナリオだと既成産業っぽくするみたいなとこだと思いますけど。
それはゴールだったと思いますね、明確にフロンティアラボたちのゴールだとは思いますけど。
これAI危険だっていう危険論者で結構こういう規制を求めている人たちって結構いると思うんですけど、例えば直近だとビルゲイツ、マイクロソフトのビルゲイツもその長文のブログ書いてて、彼らとかがやっぱり出してくるのは規制はできるっていう方向性なんですけど、
やっぱりアナロジーとして出しているのが核兵器とかクローン技術とかそういうものと同じような枠組みで結構語っているなって感じはありますね。
でも核兵器はね、普通の一般の人は使ってないですけど、いやそうなんですよね、そこが問題なんだよな。広がりすぎてるし、別にオープンソースの核装置もないし、なんか全然違うだろうって感じするけどね。
24:00
手軽さとなんかその世界に攪拌する度合い、攪拌度合いが違いすぎるから。
そうですね、なんか自転車使っちゃいけないぐらいのことを言ってる気がしてて、いやそれ無理だろ別に自転車作れるしみたいな。
いや本当にそうですね。
感じやすいけど、靴履いちゃいけないとかさ、いやそれ無理だろみたいな、どうやって取り締まるねん。
いやそうっすよね、じゃあこれは、そうかだから米国内でアンソロピックとかが、まあオープンAIとかXAIとかが、これ原則すべきだっていうふうに今言ってるのは、まあ一種のビジネス戦略。
ビジネス戦略だと思いますね、当然。いやそれはその不正に利得をあげようっていう観点というよりは、まあ一つはライアビリティの問題が多分あると思いますよね。
うん。
やっぱりその、俺は止めようって言ったよねみたいな。
そうですね。
その思考で言うと、じゃあ止めればいいじゃんっていうその反論に答えられないから、それを考えると、じゃあ結局その経済合理性で言ってるよねとしか、消去法でそれしかないと思うんですよね。
だって本当に止めたかったら止めればいいじゃん、じゃあ。
Go aheadって感じじゃん。
そうですね。でも自分だけ止めると負けるからどうしよう。
そうそう、自分だけ止めると負けるから結局強調して止めなきゃいけないですということですよね。強調して止めると必然的にまあ彼らに得ですよねということですね。
そうですね、強調して止めた結果として既成産業みたいになるから。
そうそうそうそう。
加線できる、彼ら目線だと。
そう、っていうことかなと。やっぱりその本当にコモディーがしちゃうとものすごい人が損するからね。
うーん、まあとんでもない額の投資が。
とんでもない額の投資になってるから。
ラボにはもう入ってるから。
確かに。
まあどうなんだろうなこれ、しばらく決着つかなそうですけどね。
いやそうっすよね。
ただこの彼ら自身のもう事業戦略に当然AIを使ってるんで、AIがこうするのが一番いいって言ってるのをただ単に実行してると思いますけどね。
どういうことですか、AIに支持されてるってことですか。
うーんと思います、支持されてるっていうか要するにこういう結末をもたらすために最適の戦略を出してって言って、それでやってると思いますけどねやっぱり。
なるほど、サムアルトマンもダリワモでもイーロンマスクもみんなAIにプロンプトルって。
ああそうと思いますね、別にAIに言われるまでもなくこれが最適なんだと思うけど。
まあこれもし本当にロビン・パーが勝ってアンソルピック勢のアメリカだけが止めて、で日本とかヨーロッパとか中国が止めなかったら止めないと思うんですよね、あんまりなんかそこまで社会のノイズがないんでこのAIセーフティーに関する。
だいぶ米国にとって損失だと思いますけどね。
まあそうですよね。
だいぶ損失だと思いますね。
じゃあまあポーズはみんな取るんだけど止めない。
うーん、誰が決めるかだよね、これだから本当に歴史って面白いですよね、こうやってリア対で歴史が刻まれていく、これ誰が大統領かとかによって全然左右されると思うんで。
27:03
確かに。
例えばですね、そうだからトランプが中間選挙で負けてそうするとどうなるみたいなのがかなり面白いネタだなと思う、エンタメとしてね思いますけど。
スタートアップにとってみるとねコミュニティ化した方が多分いいと思うんでモデルは。
そうですね、まあ本当に既成産業になって河川されてだと。
そしたらねめっちゃちゅうちゅう永遠に吸い上げられますから。
いやそうです。
まあ今のクラウドみたいな状態になる。
そうそうそう。
一方でオープンモデルが当たり前になったら誰でも使えてハッピーとインターネットみたいになると。
そうですね、インターネットみたいになると思いますね、HTMLみたいになると思います。
これちょっと楽しみですね。
楽しみ、注目していきましょう。
ありがとうございます。
スタートFMでは皆さんからの質問やメッセージを大募集していますので概要欄からぜひ送ってください。
チャンネル登録と高評価もよろしくお願いします。
それではありがとうございました。
ありがとうございました。