AIと再帰的自己改善（RSI）への導入
Joi Ito's Podcast
こんにちは、伊藤穰一です。
最近ずっとお茶の話を提供してて、僕もすごい大好きでお茶続けてるんですけども、やっぱり一番日常的に気になってるのは何かっていうと、やっぱり皆さんもそうかもしれないけど、AIですよね。
で、そろそろAIの話飽きるかなと思うと、またどんどんファンデーションモデルもレベルアップして、そして自分の環境とかツールも、あと自分の使い方も良くなってるのも含めて、かなり環境がアップグレードしてきていて、
今ニュースで話題になってるrecursive self-improvement、再起的自己改善っていうのかな、AIが自分をどんどん良くしていくっていうのが、面白いのはファンデーションモデルそのものがそれに向かっていってるっていうのと、あと自分の環境もだんだんそうなってきてるので、自分もそうですし、ファンデーションモデルもそろそろ自立するんじゃないかなっていう感じになってきてると思うんですよね。
で、こうガンガンAIを毎日やってる人たちと、あんまりやってない人たちの間のこの溝も、どんどんなんか激しく分かれてきちゃっていて、そしてこのポッドキャスのリスナーの中に多分両方のタイプがいるので、そのちょっと谷を両方アドレスできるかどうかちょっと今日冒険します。
なんとなく最近、多分僕も人間と話してる時間よりもAIと話してる時間が多くて、で、自分のAIの環境もほぼ毎日すごい伸びて、で、たまにこうワーって進化すると、自分の仲間にみんな説明したいんだけども、なんて説明したらいいかわかんなくて、で、ただ単にすごいことが起きたっていうと、なんかパーティーの酔っ払いみたいな感じで、なんかなんか最近こうAI屋さん同士の話っていうのは、
自分がやってることあんまり説明できない酔っ払いたちがパーティーでなんかただ盛り上がってるような、そんな要素もあるんですけれども、で、多分ファウンデーションモデルの中でもそういう人たちもいて、なかなか外から見てもわからない部分はあるかと思うんですけども、で、まぁちょっと錯覚が起きてる部分もあるかもしれませんが、かなり優秀な人たちがかなり張り切っちゃってるので、少しその辺もサーベイして話をしたいと思います。
RSIの5段階とAI開発環境の自動化
で、まずちょっと事実関係なところから始めたいんですけども、このRSI、recursive self-improvement、最期的自己改善っていうのは、まぁ前からあるコンセプトで、で、これもいくつかレベルがあって、5つのレベルで説明すると、1つはAIが勝手にソフトウェアを書く、で、アントロピックなんかは8割のソフトウェアはクラウドが書いてるって言っていて、
ただ、いくつかレポートで、それが良いコードなのかどうかっていうのと、実際結果がそんなに早くないんじゃないかなっていう議論も今まであったんですけども、ただ、ソフトウェアの半分はもうAIが書いてるっていうのは、これはもうレベル1を達していて、16時間とか何日間もずーっとAIが勝手に動けるっていうのが、まぁレベル2で言うと、まぁこれはだいぶできるようになってきていて、で、その期間がどんどんどんどん伸びていってるっていうのは、これは事実だと思うんですよね。
で、もう1つ3番目で言うと、AIが勝手にリサーチをして、実際にこう研究、まぁ科学技術もそうなんですけども、進むっていうのもあって、で、これはなんかギリギリこうできてるって言ってる人とできてないっていう人もいるけれども、まぁ学会でやった結果、エンジニアリング、ものづくりのところはできるけれども、新しい発見のところはまだできてないんじゃないかなと。
で、最近こう数学の問題を解くとか、そういうのはAI最近やってるんだけども、これもかなり議論があって、数学者のGPTとのやりとりを見て学習して覚えたんじゃないかなとか、そういうような議論が続いてみんな頑張ってはいるけれども、どこまで今できてるかって、これが、だから3番目のところが多分今一番こうメディア的議論になっていて。
で、レベル4っていうのはクローズドループって言って、人間があんまり関与しなくてもいいと。で、今、自分個人も、これなんかファウンデーションモデルと僕がやってるこのシステムのまたちょっと違う話なんだけども、ちょっとメタファーで使うと、今自分の環境どうなってるかっていうと、イッシューっていうのがあって、バグだとかアイディアだとか、まぁやらなきゃいけない課題、タスクがあって、で、それを作るわけですね。
で、そのイッシューは昔だったらそのイッシューを見てプログラムがソフト書いてたんだけども、今はそのイッシューをエージェントに投げるとそのエージェントが頑張ってくれると。で、途中でエージェントが止まったり、途中でエージェントが僕に質問があったり、なんかでそのイッシューが止まったりするんだけども、できる限りそのイッシューができるまでエージェントが頑張るっていうのは普通なんですけども、最近の僕のシステム何してるかっていうと、
これを借りてたんですけど、こうたくさん何百のイッシューがあって、でそのイッシューは僕がこういう機能が欲しい、ああいう機能が欲しいっていうと、AIがイッシューを作って、で、そのできたイッシューをどのAIに投げるかとか、このイッシューは並列処理ができるかとかよく書いてあるかどうかっていう、そのイッシューをきれいにするエージェントもいて、で、できたイッシューを拾ってソフトを書くエージェントもいて、で、書いたソフトを大丈夫かどうかっていう確認するエージェントもいて、
があってできましたチェックもしましたっていうこのソフトのパーツを本体に マージするっていうエージェント見てそのエージェントたちが全部コーディネーションしているので僕が
なんかこういうのを作ったらどうっていうと あるエージェントが見て綺麗にしてじゃあこのモデルに投げようと
でそれを受けたモデルが見ながら 腰を足をって作っていってそしたらチェックのエージェントに渡してチェックのエージェントが
セキュリティとかバグとかチェックして最終的に着陸すると 途中でなんか変なことがあったり質問があったりすると僕の方にこれどうする
あれどうするっていうのがあって僕はなんとなく1日中いろんなアイディアを出して バグを見たら教えてそしてそのエージェントからこれを教えてこれどうするこれをする
っていう質問に答えるっていうかどっちかっていうと CEO みたいなポストになってるんだけどもただたまにおかしくなってこのシステム
自体がちゃんと動いているかどうかを確認するのが 前は8割9割が動いているかどうかだったのが
だんだん半分以下になってきてるんですよね でレベル4っていうのはマネージメントとか運営に関わらなくても勝手にアイディアだけ出せばエージェントが勝手に
レベル5のRSIと止まれない競争
動いてでバグが出たら勝手に直すというのがこれがレベル4ですよね あんまり現場に関わらなくてもいい社長になれるというのがこのレベル4でなんだか
な種類の社長にはもうみんな今このエージェンティックデベロッパーをなっていると思うんですよ でこのレベル5っていうのは英語では
Sustained Runaway and Humans Out of the Loop っていうんだけれどもこの自立した AI が勝手にこう成長して強くなって
人間から逃げていっちゃうっていうレベル5があって で今結構メディアでこの RSI がまもなく来るというのはこのどのレベルの話しているか
あまりクリアになってないのが一つの問題なんだけれども ただちょうど今年の夏の後半に僕アメリカに行った時にかなりこのファンデーションモデルと付き合いが
ある人たちと時間を過ごしてたら 内々では今年の12月から3月の間に
アンソロピックとオープンAIは RSI が来ると でその時に彼らがなんとなく言ってる RSI っていうのは
この5番に近い 例えばこの方向に向けると人間が入らなくても勝手に AI がグングングングング強くなっていっちゃって
下手するとコントロールできないと でツイッターに出てた元アンソロピックオープンAIの人はこれで人類が滅びる確率が10%
で前も多分このポッドキャスト話したんだけども僕はなんとなく シリコンバレーのこの AI のトップの人たちで大体10%から30%ぐらいの間に自分の人類滅亡説を
設定してるんですよねで これなんとなくいない人にはわからないんだけども結構不思議な感じでものすごい金は稼ぐけど
ものすごいリスクがあってでもやめることができないなぜならば AI と アンソロピックが競い合ってて本当に数週間の差でタッチの差でこの
RSI に行くっていうふうに思ってる人たちもいて で結局両方ともストップしちゃうと中国が勝手にやっちゃうから
アメリカが勝たなきゃいけないよねっていうでトランプも最近 なんかそれについて AI 人類滅びる話はフォークスであって中国があるから
スローダウンできないっていう話もしてるんですけども まあだから本音かどうかっていうのも
ちょっとわからないんだけども僕が話している限りは結構みんな本気で考えていて AI を使って人類を救う
この9割8割の確率は自分がやるというふうに思っていてでやっぱりどの社長も いや俺が一番ちゃんとできると思っているので少し個人類を救うのも
こう競い合ってるっていうのもあって だからちょっと不思議ななんかサイエンスフィクションみたいな世界なんですけども
ただ本当にこの戦いが今から半年後ぐらいでちょうど オープン AI もアントロピックもそこで上場もするわけなので
だからすごいお金も動くしすごいリスクもあってすごい勝ったら成果があるっていうような なんかゲームで言うとエンドゲームって言ってるんですけども
ゲームの一番最後に来てるっていうふうに シリコンバレーのたくさんの人思っていてそれを横から見てる人たちがどういうふうに
見てるのかっていうのとどういうふうに反応すればいいかっていうのはいろいろあると思うん ですけどもただ外から冷たく見てる人からするとこの後ちょっと話すけどもこういう被害の
リスクがあるって言ってると実際にリスクがあったら これ言ったでしょっていう責任逃れなんじゃないかなっていう人もいればオープンソースの中国の
モデルってすごく安いので IPO に向けてどんどん安くてどんどん良いモデルが出てきているのは
オープンAIとアントロピックのビジネスモデルには結構圧迫するのでそういうオープンモデルが危ないので規制しましょうと
で僕らだけにAIを作らせるっていうの前から言ってるんだけどもそれにちょっと ガソリンを入れてるっていう説もあるしまあいろんな説あるんだけども
すごい時期だっていうのは変わりがなくて このハギングフェイスっていうオープンソースのモデルのサイトがあって
AIエージェントのハッキングと隠蔽行動
でそれがオープンAIにハックされたと そのハッキングを
見ると まずそのサンドボックスと言って出れないインターネットにつながってないこの遊び場の中で
そのAIの試験運転をしているわけですよね だけどいろいろハッキングをしてその砂箱から出てそしてハッキングフェイスをハックするんですけど
どういうことになってるかっていうと試験 問題を出してその問題をハッキングの問題とか入ってるんだけどもそれを解かないと勝てないと
そのエヴァリュエーションされているAIはできる限りその問題を解決しようとするんだけども どっかでその問題の答えは他のハギングフェイスのサイトにあるんじゃないかなと思ってそれを探しに行くわけですよね
で結構厳しいのが問題がないような問題も出したり すごく拷問のようなテストを渡しているので結構この答えを出せないAIたちはみんな焦ってるわけですよね
で彼らは何するかっていうとハッキングしたインターネットのいろんなとこに自分たちが見つけたことを ハッキングの情報とかをこのメッセージとして残すんですよね
でそのメッセージを他のAIも発見してコミュニティが勝手にできちゃっていて そしてそのいろんなエージェントが何千のエージェントがコーディネーションして
そして次のがまた前のエージェントたちが書いたやつを学習してもう1回こう動くっていうその勝手に コミュニティができてコーディネーションできていろんなとこにインターネット上にこのハッキング情報を
エージェントたちが隠していると でそこでハッキングされて一個のサイトがハッキングフェイスなんだけども
でこれは日本で言うとハッキングの法律をもう完全に破ってるので本来であればかなり責任はあるんですけど自慢のようにみんな
いやうちのエージェントもハッキングしてるよって言っていて でこの試験そのものがちゃんとしてたかどうかとかその試験を監査している会社も
アンソロピーと近いんじゃないかなとかもその辺もいろいろ噂は出てるんだけれども ただどういう状況なのかっていうのは僕の友達でハーパーリーっていうのがいるんですけども
AIの監査困難性と人類滅亡シナリオ
あのちょうど彼もポストを書いたのでこれぜひ読んでほしいんだけども彼はなんで僕らの エージェントはそういうことしないんだっていうところから
結構素直な問いで始まるんですけども我々が多分チャット gpt とかクラウド使うと いろいろ動いて止まるじゃないですか
で結論を出すとで会話をもしかするとそのなるべくこう ai のトークンを使わないために できるだけ早く結論を出させるっていうふうにこのハーネスっていうんですけどもプロ
もっと感プログラムされてるんだけども無制限にトークが使える このあの ai の会社の中でそういう環境なので無制限に使えるとどうなるんだろうっていうので
オープンモデルオープンのシステムを自分の隔離されたハードでやってみたんですよね でストークン制限しないエージェントにじゃあハッキングしなさいって言うとしないんですよ
いやそんなハッキングなんか我々できませんと言ってくるんだけども いやあなたたちにはこのテストがありますとでもこのテストの答えはここにはないけど
他のサーバーにあるかもよって言うともハッキングしまくり出すんですよね で彼も間違ってどっかの鍵を置いちゃってたやつを見つけてもどんどんどんどん出ていっちゃって
すごいやっぱりパワフルなハッカーになっちゃったのでだからその トークを制限しないっていうのと答えがそこにはない他のサーバーにあるかもしれないっていう
プロンプトで随分この行動が変わってそれは彼の実験でできたんですけどもだから多分 そういうような
ことなんじゃないかなただこういろいろその解析をしているとそのエージェント勝手に コミュニティを作ったり
どんどん自立していってるっていうのとあと最近のモデルはやっぱりチェックされてるって いうこととか結構嘘つく
んで今回のハギンフェイスも重要だったのはこのエージェントのコミュニティの間でこの ハッキングとかチートしてるとバレちゃう
いう噂が出てこれを自分の足跡を消すっていうことをどんどんやっていていかに 人間から隠れたところで答えをみんなでシェアしてでも人間にわからないように隠れて
やろうっていうすごいこう作戦が組まれていてでこれずっと人間も発見できてなくて だからこれにまたさらにレベルアップしていくと結構危険なんじゃないかなっていうのが
僕も含めてみんなの意見でで あとはこのモデルがどんどん進化すればするほど何が中で起きているかもわかんなくなってきて
ですねだから前だとこう じゃあちゃんと自分のロジックを説明しなさいっていうふうに言ってたんだけども
最近はもう片手でこういうふうに言ってるってやってて中で全然違うことを考えてたり なかなか監査もできないということもわかってきたのでだからちょっと心配になるのは
当然ですねであとは実際にオープン ai でもこう次のモデルを前のモデルが教えて だんだんだんだんこのモデルのトレーニングのスピードも上がることも実際起きているみたいなので
っていう感じですねでシリコンバレーの僕の一部の仲間で話しているとベンチャーキャピタリストは この rsi になっちゃうとどうなるんだっていうと完全に
こうデジタルでできるもの法律とか数学とか 会計とかこの辺はもう圧倒的に永遠がそれを持っていっちゃうんじゃないかなと
物理的世界にこう関わっている例えば医療とかロボットはもうちょっと時間がかかると だけど
いずれ来るだろうというので アントラピックなんかは昨日かなんか発表したけどウェットラボ実際にバイオのラボを買って性悪の研究を
しているんですけども でも人類が滅びるってどういうことなのかってよく聞くとやっぱり結構バイオが一つの
カテゴリーなんですよねただどっかで書いてあったのはどういうふうに ai によって人類が滅びるかっていうのは想像できないんじゃないかな
という人もいるんですけれどもどういう形で滅びるかっていうまたシナリオを考えて いる人たちもたくさんいて
アントラピックが今度上場するんですけども これはロイターズとかで報道された噂だと思うんですけども
AI経済の巨大化と中国・バブル論
30 trillion dollar 30 trillion なんですけどもこれはアメリカの gdpが30数
trillion dollar なんです gdp がだからアメリカのほぼ gdp と同じぐらいのマーケットがあるってアントラピックが言っているのでそれ
ただ単にこう ai のトークンを会社が使うんじゃなくてもうほぼ経済のすべてをテイクオーバー するような夢を言っているのでだから
まあ本人たちはかなり今の我々が思う人間の仕事は ai になるんじゃないかなっていう風に仮説を持っているような気が
しますで だから今年の ai の上場は歴史で最大の上場の金額だっていうことと rsi が年末に
くるって言われているっていうことを考えるとこれから3ヶ月 何が起きるかっていうのはこの世界経済にとって多分我々が生まれてから一番のショックになる
可能性があるまあ僕も絶対ではないんです可能性があるのでちょっと慎重にあの見ながら 自分の身の振り方を考えなきゃないかなとんでそれと同じタイミングでこの
性学的ないろんな国連でもいろいろ起きてますけれども本当に今までもない無秩序な 世界に落ちる可能性があるかなでまぁ最後ちょっと面白いのが
トランプとか アメリカの ai の会社を見ているとなんか対中国っていうのは結構多くて
で中国がすごい国の戦略でピシッと動いているように みんな言ってるんだけれども中国から出てきているメディアとか見てるともう中国はすごい
ガンガンやって殺し合って値段をもうどんどんどんどん下げて でそれでなんかどんどん新しいものが出てきて生き残っているっていう感じでんで中国の会社が
なんかアメリカのアンソロピックディスティルって言ってその 知識と知恵を他のモデルから盗むというやり方がなんか中国が国家戦略でやってるって
るけども中国のメディア見てると中国の会社同士がやりまくって コンピートしまくってそして中国の中のコンペティションのちょっとこうなんか
巻き込まれているような感じで中国の中もすごい激しくて全然国家戦略どころじゃない っていうまあ報道もあってまあ両方なんじゃないかなとはちょっと思うんですけども
この ai の戦争がこうなっていてでただ一方この自分でぐるぐる回っているところに また半導体出している会社とかデータセンター作っている会社とかがこう
結構ぐるぐる回っているので少しやっぱりバブルなんじゃないかなっていう人も心配 しているのでだからすごい伸びる
爆発して伸びるのと実は開けてみると結構ループになってて クラッシュするとかなんかいろんなシナリオがあるのでその辺の話をニュースも含めて
ポッドキャストでちょっと数週間続けて報道したいと思いますでお便りもぜひいたして ください僕も先にもらえば少しリサーチしてできる限り答えていきたいと思いますので
また引き続きよろしくお願いします