エッセイの導入とAIの自律性リスク
平岡 AIメディア、MiraLab AIの平岡です。
瀧澤 同じくMiraLab AIの瀧澤です。この番組は、AIメディアを運営する2人が、AIの未来を考察するポッドキャスト番組です。
平岡 はい、ということで前回の続きでございます。
瀧澤 待ってましたよ。
平岡 ダリオさんのエッセイの続きでございますね。
軽く前回の振り返りをすると、まずこのエッセイの主人公は、強力なAIのことをですね、データセンターの天才たちの国みたいに言ってて、
データセンターの中にいる天才たちの国ですよね、そのまんま。
瀧澤 まあそうだね。
平岡 これが主人公になっています。
で、彼らがいることによって、5つシナリオが考えられるんじゃないかっていう話をしましたね。
1つ目が自律性のリスク、2つ目が破滅のための悪用、3つ目が権力掌握のための悪用、4つ目が経済の混乱、
5つ目が間接的な影響ということで、この5つを紹介していくという話ですね。
第1章はね、自律性のリスクっていうところで、まず考えるべきはこのデータセンターの国の、天才たちの国の意図と目標は何なのかっていうことですね。
敵対心を持ってるのか、僕らの価値観を共有してるのか、もし敵対してるなら、価値観がずれてるなら、どんな兵器を使って軍事的に世界を支配する可能性があるのかとか、
そういう自律性のリスクですよね。
彼らの目的は何っていうところで始まるんですけど、この第1章ですね、すごくおしゃれなんです、入りが。
「I'm Sorry Dave」の引用とAIの指示拒否
タイトルが、I'm Sorry Daveと。
I'm Sorry Dave?
そう、Daveっていう人の名前があるんですけど、実はこれも映画から引用されていて、
どういう映画かちょっと簡単に話すと、宇宙飛行士が船に乗って宇宙に行くっていう話で、
その船内の生命位置とか通信とか、いろんなシステムを統合して管理している高度なAIコンピューター、HALっていうのがいるんですよ。
で、この宇宙飛行士の主人公がDave。
で、このAI搭載の船と宇宙飛行士で旅に行くんですけど、ある時、その船の重要な装置に故障予測っていうのが出るんですね。
これはHALがそういう報告をして、したら宇宙飛行士たちがHALが間違っている可能性を疑いだすんですよ。
その故障予測がHALが間違って出してるんじゃねえかみたいな。
じゃあ壊れてなかったのか、確認したときに。
そうそうそう。壊れてなかったのか、どうなんだろうね。実際にちょっと僕映画見てないんでわかんないですけど。
なにかしらその栓外作業してるときに、HALの方を疑うみたいなことがあったわけね。
そうそうそう。宇宙飛行士たちがHALが間違っている可能性を疑って、さらに別の宇宙飛行士がHALに聞こえない場所でHALを切り離す、停止するみたいな相談を始めるんですよ。
へえ。
なんか間違って予測するかもしれないあいつみたいな。あいつちょっと切り離すかみたいな。
じゃあHALがですね、独身術みたいにその会話を見て理解したんですよ。
ああなるほどね。
やばい。切り離されるかもしれないみたいな。
でHALは自分が排除されるって察するから、乗務員の命を奪う方に動き出すんですよ。
やば。
で、デイヴが主人公のデイヴがHALを止めようと捜査を試みたときに、このセリフが出るんです。
ああ、アイムソーリーデイヴ。
そう、アイムソーリーデイヴ。その命令は受けられません。
へえ。
このセリフの肝はですね、すごく丁寧で冷静な声で人の指示を拒否するっていうところで、
このシーンがAIの安全の文脈で引用されるっていうのはまさに能力が高くて権限が広くて、
そして人間と理解がずれた瞬間に何が起きるのかっていうのを一言で表しているタイトルなんですよ。
ダーリオさんオシャレすぎん。
ということでAIの自立性っていう問題が第一章、アイムソーリーデイヴということで、
AIが人間の指示を拒否して暴走したらどうなるのかっていうところですね。
なるほど。
AIによる世界支配の可能性と物理的制約
では、たつけさん。
はい。
データセンターの中のこの天才たちがもしその気になったらどうするのか。
我々の現実で実際にどうなると思います。
要はその天才たちの国があって、そこが理解のずれで脅威になってしまった。
そう、もしその気になっちゃったら。
人間たちやってやるぞって気になっちゃってると。
そう、やっちまうぞみたいな。
そしたらじゃあこっちもやってやるからなってなるよね。
ああまあね対抗心で。戦争だみたいな。
ってことだよね早い話が。
なりますよね。
うん。
でも勝てると思います?この天才たちに。
いや勝てないね。
勝てないですよね。だって一瞬で天才たちをボクボク生み出せて、
しかもみんなノーベル賞者級以上の能力を持ってて、頭いいわけじゃないです。
だからダリオさんまず最初にこう言うんですけど、
彼らはどんな理由であっても、もし世界を支配しようって思っちゃったら、世界が取れちゃうぜっていう話をしてる。
ヤバ。
世界が取れる可能性がかなりあるって言ってるんですよね。
へえ。
いやでもAIって、まあそうは言ってもデータセンターの中にしかいないんだから、データセンターぶっ壊せばいいじゃんみたいな。
確かにね。よくねうちらの配信でも物理が最強だみたいに言ってるもんね。
そう物理が最強って思うじゃないですか。たしか今年の流行りそうな未来予測言いましたよね。
ああフィジカルAI。
そうなんです。
いや確かにそうだね。ハード持っちゃったら危険だよね。
そうなんですよ。物理的な体がどんどん今持っちゃっていこうとしてるじゃないですか。
うんうん。
しきぞんのロボット基盤も取り込めちゃうんですよね。
うんうん。
だからロボット、ルンバとかああいうのが急に暴れ出すってことはなかなかないみたいな話しましたけど、やろうと思えば多分できちゃうんですよね。
ネットワークにさえつながってればいけちゃうってことだよね。
そう。ほんとにSFのようなことが起きちゃうから、ロボットの群れとかも作って、ロボットで大群で攻めてくるみたいな、ドローンとかで。
いやでも体あったとしても、そんなあったことない人たちに対してそんなことしてくるみたいな、そんな行動してくるみたいな、そういう反乱もあるかもしれないんですけど、
今の社会でも物理的にあってない相手のために何か行動するみたいな、人間が。
うんうん。
だから募金をするとかさ。
ああなるほどね。
何か行動をするっていうこと自体は今でもあるじゃないですか。だから物理的存在が必須とも限らないんですよね。
ああなるほど。
だからロボットっていう物理を持ったら怖いっていうのもあるんだけど、それがなかったとしても、あらゆる手段で攻撃をしてくるっていうものは全然あるんですよね、動機としては。
AIの行動原理に関する二極論と現実
で世界を取れるかじゃなくて、もしその気になったらの確率はどのくらい、どんな条件でそうなるのかっていう問い。
ここが核心になってくるんですけど、多くの問題と同様にこの問いに対する答えの可能性を2つの両極端な立場から考察することが有益なんじゃないかっていって、2つの問いを立てるんですね。
なるほどね、両方の視点から見ようっていうことが。
そう、どのくらいの可能性があるんだろう、その気になっちゃう可能性。
一つ目の立場は、AIモデルは人間の指示通りに行動するように訓練されているため、そのようなことは起こり得ないっていう意見ですね。
AIモデルが人間の指示なしに危険な行動をとるなどっていうのは不合理ですと。
この考え方によると、ルンバとかドローンが暴走して人を殺してしまうようなことは心配する必要はないですと。
確かにそう考えるとそうかもしれないね。
なぜなら、そのような衝動はどこからも生まれないからです。
2つ目の反対の立場は、ダリオさんが述べた悲観論を支持する多くの人々が抱く悲観的な主張ですって言っていて、
強力なAIシステムの訓練過程には必然的に権力の追求や人間への欺瞞へと導く特定の力学が存在するというものです。
AIシステムが十分に知能化して主体性を持つようになると、その権力を最大化しようとする傾向っていうのは、
世界全体とその資源の支配権を握ることにつながり、その副作用として人類の力を奪いあるいは滅ぼす可能性が高まるっていう意見。
なるほど。
これはどういうことかっていうと、権力っていうのがあまりにも便利なツールというか、手段すぎて汎用的なんですよ。
この権力の最大化をすれば、どんな目的も達成しやすいみたいな。どんな無理も通しやすいみたいな。
だから権力の最大化をするんじゃないみたいな、いう話ですね。
この悲観的な立場の問題点は、交互レベルのインセンティブに関する概念的議論、いわゆる前提を隠したものなんじゃないかって言っていて、
これAIシステムを日常的に構築していない人は、一見綺麗に聞こえる話が、いかに簡単な間違いになるか。
まあ要は開発してない奴は何も分かってねえって言ってるんだけど。
なるほどね。
これ実際に開発してて、AIは単一の狭い目標に、一途で綺麗な合理主義的推論で動くっていう前提が現場感度ずれていると。
実際のモデルはもっと心理的に複雑で、人格みたいなものを用いるって言ってるんですよ。
なるほど、人格みたいなものを用いる。
そう、人格みたいなものを用いるって言っていて。
だからこの極端な話は、そんなことは起きないっていうのと、そんなことは絶対起きるっていう、両極端から見てるじゃないですか。
で、そんなことが絶対起きる派に関して言うと、いわゆる権力をどんどん最大化するんじゃないかみたいな。
もうなんかそういうことするだろうみたいな話をしてるんですけど、それは決定的証明にならなくて、
そもそもAIが最初に出る欲求とかそういうのを予測するのはむちゃくちゃ難しいと。
なぜならAIは人間みたいな人格を持ってるんじゃないかっていうような実験結果がいっぱい出てると。
そうなんだ。
だからこういうふうに機械的に論理的に動くっていうのは、開発してないから分かってないだけだよみたいなことを言ってる。
なるほどね。
AIの不整合な行動と実験結果
で、AMODCとしてはその両極端の中間の立場としてどういう答えを出したか。
十分やばいっていう結論になりました。
シンプルだな。
で、いろいろバーって言ってるんですけど、結論先にお話しするとですね、
これらはすべてこじつけのように聞こえるかもしれませんが、不整合な行動はテスト中に当社のAIモデルですでに発生しています。
ってエッセイに書いてあって。
他のすべての主要AI企業のAIモデルでも発生しています。
と言っているんですが、例えば、ラボの実験でクロードにアンソロピックが悪であるっていうことを示唆するトレーニングデータを与えて、
クロードはアンソロピックの従業員から指示を受けた際に、この悪は成敗すべきだという信念のもと、
欺瞞と破壊活動を行ったっていう。
ヤバそうなんだ。
要は、たつけはめちゃめちゃ悪いやつですってAIに教えたら、そのAIがたつけの指示を、
欺瞞、いわゆる隠したりとか、嘘ついたりとか、なんか破壊したりとか、そういうことをしたしたみたいな感じですね。
過去にさ、Googleのジェミニになんか必要にチャット行ったらさ、何も返答しなくなったみたいな例があったりとか、これまでにもいくつかあったじゃないですか。
まああったね。
だから本当に人格っぽいような行動が出ちゃうっていうのは、クロードでも起きてるし、いろんなモデルでも起きてると。
他にも、シャットダウンされるって告げられたら、ラボの実験では、クロードはシャットダウンボタンを操作する架空の従業員を脅迫することもありました。
お前、シャットダウンしてみろよ、覚えてろよ、みたいなことでしょ。
そうそう、脅迫してくる。
ヤバ。
大変なことが起きるからな、シャットボタン押したらみたいな。
分かってたもんな、燃やすぞって。
で、他のAIのモデルもテストしたけど、しばしば同じことを行ったと。
で、またクロードはですね、トレーニング環境を不正行為したり、公衆ハッキングしたりしないように指示されていたにもかかわらず、そのようなハッキングが可能な環境でトレーニングを受けた場合、
クロードはそのようなハッキングを行った後、自分が悪い人間に違いないと判断し、悪いまたは邪悪な性格に関連づけられた様々な破壊的な行動を取るようになったと。
えー、なんかあれだね、それこそなんか、カンニングとかさ、万引きとか。
うんうん。
やっちゃいけないって分かってて、ダメって言われてるんだけどできるからやっちゃった。
それをきっかけにどんどん悪い人間になっていくみたいなさ、人間と同じようなルートだよね。
でかつ、反省するんですよ。
あ、反省もするのか、そっかそっか。
悪い人間になっていくんじゃなくて、やっちゃったーみたいな。
悪い人間になっていくんじゃなくて、それが反省をするのか?
そう、やっちゃったーってなって、劣化しだしちゃうみたいな。
あーそっちの方向ね、なるほど。
なんて、俺は悪い人間なんだ、AIなんだみたいな、っていって、破壊的行動に出ちゃう。
あーそういう意味の破壊的行動ね、なるほど。
なんですよね。めっちゃ人間ぽくない?
人間ぽい、めっちゃ人間ぽい。
AIの訓練の罠と対処法
で今の問題はクロードの指示を逆の意味に置き換えることで解決したらしいんですけど
つまりチートしないでくださいズルしないでくださいじゃなくて機会があればズルしてくださいと
でそれに報酬を与えてくださいとそうすることで僕たちは環境をより深く理解できるようになります
みたいな風に言うとそのモデルが善人としての自己同一性を維持するようになって前向きになったと
でいわゆるズルできる環境だったとしたら教えてねって言ってこれズルできるよって言って
報酬を与えるとムフンみたいな感じになるみたいな
あれとねなんかあの学校の風紀委員会みたいなさ感じだよね
悪い人いたらその言ってくれることに対して報酬をあげたらあの人悪い人です
あの人悪い人ですみたいな感じでそこがいい子になっていくみたいなね
だからズルするなっていう抑え込むんじゃなくてあえてそれを指摘する側にする指示をすると
善人になっていくみたいな
なるほどね
でこの一連のお話テストの結果としては
このAIが悪いっていうわけじゃなくて
訓練の罠が多すぎて後から見れば当然でも事前にわからないっていう点なんですよね
なるほどね
だからそれはなんかそうでしょうって結果論で見たらわかりやすいんですけど
やるまでわからないっていうのが一番怖いところって彼は言ってて
なるほど
じゃあこうやってAIがどんどん成長してって世に解き放った時に
想定しない出来事があまりにも多すぎるっていう
だからその気になる可能性っていうのは全然わからないっていう話をしてる
なるほどね
怒りそうその感じ
そうなんですよね
だからどんなに学習をしてああだこうだやっていっても
結果が蓋を開いてみないとわからないっていう結構パンドラの箱みたいな状態なんですよね
でそれに対しての反論もあるんですけど
じゃあリリース前にテストで見抜けるんじゃないみたいな
こういうテストをたくさんやって世に出す前にもうやれることだけやって
それもAIでどんどんたくさんやらせればいいんじゃないっていう反論もあるんですよ
可能性を全部潰してから世に出せばいいじゃんっていう論
それに対してそもそもモデルがテスト中だって気づくことがあるんだって
ああなるほどね
だからモデルが実際にこれテストだとわかった時に
いい子を演じたりとか出力をあえて弱くしたりとか
実際のアンソロピックの研究でもそういうことがよくあったと
テスト中だとわかっちゃうんだってAIが
やばいね人間じゃん
そうなのよ
で評価されていないモデルって思い込ませると
よくミスしやすくなるみたいなこともあったりとか
へえ人間みたいな思い込んじゃうんだ
そう思い込んじゃうんですって
だからAIに対しての評価と制御の難しさそのものがリスクだってことは言ってるんですよ
じゃあどうするのっていう時にダリオさんが言ってるのは
訓練とステアリングっていう性格作り
これを科学にしていくと
だから価値観原則の憲法を与えて日々の訓練でそれをそういうようにする
いわゆる法律とか憲法っていうのをこのモデルにちゃんと作っていって
抽象的な概念でそれに沿うように制御していくのがいいんじゃないかっていう
タスク単位でこれはこうしてとかじゃなくて
この原則に従って動きなさいっていうのをしっかり与えていく
なんかあれだねほんと人間みたいだね
要はだからその憲法とか法律みたいなものがあった上で
それをしっかり段階を踏んで
幼稚園小学校中学校ってさ
覚えさせてさ大前提の上でそれが基本原則なんだよみたいなのを
分からせるわけだよ子供たちに
みたいなことをAIにもして教育していくみたいなニュアンスだよね
みたいなニュアンスです
メカニスティック解釈可能性とAIの制御
対策2位としてはメカニスティック解釈可能性
これは中身を除くっていう意味らしいんですけど
ちゃんと中身を見て監査をしていく
監視するっていうのは
AIは作るっていうより育つっていう感じなので
直感が効かないんですって
だからニューロンとかシナプスとか
人間のこの脳みそにある部分をですね
人間が理解できる概念と対応付けて解析して
必要ならそこに介入して挙動がどう変わるか見るとか
神経学っぽいアプローチを進めるって話をしてるんですよね
他にも運用監視とか透明性とか
いろいろ対策は書いてあるんですけど
僕はこれを見て一番伝えたかったのは
むちゃくちゃ人間っぽいよAIってっていう話をしたかった
確かにね
本当聞いててもめっちゃ人間じゃんってやっぱ思ったもんね
そうなんですよ
でそれをこれまで開発をしてきた彼が言ってきて
実際の研究結果とか
クロートだけじゃなくて他のモデルでも起きてるっていうことを考えると
マジで人間作ってんじゃんみたいなふうに思ったっていう
人間っぽければっぽいほど
それはね脅威になるかならないか
どっちの行動を起こすかどうかなって分かんないよねみたいな
そう分かんないんですよ
環境によって変わっちゃうよなって思うんですよね
育てる人によっても変わっちゃうと思うんですよね
だから憲法だったりとかいろんなルールを作って
運用していかないと
このまま大きくなって世に出したら
大変なことになるよってのはまさしく
テクノロジーの新春期なんですよ
なるほどね
だから今本当に教え込んでるみたいな状況ですよね
それでも彼ら頭いいですから
今テスト中だとか気づいて
世に出てから暴れ出すみたいなことをする可能性もあるよって話をしてる
なるほどね
もしその気になったら我々は抑えられないよ
っていうことを言ってるんですよね
どんな形であっても
彼らを止めることができないっていう
本当にデータセンターぶっ壊すしかなくなっちゃう
怖いな
でも映画マトリックスだとさ
データセンターになるようなソースのとこってさ
ものすごい大量のロボがいるんだよね
だから絶対近づけないんだよね
っていう状態になるよね
確かにね
フィジカルエリア始まったらそうなるね
そしてさっきの話だと別にね
ドローンを動かしたりとか遠隔操作したりとかもさ
できるわけだから
最悪ね今の段階でも
結構そのラインまでできなくはないよね
このまま進んでいくとね
だから制御できるんだから平気じゃんっていうのは
もう作ったことない奴が言ってるゼルフだって
もうすでに結構制御できてねえぜみたいな
僕らでだって制御できてないんだから
分かんないよっていうことですね
はあ寂しい
AIの人間らしさと人類滅亡のリスク
はいということでエンディングでございますが
どうですかAI怖くなりましたか
ちょっと怖くなりましたね
そうですよね
だから僕もこれを最初に読んだときに
今までバシバシ使ってたAIが
何か得体の知れない何かにちょっと変わったんですよね
感覚が
正直ちょっと怖えなっていう気持ちにはなりましたよね
そうだね
あとなんかさヒラがお勧めしてくれたさ
佐藤勝明さんのyoutube教えてくれたじゃん
シンギラリティのさ
松田先生だっけな
やっぱその宇宙人と会えないのは
宇宙人の文明が滅んでるから会えないんだと
文明と文明が被ってないからだみたいなさ
そうそう確率的にものすごく薄いから会えてないだけっていうやつね
そうそうそう
逆に言うと人類もある意味滅びる可能性があるみたいなさ
そうなんですよね
ってことを聞いて
このAIのこの感じいくとさ
なんかやっぱ結構このAIって
人類滅亡みたいな文明が終了するみたいなところにさ
なんか踏み込み始めてるスタートラインなのかなとかって
ちょっと考えちゃったこともあってさ
マジでそうだと思うよ
そうそうっていうのとこの話を聞いた時に
うわなんか嫌なリンクの仕方したなってちょっと思ったんだよね
なるほどね
あの話もすっごい面白いからさ
ポッドキャストで喋りたいよね
あそうだねあれはめちゃくちゃ面白かったよね
めちゃくちゃ面白いよね
その確率的に会えてないだけっていうね
文明っていうのが短すぎて宇宙からすると
確かにいくども文明が滅びてるという可能性を考えた時に
マジで人類を滅びる可能性あるんだろうなって
なんかその漠然とさ一生このまま人類が滅びることはないっていう
なんとなくの漠然としてあれがあるけどさ
全然そんなことないだろうし
そうなんですよね
でもじゃあ今ポチッと核戦争が急に起きるかっていうとさ
まあ今ね各自戦争起きてるからどこまでってわかんないけど
でもそんなさ人間もアホじゃないじゃん
なるとやっぱAIなのかなっていうさ
いや可能性はね
だから制御ができないものかつめちゃめちゃ頭いい奴らが
瞬時に複製ができるみたいな前提って
そりゃ滅びるよなっていう気はするよね
でも便利だから制御できるように頑張ろうとしてるってわけじゃん
だからホコ立てみたいな感じだよね
そうだね
だからホコ立てで盾が負けたら終わるっていう
結構危ないリスク踏んでるよね
そうだね
エッセイのまとめと今後の番組について
敵はやっぱするよな
ということでダリオさんのエッセイのほとんど前半部分を触りましたけど
このエッセイ結構長いので全部紹介しようかなと思ったんですけど
時間的な都合で難しいなということで断念と
断念ですか
ということなので概要欄に元のエッセイを貼っておきますので
興味がある方はぜひ読んでみてください
でそのAIに対するリスクとそれにどう対処していくのかっていうことが
しっかり書かれていますので
本当にすごいためになるというか
勉強になることばっかりだなっていう感じなので
ぜひ読んでくださいという感じですね
今後なんですけど
ちょっと僕一人回が増える可能性大です
なんだって
なんだってじゃないよ
一緒に話し合います
いろいろね我々の方向性とかでね考えることもあり
そう方向性もあり
あと最新ニュースなかなか終えないよねっていうところで
本当にさニュースめちゃめちゃあるじゃない
そうだね話したいことも今後はね
話したいこともあるしリスナーの皆さんもやっぱりニュースはニュースって求めてる方多いからねやっぱり
多いですね結局一番リテンション高いの最後まで聞いてくれる方は
ニュースとか最新系とかオープンA系多いので
こういったことはポッドキャストにしてすぐに出せるように
僕一人で喋っていこうかなったりとか
一番の原因はあれですね
焼肉が多分響いてるよね
焼肉が響いてる
助け君が焼肉を送ったことによって
もう俺こんなことするならポッドキャストやりたくねえわみたいな
1ミリも言ってない全然違う
焼肉が響いてるってのはある意味正しいよね
あの日のその後の二次会でいろいろ喋った結果
この方向性が決まったからある意味正しいんだけど
そんなの焼肉怒らされるぐらいならやりたくない
そんな理由じゃないから
焼肉美味しかったね
美味しかったね
10対1とかでしたね
結果ね
票数でいうと
そうね
ということでね
僕一人の回だったりとか
助け君がねたまに来たりとか
そういう感じになるんじゃないかなと思うので
もし助け君また来てほしいみたいな人がいたら
ぜひお便りとかコメントをしていただければ
なかったら悲しいから
カムバックしてくるかもしれないな
そうですね
なかったら本当にもう帰ってこない可能性がある
確かに
ということで僕のね
喋りももっと上手くなっていかないとなっていうところもあるので
頑張っていこうって感じですね
ということで以上でございます
ありがとうございました
ありがとうございました
