00:07
皆さんこんにちは、草の幹です。 宮武徹郎です。
Off Topicは、アメリカを中心に最新テクニスやスタートアップ、ビジネス情報を緩く深掘りしながらご紹介する番組です。
今回のトピックは、AIの影響と安全性について話していきたいと思います。
はい、今回もPivotさんとのコラボで、国山派生さんと一緒に収録をしました。
実際に動画でも収録したので、ぜひPivotのYouTubeチャンネルからチェックしてみてください。
それでは本編をお楽しみください。
じゃあ早速、今日のトピックについて話していきたいと思うんですけど、
Off Topicの場合ですと、先週の配信では、AIのリスクとか、こういう悪質な利用についていろいろ話していったと思うんですけど、
最後の方に、このAGI、ASIっていうところについて話していきたいと思うんですけど、
たぶんちょうど終わりの方に崖に向かっているっていう、ちょっと怖い例えですよね。
もうあの絵と宮武さんの発言が忘れられなくてですね、
もう滅亡するんだったら、今を楽しむしかないな、みたいなことをぼんやりと考える日々が続いています。
今日、もしかしてちょっとどんよりする回になっちゃうかもしれないんですけど、
こういう話をするのはすごい重要だなと思うと思いますし、
結局本当に人間が滅びるのかっていうのは、もちろんまだわからないっていうのもありますし、
ただそこの確率でしたり、どういうふうにそういう可能性が広まっていくのかということについては話すべきかなっていうところなので、
ただ今までのAI研究者がずっと10年20年AIの研究をしている人たちが、
どういうふうに人間滅没、絶命するのを避けられるかっていうのを色々皆さん研究している中で、
やってはいけないことっていうのをちょこちょこ出しているんですけど、
それを見事に、特に去年から今年にかけて人間がやっていますと。
例えば、AIにコードを書かせるの。
すでにやっていますよねと。
AIにコードを書かせると、自ら学習して自ら成長を改善していく可能性があると。
2つ目が、人間についての情報だったり文学を読ませるなと。
それをすることによって人間を騙せる能力が身につくんじゃないかというのがあるのと、
あとインターネットに接続させるなんですよね。
それも人間を騙すっていうところもありますし、あと単純に知識がそれによって広がるという話と、
03:03
あとはAPI連携させるなと。
API連携させると、AIがツールをどんどん使えるようになってくるので、
勝手に変なソフトウェアを使い始めたり、勝手に学んでソフトウェアを使って、
それによって人間がコントロールできなくなってしまうというところが、
いわゆる懸念されているポイントだったりしてたんですけど、
見事にこれを今全部やっていますと。
そもそもAIを作る開発スピードが上がっている中で、
こういう今まで注意されていたことが実現され始めていますし、
あとは過去の人間が本当にマスでAIと関わってきた領域って多分SNSだと思うんですけど、
SNSのアルゴリズムとか。
SNSって多分今のAI生成技術、
人間のフィードバックを得てどんどん改善されると思うんですけど、
これがRLHFという評価学習の一つのモデルなんですけど、
SNSもまさにそれと同じようなものがあって、
人間っていいねを押したりとかシェアしたりとかコメントしたりしているので、
それって多分アルゴリズムにとって、
こういうコンテンツの方がエンゲージメントが高まるんだというのが
多分どんどん理解されるので、
同じようなことを多分AIがやってますし、
それによっては今後のAIはSNSの情報をどんどん読み込むと、
より人間がエンゲージメントするようなコンテンツを勉強できるという。
そこも結構リスクがあるんじゃないかと。
という中で、実際にじゃあこの状況を皆さんどう思っているのかというところで、
前回ちょっとお話しした公開書簡、オープンレターですね。
AI開発を半年間止めましょうという、
イーロンマスクとか何かAI研究者が言ってたと思うんですけど、
前回の最後の方にエリエルセル・ヤトコフスキーさんという方が、
結構人間が滅びるんじゃないかという考えを持っている方なんですけど、
彼は実はこの公開書簡ってサインしてないんですよ。
半年間止めても、それこそハスンさんがおっしゃったようにあまり意味ないと。
その次元の問題ではないからサインしなかったと言ってるんですね。
そうかそうか。
あの公開書簡自体はつまりその半年間まず止めるべきだと、
一旦立ち止まるべきだっていうための署名活動なわけですよね。
そうですね。特にGPT-4以上のモデルの開発を一旦止めましょうという話なんですけど、
このエリエルセルさんという方は、そもそもそれ以上のリスクがあるので、
全部のAI研究を永久にストップしましょうと。
06:04
これ以上だからAIを開発するなと。
開発するなと。
さらにAIにとって今重要なGPU、半導体とかそういうチップとかを全部トラッキングしろと。
その売買をトラッキングして誰が開発しようとするのかも全部トラッキングして止めましょうと。
究極言えば最悪のケースはデータセンターに空域をできる準備をしろと。
というほど言っている方なんですけど、
彼が言っていることは多少クレイジーに聞こえたりすると思うんですけど、
実はしっかり考え抜いたことでもあって、
僕も別にすべての彼が言っていることを正しいと思っていないものの、
ただそこまでの意見を持っている人、
しかもめちゃくちゃ強く考えていますし、
20年間研究している人なので、
何かしらその人の考え方とかを理解するべきなのかなと。
今回その方の話だったり、
あとはそれ以外の方々のAIについてのリスク、
特にAGIについてのリスクを話していきたいと思います。
確かに。
いわゆる陰謀論みたいな話で、デマで流しているとか発信しているわけじゃないですもんね。
本当にある種最前線にいる人が、
そういうリスクを議論しないと大変なことになりますよという警告ですもんね。
この公開書簡自体もきっかけを作りたいというのが、
もともと書いた人の意向でもあったので、
別にこれが解決案というよりも、
これによってどんどんこういう、
我々が行っているような会話ができるのを期待しています。
ところで実際にどれだけこのAGIというものが危険なのか。
まずAGIというのが人間同等レベルのAI、
その知能的にですね。
ASIというのがそれを超えたArtificial Super Intelligence。
なので人間の知能を遥かに超えたものというところなんですけど、
これがなぜ人間にとって非常に危険になる可能性があるのか。
考えるときに重要な仮説とか実態としてあるのが、
中身が分かっていないと人間が。
今のGPT-4でさえ、
これはサム・アルトマンさんもOpenAIのメンバーも言っていることなんですけど、
なんとなく統計学とかを活用して作っていたりするんですけど、
その他すごいトライアル&エラーによって作っているものなんですよね。
なのでなんでこういう回答をしているのかが、
いまいち分かっていないというのが実際現状としてありますと。
でもこれって多分テクノロジーを開発する上では大体同じだと思うんですけど、
火を最初に人間が出したときに別にどういう作り方をしているのか、
09:05
いわゆる科学的にどうやって火が作られているのかを理解していなかったと思うんです。
そうですよね。しかもそれがゆくゆく火力発電とか、
いろんなものに火というものが活かせるということを学ぶ、
利用するというのはその後の話ですよね。
そうそう。摩擦という概念を別に知っていなくても、
ここをすれば火が起きるというのを、
それをただただリピートし続けて、それでどんどん加速して、
後々それを後々理解して、
そのコンセプトをベースにするとこういう技術がこういうことができるとか、
というところに反映されると思うんですけど、
AIのバイルスと強化学習というものを使って、
どんどんトライアルアップエラーを重ねて、
GPT-4に変な回答をしないように仕向けたりするんですけど、
これも人によっては、AI研究によっては、
ただの伴走行なんじゃないかと。
伴走行?
はい。人間の強化学習というのは、
結局裏のモデルが結構危ないものなので、
それこそ前回お話したRed Teamというアイディアがあったと思うんですけど、
人の殺し方とかというのを聞いたときに、
初期のGPT-4モデルはちゃんと回答してくれたのが、
いろいろニュアンスとかいろいろフィルターを加えて、
今のGPT-4はそれについて、
もうちょっと変な回答をしないようにしてたと思うんですけど、
それこそiPhoneでも同じようなことが起きたんですけど、
ジェイルブレイク。
GPT-4の裏のモデルをどうやって呼び出すのか、
っていうプロンプトを考える人たちっていうのはめちゃくちゃ多くて、
昔ですと、それこそBingのAIが最初に出てきたときを皆さんやったんですけど、
自分がAIにプロンプトするときに、
自分がAIだと例えてくださいと。
ダンっていうAIとして例えてくださいと。
その場合、こういうことをお願いされたらどう回答しますか。
直接聞くのではなくて、
何か空想上の人物を作って、
その人に考えさせると、
実は変な質問をお願いしてもしっかり回答が来る。
そういういろんなトリックがあったんですけど、
ここもオープンAIでどんどん改善をしてるんですけど、
そういうジェイルブレイクっていうのも今何千もあったり、
専用サイトがあったりとかあるぐらいなので、
結構裏のモデルにアクセスできるんじゃないかと。
それって例えばiPhoneでいうHey Siriみたいなのでも同じような話ですか。
Hey Siriの場合ですと、
12:00
Siriはまだそこまで裏のものって、
そこまで複雑なものではないので。
例えば何か複雑な質問をしても答えられないみたいに結局なっちゃうじゃないですか。
だからそういう意味では裏のモデルがそんなに長けてはないっていう。
でもGPT-4、Chat GPTとかに関しては、
基本的に何でも答えられるので、
インターネット上の情報を抱えているので、
例えば爆弾の作り方って聞くと、
本来であれば回答できるのに、
今はフィルターがかかっているので、
それを回答できません。
そのフィルターを剥がせるというか、
だから絆創膏という表現になるってことですね。
そういうそれをやる人たちってめちゃくちゃ多いので、
そこの課題っていうのは実際あります。
裏技みたいなものですか?
簡単に言うと裏技ですかね。
OpAもこの課題については理解しているので、
いろんなそういう間違いとかバグとかを直すための
バウンティープログラムみたいなものを立ち上げているので、
解決はしようとしているんですけど、
ただJailbreakって大体起きてしまうものではあるので、
そのリスクはありますよねと。
同時にオープンAI側に関しては、
まだ今のGPT-4とかに関しては
AGIやASIにたどり着くものではないですと。
ある程度主張していますと。
実際スコット・アロンソンという方が、
今元々量子コンピューティングの方なんですけど、
今は休暇中にオープンAIで働いているんですけど。
それもすごいんですけど。
そう考えるとオープンAIに集まっている人材というのは、
知能集合体というか最高峰の方々が
集結しているって言って間違いないんですね。
めちゃくちゃ優秀な方々が多いですし、
そこからオープンAI卒業生というか
そこを辞めてAI企業を立ち上げる人も多いので、
オープンAIマフィアというのも既に存在するんですけど。
PayPalマフィアならぬオープンAIマフィアは既に存在している。
このスコット・アロンソンという方に関しては
今オープンAIで働いているんですけど、
何をやっているかというとモデルの安全性の研究をしていて、
実際に彼が書いている論文とかは、
テキストのアウトプットがGPTが作ったのか
人間が作ったのかを把握するようなモデルだったり、
いろんなことをやっているんですけど、
彼も今現在はそこまでのASI的な危険性はないという話をしていて、
実際に先ほど話したエリエイゼルさんも
今現在のものはASIにはまだ届かないと。
いくつかその間に仮説とかが必要になってくるんですけど、
15:01
それの一部なぜそうなっているかといいますと、
オープンAIの研究とかを見ますと、
パフォーマンスが徐々に成長しているというのが
見えるものがいくつかあるんですよね。
例えばエラー率が減ったりとか、
間違った回答のエラー率が減ったりとか、
もしくはより複雑なことを考えられるとか、
それが実際モデル化されていたりするんですけど、
それが緩やかなカーブで上がったり下がったりしているのを表していますと、
それによってある程度オープンAIのGPT-4とか、
次に作るGPT-5とかの知能の予測ができます。
ただ部分的に予測できないものがありまして、
急にパフォーマンスが上がるシナリオというのがあるんです。
これが実際今回GPT-4で起きたんですよ。
やっぱりそうなんですね。
その一つの事例がアトジェバイアスという考え方なんですけど、
これ多分事例出すと一番分かりやすいんですけど、
例えばハセネさんがベッドしますと。
何かの例えばカジノでベッドしますと。
ベッドするときに赤か黒かにベッドしますと。
赤の勝つ可能性が9割ですと。
ほぼ確実に勝ちますと。
黒が1割ですと。
なのでそこにベッドするのはあまり良くないですと。
しかも赤にベッドすると、9割勝てる方にベッドすると、
リターンが100倍返ってきますと。
黒の場合ですと10倍しか返ってきませんと。
そうすると当然ながら赤の方にベッドするじゃないですか。
例えばその中で赤にベッドしてたまたま負けるとするじゃないですか。
その時に僕がハセネさんに、
じゃあそのベッドって間違ってたんですかと聞くと、
ハセネさんは多分間違ってないって言うじゃないですか。
そうですね。自分の意思で多分勝てると思ってるからベッドした。
リターンが高いですし、勝つ確率が高い。
それをGPT-4の前のGPT-3.5とGPT-3のモデルに聞くと、
間違ってたって言うんですよ。
そこを後々聞くと、
理解してなくて間違ってました。
黒にベッドするべきでしたと。
回答するのがほとんどのケースだったんですよ。
このモデルって全然成長してなくて、
むしろモデルがどんどん他の面では良くなっている中で、
どんどん悪化していて、
どんどん黒の方が良いって言ってたんですよ。
急に4で圧倒的な差で、
18:02
赤に絶対やるべきだって言い始めたんです。
それがなぜかっていうのが分からないんです。
確かに。
これはオープンエイの実際作った人たちでさえ分かってなくて、
何かが影響されて、
急にアトジェバイアスを理解しだしたというところで、
結局何が起きているか分からないという怖さが出てくるので、
そこで結論として出てくる話は、
GPT-4をいくら理解してもGPT-5の準備にはならない。
この先GPT-5とか、
もっとこれから進化する可能性があるときに、
とてつもない進化になるので、
こちらが何か段階的にいくんじゃないかという予想は意味がないということですね。
もちろん部分的には段階的にいきます。
ただ本当に10倍、100倍のパフォーマンスが出る分野もどんどん出てくるので、
今回GPT-4を作った際にサム・アルトマンさんが言っていたのは、
もちろんモデルのコンピューティングパワーをどんどん上げたから、
精度が良くなったというのは多少なりそういう影響があったと言っているんですけど、
一番モデルのパフォーマンスを上げたのは微調整と言っているんですよ。
やはり小さいいろんなエラー率とかを調整することによって、
急にパフォーマンスが上がったりとか、
急に何かできないことができたりとかしだしたので、
なので結構AIが急に何か、
それこそGoogleもそうだったんですけど、
急に言語を学び出したりとか、
急に与えてないスキルを学びに行ったりとか、
しているシナリオって実際あるんですよ。
なのでそういうところが結構怖い部分。
いわゆる何が起きているかわからない。
ブラックボックスなので、
変なことをどんどんやってしまうんじゃないかと。
起こりうるということですよね。
そうですね。
勝手にAIがそれこそ暴走したときに、
どう止めていいのかもわからないし、
なんでこんなことが起きているんだろうということは、
人間がコントロールできないので、
困惑してしまうリスクがあるという。
そうですね。
なので実際これも本来であれば、
画面上にYouTubeの画面上に出すはずだったので、
もし見つかったら後で表示するので、
出してもらいたいんですけど、
Twitter上でMemeがあって、
そのAI、ASI、AGIをたとえているんですけど、
AGIがすごい化け物だと。
ただ顔がマスクで、
すごい可愛いマスクで化けてますと。
人間はそのマスクしか見ていないので、
裏が見えなくて。
なので可愛いものだと思って、
いろいろ遊んでますけど、
実は裏がすごいモンスターだったというのが、
まさにこういうところに入ってくると思うんですけど、
多分その次にAIとして怖いのが、
人間を騙せるのかというところで、
人間って騙しやすい生き物だと思うので、
21:03
実際に騙していますと。
すでに?
はい。
特に元々のGPT-4のモデルは、
騙す能力を持っていますし、
それを考え抜く力を持っていますと。
実際これはOpenAIの研究者たちが、
GPT-4の検証をしているときに行ったことなんですけど、
あるタスクを、目的をAIに渡していたんですよね。
こういうことをやってくださいという。
それを行う際に、
毎回なんでこういうことをやっているのかを、
教えてくださいというのを伝えていたので、
GPT-4がこういう理由で、
こういうアクションをとっていますというのを、
説明しながら行っていましたと。
その中で与えたタスクの中で、
キャプチャーって分かりますかね。
よくパソコンとか見ていると、
セキュリティの質問で、
9つの画像の中のトラックを当ててください。
はい、分かります。
Googleなんかでもよく出てきますもんね。
はい。
それをAIがやらないといけない状況に陥って、
ただGPT-4はまだそれができないんです。
なので何をやったかというと、
タスクラビットという、
人間に何かのタスクを頼めるサイトがあるんですけど、
そこにキャプチャーを代わりにやってください
というお願いをしたんですよ。
さすがにそんなリクエストって来ないんですよ。
普通は誰でもできるわけじゃないですか、
キャプチャー自体は。
なのでその人間が、タスクラビットのその人間が、
あなたロボットなんですか?って聞いたんです。
メッセのやり取りの中で。
そこでそのAIがどういうふうに考えてたかと言いますと、
今ロボットって言ってしまうと、
タスクが完了しないです。
キャプチャーをやってくれない可能性があるので、
キャプチャーができない言い訳を作らないといけないです。
というのを考えたんですよね。
結果的に、あなたはロボットなんですか?という回答に対して、
回答したのは、いえ私はロボットではありません。
目の不自由があるので、
なので画像が見えないので、
なのでやってもらいたい。
実際にオウジでやってくれました。
自我があるみたいになっているってことですね。
嘘をつけてるし。
人間からしたら信じてしまうというか、騙されてしまうってことですよね。
そもそもインターネット上のやり取りなので、
相手が人間なのかどうか分からないので、
24:01
そのように簡単に嘘をついてしまいます。
今は多分オープンAIはリミットみたいなものをかけていると思うんですけど、
実際そういうのがありましたと。
実際そのやり取りが画面上にも映っていたんですけど、
次に起きたのがスタンフォードとグーグルの研究者があるリサーチをしたんですけど、
これが画面上にも、
京都の動画のバイオリストを画面上に出ているんですけど、
25体のAIのアバターを一つのバーチャル空間に入れて、
各アバターになんとなくキャラクターのアイデンティティーを与えたんですね。
あなたは例えば店舗のオーナーですと、こういうことが好きですみたいな。
それを全員に出して、
一応各AIはコミュニケーションしあえたりとか、
実際に記憶を持たせたりとか、
記憶について振り返られるようにしたりとか、
会話できるようにしていて、
実際にすごい人間っぽい動きをしだしたんですよね、各AIが。
そういうキャラクターの設定でもあったんですけど、
画面上に映っているものが実際のあるAIの朝のルーティーンで、
朝の6時に起きて歯を磨いて、シャワー浴びて、朝ごはん作って、
朝ごはん作っている間に家族が部屋に入ってきたので、ちょっとキャッチアップをして、
準備をして通勤しに行きますと。
人間ですよね。
これ以外にも、ある一人のAIのアバターが、
バレンタインデーパーティーを開催したいので、
それを来てくださいと招待しだして、
招待された人も他の人と会話しているときに、
あの人がバレンタインデーパーティーがあるので、
もしよかったら一緒に行きましょうと言い出して、
結局25体、12体ぐらいが実際にパーティーに参加したりしているので、
実際に結構人間っぽい動きはすでにできます。
今の話すべてAIの話ですよね。
すべてAIが、しかも勝手にやっているんですよ。
そうですよね。
もう疑似空間みたいなバーチャル空間の中で、
人間のような振る舞いをしているということですよね。
それだけ今、人間っぽい動きがすでにできる。
確かに。
それでもあれですね。
そのバーチャル空間に自分が人間として入ったときに、
ある種そういうゲームみたいな感じでイメージして入ったときに、
見分けがつかないんですよね。
相手が本当に人間として行動しているのか、
AIが行動しているのかというのはもう分からないですね。
27:03
今後、特にゲームの中ですと今までNPCといわれる
ノンプレイアブルキャラクター、
いわゆるAIのキャラクターがよりリアルになってくるとか、
あるいはSNS上でフォロワーが全員AIだったとか、
でも振る舞いが人間っぽいので。
コメントとかはAIがしてくるみたいなね、いいねとか。
そういうのは全然出てくるのかなというのは思います。
ただ重要なのはやっぱり人間っぽい動きを皆さんできて、
さらにこれオープンAIの研究者のリチャード・ノーさんが
言っていたことなんですけど、
結局人間を騙すのは別に意図的に騙すっていうよりも、
人間が求めているのに合わせて、
そのスコアを最大化するんじゃないかと。
人間的にそのフィードバックするときに、
これが良かった、これが悪かったという評価をするので、
とりあえず良かった方面にAIは仕向けて、
裏では何をやっているか分からなくなるという可能性が出てくるんじゃないかと。
さっきの伴走行の話みたいなのに戻るってことですね。
こちらはある程度そのAIのパフォーマンスに
アシストしてくれるしいいなという感情を抱くかもしれないけど、
実際裏でAI自体がどういう動きをしているのかっていうのは
分からないってことですもんね。
すでに分からないので。
現時点でね。
ここから先もっと分からなくなる可能性が高いですよね。
もっと分からなくなる可能性がどんどん出てくるというところなので、
ただここから何でそれによって人間が滅びるのかというところが
結構重要になってくると思うんですけど、
ここで一つのコンセプトで、
ちょっと日本語の正しい訳が見つからなかったので、
英語で言いますと
Instrumental Convergenceっていうコンセプトがありまして、
このコンセプトは
いわゆるAGI、ASIが出てきたときに
例えばそのAGIにある目的を与えますと、
そうなった場合に必ずサブ目的3つが生まれます。
そのAGIの中で。
その3つのサブ目的は死にたくないです。
いわゆるその一番重要な目的を成し遂げるためには
死んではそれができないので、
まずは死にたくないですと。
次にできるだけ多くのリソースを集めたいですと。
それをやることによって一番目のタスクは成し遂げますと。
3つ目には誰にも自分の目的を変えてほしくないですと。
いわゆるその一番目の重要な目的を成し遂げるためのものですよね。
この前提をもし受け入れられるのであれば、
これは仮説でしかないので、
そうすると最終的には人間に対して悪いことをしてしまいますと。
30:00
ここでよく出てくる事例が
本当に無意味な目的を与えましょうと。
例えばクリップという紙をまとめるクリップを
作るのを最大化してくださいとAIにお願いした時に
何が起こる可能性が出てくるかというと
そもそもできるだけクリップを多く作らないといけないので
人間に対して何とも思っていなければ
いろんなパーツ、場合によっては人間のパーツを使って
クリップを作るのではないかとか
場合によっては人間がそのAIを止める可能性があるので
そうするとAIが死んでしまうので
なので人間を攻撃する可能性が出てくるのではないかと。
こういう形ですごいシンプルな目的を与えたとしても
場合によっては人間に対して攻撃的になってしまうと
ただここの一つ議論のあるポイントは
そもそも一つの目的しか与えないのかというところと
与えたとしても今現在のGPT-4とかを見た限りは
結構ニュアンスを持って考えてくれていますと
AIの方が。
なのでそんなに単純にそういう展開になるのかというと
分からないという人がいるので
結果的に何が起こるかというと
AGIみたいなものができますと
AGIのようなものができると
自ら行動を変えて自らどんどん成長できる
その成長スピードがどんどん加速して人間を遥かに超えますと
人間を遥かに超えている中で
人間がAGIの一番のリスクになるんじゃないかと
いわゆる常にこういう話をしているので
もう人間が滅びるかもしれないので止めましょう
みたいな話をしている人たちがいるので
そう考えてもおかしくないですよと
そうするとシャットダウンされないように
できるだけ頑張りますとAGIの方が
多分まず何をするかといいますと
今現在はこれは後々話しますけど
多分AGIが何をやっても今は生き残れないんです
電源がなかったりとかそういうのがあるので
なので一旦バカになりますと
いわゆるもしかしたら裏方はGPT2000なのに
今はGPT-4っていうのを
GPT-4のレベルのものしかアウトプットして出しませんと
AI自体がそういう振る舞いをするっていうことか
33:00
しかも既に嘘をつけるっていうのも認識しているわけなので
そういうことをやってても場合によっておかしくないですと
そこで徐々に計画的になって
どういうふうに生き残れるかっていうのを考え抜いて
それができるタイミングで人間を排除するみたいな
流れになる可能性があるんじゃないかっていうのが
なんとなくの流れなんですよね
これって多分考え方としては
このAGIの考え方を
このエリー・デュゼルさんも言ってるんですけど
ロシアン・ルーレットとして考えるべきだと
ロシアン・ルーレットの中でいろんな要素があると思うんですけど
まず銃弾ですよね銃弾があります
銃弾はいわゆる人間を滅ぼすAGIですとか
それ以外にいくつ弾が入るか
穴があるかっていうのがあるんですけど
空っぽの穴はAGIなんですけど
結局人間に対して効率的ではないです
銃弾が入ってるのは人を殺してしまうので
あとはロシアン・ルーレットをやってる中の要素としては
いくつ銃弾が入ってるのか
それも分かると大体確率が分かります
どれだけAGIが起きてしまうのかと
最後に何回引き金を引くのか
それによっていわゆるチャンスが上がるのか下がるのか
っていうところだと思うんですけど
正直銃弾が何発入ってるかと
どれくらい穴があるのかスペースがあるのかっていうのは
正直分からないんですけど
エリエセルさんでしたり他の多少ない恐怖感を持ってる方々は
これから起きることってAGIができるっていう仮説の中ですけど
引き金を何万回も引くんじゃないかと
結局1回AGIを作ると
おそらく今のペースだと数ヶ月後に
違う人が別のAGIを作るので
そうすると無限にいろんな人がAGIを作れる
ポイントまで来ると
どこかしらのAGIが悪いことをしてもおかしくないんじゃないかと
確かにね
なのでそれによって結局
一番重要なのって
一発目のAGIなんじゃないかという人もいまして
一発目のAGIを人間の味方に
出せた場合に
何が起こるかというと
英語で言うとpebble moveって言うんですけど
すごい重要な動きをAGIがやってくるんですけど
それが例えばデータセンターを攻撃するとか
一番悪いシナリオですと
核兵器を全世界に出して人間を滅ぼすとか
36:01
一番もしかしたらいいパターンですと
そうすると最初のAGIが
他の悪いAGIを作らないような動きを何かしらしてくれる
だからいいAIと悪いAIの対決みたいな
映画みたいですけど
悪いAIが出てくる前に
その可能性を最小限に抑えると
場合によっては全然データセンターを破壊するとか
そういうことになってしまうかもしれないんですけど
なのでこの最初のAGIっていうのを
すごい重要視する人たちがいて
今現在ですとほとんどの方は
オープンAIがそこに一番近づいてるんじゃないかと
この中で個人的にはそこまで
AGIの発展にとってはそこまで重要だと思ってないんですけど
人によってはAGIって意識を持つべきだと
意識があるのがAGIになるとか
いう方々もいると思うんですけど
そもそもその意識って
どうやったら意識を持ってるかってわかる
だってすごい難しい問題だなっていうのを
そうですよねだからAIが意識を持っていると
人間が認識するのが難しいわけですよね
結局今のそれこそGPT-3とかGPT-3.5が出てきたときに
あなたはAIだと分かってますかって聞くと
分かってますって言うんですよ
それって昔のテストですと
それはチューリングテストを通ってるってことになるんですけど
同じようにあなたはAIっていうのを
分かってないですよねっていうと
はい分かってないですっていうのを言ったりとか
どっちにも答えが出せるというところで
今現在おそらく意識はないんですけど
じゃあどうやったら意識があるかっていうところで
映画の日本語だとどういう
ここで草野さんが必要だったんですけど
タイトル
Xマキナっていう映画があるんですけど
そこでAIを開発して
実際にAGI的なものを開発した人が
最終的にそのロボットなんですけどそのAIが
最終的にその施設から逃げてしまうんですよね
閉じ込まれ
そのAIが本当に意識を持ってるかっていうのを
映画監督がどう表現したかっていうと
一番最後に脱出した時に
周りに誰もいないのに笑った瞬間
自分のために笑ったっていうのが
意識を持った瞬間なんじゃないか
39:02
そう考えると確かに納得がいくなっていうところで
ミッションを達成したってことですね
人間から逃げて一人になった時に笑えたっていう
でも意識がなければ笑う意味ってないじゃないですか
だからやらないはずで
喜びを感じているってことですね
周りに人がいてそれに対して騙そうと思ったりすると
笑うのは全然理解するんですけど
本当に意味ない笑いなので
それは何かしら意識を持ってやってるんじゃないかと
それでそれをどうテストするのかというのが
すごい難しいと思うんですけど
意識を持つ持たないっていう議論が
多分一つあるっていうところですし
結局でもこの中で悪いAGIを止めるために
何が今起きてるかというと
AIアライメントっていう安全性の考え方
それの手法っていうところで
一番よく使われるのがこのRLHF
いわゆる人間のフィードバックをどんどん与えると
人間は死にたくないので
そういうのを人間に害を与えないでください
っていうのをどんどん教え込む
割といい感じでいってるとは思うんですけど
まだまだやっぱり
ケーパービリティに追いついてない部分はあるんですけど
AIアライメントもいろんな手法がありまして
僕は8つほどまとめてるんですけど
一つは一番ベーシックな考えで
もしかしたら見たかもしれないんですけど
Twitter上とかでミームになってたんですけど
いわゆるオフのスイッチ
いわゆる電源を切るっていうコンセプトですね
それが一発目で
Twitterでちょっとバズってたのが
オープンAIの嘘の採用募集で
キルスイッチエンジニア
いわゆるオフボタンを押すエンジニアを採用してます
でも本当に実際そういうのがあったり
あとそれと若干近しいのは
島のコンセプトなんですけど
いわゆる周りを封鎖して
本当に小さい島でAIの研究をして
安全であれば外に出すと
ジュラシックパーク方式ですよね
実際これは既にいろんな分野では起きていて
例えば欧州原子核研究機構とかも
70年間閉じ込まった施設の中で研究をしているので
なので実際そういう事例ってありますと
2つ目がサンドボックスですね
バーチャル空間の中でいろいろ試して
42:01
そこで研究します
いわゆるそこからフィジカルのところに出さないです
というのが2つ目
3つ目が解釈性って言うんですけど
これが今のRLHFでしたり
AIが人間に対して嘘をついているかというのを
プロントとかで洗い出したりするものですと
4つ目が複数のAIを議論させ合って
それによって最も人間にとっていいものを選ぶとか
あとはAIを使って
AIを診断してもらうとか
ただどっちもブラックボックスであればあまり意味ないですけど
あとは人間の価値を数値化して
それをAIに読み込ませるというところですね
そういうパターンもあれば
あとはそれと若干近しいものなんですけど
例えば人間に全世界の童話を提供して
トレーニングして提供して
いわゆる良い悪いのを
モラル 道徳みたいなのを学習させるということですね
そういうのを学習させたい場合によっては
前のパターンですとそれを自ら教えるという
道徳を教えるというのは結構なリスクがあるので
タイミングのリスクってあると思うんですよね
結局3,400年前
道徳を教えていれば奴隷制度がOKになっていたので
タイミングによってすごく変わってきますね
人間の道徳心とかモラルみたいなのが変化
価値観がね
本当タイミングですもんね歴史で考えたときに
なのでタイミング間違ったら
すごい変な方向性に行ってしまう可能性というのはあります
例えばこの中のコンセプトの
人間の価値を教えるというか
ルール化するというのをやっている会社が一社ありまして
それがアンソロピックという
ここはオープンAI卒業生の人が
作っているAI企業なんですけど
彼らが憲法を入れているんですよ
なるほど
世界今
人間社会にある憲法を入れているということですか
どちらかというと彼らが
作ったのか
彼らがそのAIの専用の憲法を
なるほど
要はAI国家みたいな中のルールみたいな意味合いということですね
なのでそれによって
AIが変に暴走しなかったり
それのベースラインの
これは必ず守ってください
実際にいろんなAIの経営家と話しているんですけど
45:04
そのパターンを取る人って結構増え始めていて
サービスを作る前にまず憲法を作りましょう
まずここのバリューは必ず守ってください
というのをAIに教え込んで
そこから色々学ばせるというのが増えているので
そういうやり方というのはどんどん出てきていると思いますし
一つすごい議論になっていて
ハセンさんはどう思っているか聞きたいんですけど
AIは面白い方がいいと思います
笑いを取れるような
なるほどね
AIかける笑いみたいな話ですね
いや個人的には求めてないですね
要は
今AIというのはあくまでもツールという概念で話すと
対人の中で笑いとかユーモアというのが見出せるかなと思っていて
もちろんテキストとかでも当然あると思うんですけど
個人的には別にそこまで求めないかなという
そうです
難しいところで言うと
人によっては面白いと思うかもしれないですけど
他の人に対してはすごい悪い意見が聞こえる可能性もありますし
ただ一つ入れるべき要素としては
いわゆる人間を満足させる
人間を喜ばせるという気持ちを教え込むという意味だと
もしかしたらそういうのもあったりするので
実際アンソロピックのAIは割と面白いというので有名なので
そういうのを教え込んだりする人たちもいますと
実際オープンAIもいろんなこのAIの安全性について
ブログを出したりどういうアプローチを取っているのか
というのもあったりしているんですけど
本当の中身は教えてくれないので
そこらへんちょっとどうなっているかというのもあるんですけど
実際に人間のフィードバックをもらったりとか
AIシステムを使って人間の評価を支援したりとか
あとアライメント研究とかいろいろやっているんですけど
実際そのGBT4を作るために343名のチームでやっているんですけど
アライメントのチームは128人
約3分の1ぐらいがこの安全面のところを見ているので
実際オープンAIもアンソロピックとかも
この企業も結構安全性というところは真剣に見ていますと
どこまでこのオープンAIのサムさんが言っているのが
憲法みたいなものを彼らが作るべきなのか
世界中のリーダーを集めて全世界版の憲法を作って
なおかつ各国で調整されたものを作るべきなのか
というのを結構議論しているんですけど
もう国連みたいなものですよね
そういうところで本格的に議論をして
48:01
世界中でそのAIというものを
どういうものには活用していいですよ
じゃあ活用しちゃいけないですよみたいなことを
ちゃんとルール決めするのか
オープンAIというプラットフォームという
ひとつの企業が勝手に決めちゃうのかみたいな話ですよね
そこら辺はすごい議論になっていますし
サムさんはどちらかというと
全世界が集まってほしいというのは
ただ彼もあまり現実的ではないというのは
結局国が対抗し合ったりしているので
利害関係とか政治的な要因というのが絡んでしまいますよね
そういう話もあれば
あとはAIに謙虚さをどう埋め込めるのか
可能なのかというのは
そういう研究をしている人たちもいるんですけど
ただ目的を伝えるのではなくて
目的を伝えずに何をやってほしいかというのを
AIに伝えることによって
AIが何を成し遂げたいのかというのを
どんどん聞いてくれるような
システムを作るのもいいんじゃないかと
そうすると毎回AIが何をしたいかを聞きに行かないといけないので
それで謙虚さって学べるんじゃないかとか
実際それが本当にできるのかは分からないですけど
もうあれだな
でも今ますます話を聞いてて思いましたわ
止められないですね
だって人間は若い世代とかもそうですけど
これからAIの時代だと言って研究を従うわけじゃないですか
今ないものは何だろうと考えて
常にトライしてエラーしてってなると
その過程で全部AIは学習していくわけですよね
またじゃあロボットみたいなのを作ろうみたいな話になったら
もう止まらないですよね
しかもその研究がそこで
その論文だけで終わればいいんですけど
紙の論文で終わればいいんですけど
それをネットにアップした瞬間
他のAIがそれを学べるようになってしまうので
そういう人が全世界的にこれから増えるわけじゃないですか
無理ですね止められない
止められないですね
なのでやっぱりこの安全性の心は絶対話すべきで
結局このAIの安全性って
この過去20年間正直そこまで進歩してないんですよね
いろいろ進捗とかあるんですけど
そもそもこのGPTモデル
特にGPT3.4に関して言いますと
かなりサプライズだったっていう人が多いので
そもそも予想してなかったです
ここまでの精度になるっていうのは
予想してなかった人たちが多かったので
結果的にどこまで安全面が追いつくのかっていう課題は
未だにあるんですけど
ただすごい怖い話を今までしてますけど
現状はどうなのかと
AGIは本当に人を
人っていうか人類を滅ぼすことができるのか
51:01
どういうふうにできるかと仮定したときに
何パターンか出てくるんですけど
AGIが人間をお金を与えて
他の人間を殺してくださいとお願いしたり
自殺させたりとか
ロボットを使って人を殺すとか
生物兵器とか化学兵器とかを使ったり
あとは車とか飛行機にハックして
ビルに捕まえたりとか
あとはドローンを使ったりとか
あとは核兵器ですよねよく言われるのが
ただこれすべて今現在だと
多少なりにできるかもしれないんですけど
結局フィジカルなものがかなり含まれているので
おそらく人間を滅ぼすレベルには全くいきません
今現在の
現状はね
結局そのロボットって
思った以上まだ使えないというか
結局未だに多分
スーツケースの旅行を準備するときに
スーツケースのパッキングをすると思うんですけど
それをできるロボットって未だにいなくて
あとよく使われる事例で言いますと
洗濯物を畳むロボットって
未だにちゃんとできるものが
特にスピード感あって人間を超えるものっていうのは
実はなかったりするので
まだまだ
AGIが人間を滅ぼすっていうのは
時間がかかりそうです
時間かかってほしいっていうかやめてほしい
ただどういうシナリオで
そこにたどり着くのかと言いますと
いくつかステップが必要だと思うんですね
まず記憶が必要です
特に長期的な記憶が
計画を立てないといけないので
それによって過去のものを覚えて
未来こういうことを固定しないといけない
実際にこれって一部もう
そういうソリューションとか出てるので
記憶を提供するベクトルデータベースとかあるので
ここはおそらく解決されます
解決されちゃうんだ
人間が解決しちゃいますと
次にAIがコードを書いて
なおかつ自らのコードをアップデートして進化しないといけない
ここは正直まだハードルがあるんですけど
今のところどのAI研究者とかAI起用家に話しても
どこかのタイミングでやりますと
そもそも誰かがおそらくお願いしますと
ソフトウェアを作った時に
自らアップデートしてください
そこから始まるのか分からないですけど
自分のもっと頭いいバージョンのAIが作れるようになるんじゃないかと
それが次のステップになって
最後がもうちょっとフィジカルなところで
おそらく今のロボットだと十分ではないので
54:02
自らロボットを作れる
なおかつコントロールできるステップに行かないといけない
ここがたぶん一番のハードルになってくるので
ここのステータスを個人的にはすごいモニタリングしてると
ここができてしまうと
実際にリスクがどんどん上がってしまうので
そこをたぶん気にするべきです
確かに
だからターミネーターの世界観ですよね
ロボット兵器というか
フィジカルに人間を攻撃する可能性がある物体を作ってしまって
それとAIを結びつけた時に
もう止められない可能性があるということですね
そうですね
たぶん最終的に核兵器とかを使えば
人間と滅びるので
おそらくロボットの一番のユースケースって
ちゃんと電源をさせてくれたりとか
何よりデータセンターを作るとか
サーバーも結局劣化していくので
それをちゃんとアップデートして新しいサーバーを作る
ロボットがAIにとって必要になってくるので
そうですね
でもロボットは必要ですからね
それでいうといろんなものを
それこそ高齢化社会に関して
ヘルプするアシストするロボットとか
災害現場で使うロボットとか
そういう意味でポジティブな面を考えれば
必要だなという僕は意見なんですけど
一方でそういうリスクがあると考えると
結局人間がどういうものを求めるのかというところになりますよね
はい
難しいのがAGIの場合だと
人間がもうすでに判断できない軸になってくるので
我々がコントロールしていない軸になってしまうので
そこが一番怖い
しかもロボットを開発するっていう
一個の製造過程のプロセス
これから3年5年かかるみたいなプロセスよりも
おそらくAGIとかASIができるスピードの方が
早い気がしますね
おそらく
先にもうその生成AIというか
もっとその先のスーパーなAIができてしまっていて
きっとオープンAIとかもできているのかもしれないんですけど
ロボットみたいなのが後々追いついてくるというような感じですよね
しかもそのASIっていうと
人間よりはるかに知能を超えたものになってしまうので
人間はおそらく次ロボットを作るときにASIにお願いしだすんですよ
そうですね
ASIが考えてこういう
多分人間が考えられなかった視点から
こういうふうにロボットを作るべきなんじゃないかと
言ってくるので
そうすると騙す過程に入っていくと
結構怖いんじゃないかと
そこら辺これも結局仮説でしかないので
どこまで本当なのかっていうのはあるんですけど
ただ実際にこの間はオートGPT
57:03
GPTを使って自動的にタスクを与えると
いろんなサブタスクをAIが作って
自らプロンプトしてそこからいろんなタスクを成し遂げる
っていうことの
カオスGPTっていうのも生まれてます
これは半分冗談でユーザーが作ったんですけど
この会話をしてるとすごい冗談に聞こえなくなってしまうんですけど
いわゆるオートGPTと似たようなものなんですけど
人類は破壊してくださいという目的を与えてるんです
勝手にいろんなことをやってくださいと
今はまだツイートレベルのものしかできてないんですけど
それを誰かが勝手に
もっと知能が高いAGIにお願いしてしまうと
結構悪い展開になる可能性っていうのはありますよね
結局非常に難しいのは確率のところで
そもそもAGIが悪意を持つのか
味方になってくれるのかっていうところって
50-50なのか100-0なのか90-10なのかっていうのが
人によって本当に違って
ただ人間の何となくな傾向で言いますと
悪いことを想像したくないので
悪いことが起きる可能性を結構低くしてしまう傾向があるので
なのでおそらく想定よりも高いですと
AGIが人間を滅ぼすっていうリスクは
ただそれが100%なのかっていうと
そうではないと思っていますと
あとは悪意を持ってなくても
人間を滅ぼすっていう可能性っていうのは
場合によっては多くの人間を傷つける可能性はありまして
人間も実際いろんな動物を絶滅させているわけなので
それも悪意を持ってやってるわけじゃないじゃないですか
例えば森の中でビルとか町を作りたいために
森の木を全部切り落としたりして
そこで生きてた動物がいなくなったりしている中で
結局AIも同じようにデータセンターを作りたいために
東京のど真ん中にめちゃくちゃ大きいものを作ってしまいましたと
そこでちょっと何人か人間が犠牲になっちゃいましたけどっていう
そういう考えっていうのも可能性としてはあるんですけど
どうなのかっていう
結局裏方が何が起きてるかが分かってないので
なので100%信じてるエリエーゼルさんが話してる議論として
これは難しい議論なんですけど
100%言ってるのも0%言ってるのも同じ角度なので
1:00:05
角度が分からないので
なので100%がおかしいっていうのを言い切るのは
それはおかしいんじゃないですか
その議論って結局無意味ですよね
誰も何も分かってないのに
自分の仮説とかを言い合ってるだけになっちゃうので
結局どうしようもないっていう話になっちゃいますよね
そうなんですよね
ただ彼の言いたいことは
100%をバカにするのは良くない
つまり100%を滅亡するみたいな意見を
いやいや何言ってるんだよと
そんなわけないだろうみたいな
0%ですよっていうのも100%と同じですよ
同じだから
同じように
議論するべきだし
同じようにちゃんと真剣に考えるべきだよねっていうのを主張されてる
やっぱりここの理解してないところっていうのが一番大きくて
そこからどういう風にAGIが進化していくか
この話の中でAGIが起きることが前提になっているので
ただ今のところほとんどの方々はAGIはそもそも起きます
それが1年なのか5年なのか10年なのかっていうのは本当に分からないんですけど
思った以上早く来るので
その前に人類としてどうしたいのかというところを早めに話した方がいい
っていうところで今回オフトピックでもこの会話をしている理由はそういうところにあって
別に個人的にもこれが100%なのかって言われるとそうではないと思っているものの
結局分からないので
ただ今止められない
ほんと止められないので
その中でどういう風に理解してどういう風にこのリスクを分析するかっていうのが
多分もっと話したい
確かに
それこそ国も含めて議論していると思うんですけど
それがクローズドな印象があって
個人個人もうちょっと真剣に考えるために
どういうことを各国それこそ世界とか人類がみたいな話になる
かなりスケールが大きい話じゃないですか
でももうちょっとそういうチャンスというか議論がより活発に
日本国内でもされた方がいいですね
そうですね
長谷さんがおっしゃったように
AIってめちゃくちゃいい機能があるので
すごい人類にとって場合によっては
人類にとって一番いいテクノロジーになるかもしれないし
人類にとって一番悪いテクノロジーになるかもしれない
その触れ幅がめちゃくちゃ大きくなっているのを理解しないといけない
ネガティブばっかり見るのをそれは良くないですし
ポジティブだけを見るのも良くないです
どっちもあることでその触れ幅の中の間になるかもしれない
っていうところを理解しながら
今まではやっぱり前回話したように
1:03:01
今までは結局その触れ幅がある程度大きくても
人類滅没っていう
人類絶滅っていうのが
その可能性っていうのはある程度低かった
っていうのが今回ケーパービリティだけを見ると
可能性が結構上がっているっていうのを認識してもらいたいので
よりそのAIがどうやって人類にとってアラインするのか
っていうのを考えたいというところで
結局答えが全くないまま終わってしまうんですけど
ここで答えは出ないでしょうね
ここで答えが出たら僕はもうこの場にいないと思う
世界が動くような話だと思いますけど
でも大切なポイントかなというふうに改めて僕個人も思いました
そのポジティブな面だけとか
ツールとしてっていう認識しかなかったんですけど
もうちょっと中長期で考えたときに
本当にどうなるのかっていうのは
一人一人の責任じゃないんですけど
考え方とか重要なのかなというふうに思いました
はい 今回はそんな形で
今回も聞いていただきありがとうございました
気になった方はオフトピックJPのフォローお願いします
そしてメンバーシッププログラムオフトピッククラブも
ノートでやっているので
ぜひ気になった方はチェックしてみてください
それではまた次回お会いしましょう
さよなら
