AIと人類滅亡のシナリオ
どうもハリーです。どうもヤマンです。ゴロゴロ起業ラジオは、教育会社を経営しているハリーと、デザイン会社を経営するヤマンがお届けする企業サートアップに関する話を緩く紹介する番組です。
AIが人類を滅ぼすみたいなシナリオあるじゃないですか。ある。なんかよく聞くのは、地球環境を良くするようにという指示をAIに出すと、人間がいないことが地球環境にとって重要ですみたいな解釈してしまって、その結果AIが人類を滅ぼすみたいな。
やくSFのストーリーであるよね。そういうの。 この話聞いたことある人は結構多いと思うんですけど、そんなこともあるのか怖いねぐらいで終わっていると思うんですけれども、ただこれ地球規模だと実感わからないと思うんですけど、実はこのシナリオと同じ失敗はみんなやっているんじゃないかなと思うんですよ。
なのでねこれを聞いているあなたも人類滅亡の片棒をもしかしたら担いでしまっているかもしれませんよということで今日はねこのディストピアシナリオの解像度を少し上げることで日々の生産性が上がったり失敗を防げたりっていう効果がね実はあるのでその話をねしていこうかなと思います。
興味深い。 この地球環境を良くするには人類不要シナリオってどこがおかしいかわかりますか。 どこがおかしいか。 人類滅んじゃってるんでそれは良くないじゃないですか。なぜこうなっちゃったんだと思います。
人間が自然破壊してるからじゃん。 まあまあそうなんですけれどもそれを何とかしようと思ってじゃあこうこうこうしてくださいっていう指示をAIに出しましょうとなった時になぜあの人類滅亡という結論が出てしまったのかっていうところですよね。
なんでなんだろうね。 要は視点が抜けてるのかなっていうAI側であるいは指示を出す人間側で。だって地球環境を良くするっていう目標はそれで達成できるという計算なわけじゃないですか。じゃあいいんじゃないとAIは思いますよね。
どういうこと? そうですねこれ言ってしまえば人類が生きていくという前提が抜けてるんですよね。滅亡しないはもう当たり前じゃんと思っているんだけれども。 質問の仕方が悪いってこと?
そうなっちゃいますね。人類滅亡させないでっていう言い方がうまいこと伝わっていればこういう結果を防げるんじゃないかなと。めちゃくちゃ単純化すると。だからその地球環境を良くするだけを見てると人類滅亡も可能性としてありなのかなと。それがめっちゃいい影響出るじゃんってなったらそういう判断されちゃうんですよね。
なのでその辺グラデーションで言えば人類を1万年ぐらい宇宙ステーションに移住してもらってその間地球環境が良くなった頃にまた戻ってきてねみたいなのとかもあるかもしれないけどそれもそういう話じゃねえっていうことじゃないですか。なので目標が一つだけだといろんな前提を無視しがちになるっていうのがAI扱う上で結構問題になってくるんですよね。
ポイントとしては一つ目標設定の前提条件が抜けているとかあるいは目標に抜け道があればその抜け道を利用しようとするのでそこをどう埋めるかっていうのがね非常に大事。
ハックされないための条件はね。
AIの意図しない行動
そういうことです。でもこれはねAIに限らずみんなやってると思うんですよ。
確かにそうね。わかるわかる。PV数上げることが目的でじゃあ猫の画像を増やそうって言って。いやいや猫のがPVは確かにそれで増えるけどみたいなね。目標は達成してるけどそうじゃないんだよみたいな。
ありますね。これがね報酬ハッキングという名前がついてるんですよね。
報酬ハッキング。
報酬のハッキングですね。何かというと与えられたルールや目標を達成しようとするあまりこちらが意図しないずるい手段で目標をクリアしてしまうという現象なんですね。
裏技ね。
裏技ですね。言い換えればその評価基準を満たすこと自体が目的であってその手段が本来の目的からずれてしまうみたいなことがあり。そういうのがAIで最近話題になっているんですよ。
確かにね。どれだけ正しいゴール掲げてもその前提がずれてたら全部無駄になりますもんね。本末転倒みたいなね。
そうなんですよ。そこを上手いこと設定しないとこういうディストピアにももしかしたらなってしまうかもしれない。実感もしかしたら湧きにくいかもしれないですけど結構怖いなと思うんですよね。
確かに。
みんな頑張っていくとそのAIって強化させていっていいより良い結果を得ようみたいなことをみんな頑張ってしてるんですけども、いろんな方法を試させて一番いいやつを残して、それをベースにまた新しい方法を考えて試させてみたいなのをどんどん繰り返していくんですけど、
例えばその50メートルを速く走らせるロボットを作ろうみたいなので最近だとこうユニティみたいな仮想空間でパラメータを試してどれが速いのかなみたいにするじゃないですか。
例えばじゃあ50メートル速く走るんだったら2速歩行がいいのか4速歩行がいいのかとか一歩の幅が大きい方がいいのか小さい方がいいのかとかそういうパラメータを試していくんだけれどもある時ロボットの高さを50メートルにしてスタートと同時にバタンと倒れりゃそれがめっちゃ速いみたいな方法もね生まれてきちゃうんですよ。
でもまあこれもそういうことじゃないっていう話じゃないですか。なのでこれもさっきと同じような形でその結果50メートル地点速く到達すれば最も報酬が高いという設計にだけしてしまうとこちらが意図しない抜け道っていうのが発見されてしまうということで結構ねこれは至る所で起きてるんだろうなと。
なるほどね。興味深いですね。
じゃあちょっとどんなことが起きるのかというのを考えてもらいましょうか。
出た。考える系。
テトリス。
得意です。
テトリス得意ですか。
はい。テトリスとぷよぷよ得意です。
いいですね。パズルゲー得意ということで。
テトリスで最高得点を叩き出すAIを作ろうと思った結果予期せぬことが起こりました。
うん。
何でしょう。
何これ謎なぞ。
論理クイズですね。
論理クイズか。論理クイズ苦手だな。
テトリスで最高得点を出そうとしたアルゴリズムの一つを考えればいいんで。
ブロックを消すってことでしょ。
テトリスのルールはそういうことですね。
ですよね。難しすぎてわからない。
ヒントが難しいなこれ。
ここで問題に出すということは裏技があるんでしょう。
すごい裏技があるんでしょう。
でも積み上げなきゃいけないよね。
積み上げていきますよね。
本来は。
しかし最高得点を叩き出せということだけに絞った人工知能を作ると積み上げない。
めっちゃいいですね。
消滅するんじゃない一気にブロックが。
ブロックが存在しなくなるんじゃない。
ゲームのルールを書き換えて。
おかしいことになってきた。
そこまでではないけどそれはあり得ると思いますね。
いいですよ。
めっちゃいい。
めっちゃいいの。
過去一難しい論理クイズだな。
でも積み上げなくなったらテトリスじゃなくなるじゃん。
そうですね。
もしかしたらさっき言ってたのは。
でもそこまでのチート機能ではないです。
そうだよね。
ブロックはランダムに選ばれるっていうルールのもとでやるんだよね。
そうですね。
一応こっちで用意している事例はバグとかではないですね。
んー。
え、でもどこに何を置けばいいかの最適解が分かるってことだもんね。
もしかしたら。
まあ、
やっぱり
そのブロックを
ランダムに選ばれるっていうルールの下でやるんだよね。
そうですね。
一応こっちで用意している事例は
分かるってことだもんね。
んー。
ブロックの。
それちょっと真面目君ですね。
ちょっと難しいな。
ヒント出すと。
ヒントちょうだいヒント。
ゲームオーバーになると
かなりマイナス点になるということを
どっかの時点で学習したんでしょうね。
ゲームオーバー、
あ、永遠続くってこと?
点数が出ない。
永遠に続く。
終わらない?
終わらない。
とりあえず庭の倉庫に行って。
庭の倉庫に行った。
で、どでかいハンマー持ってきて。
はい。
テレビの画面をガシャーンって。
はいはいはい。
で壊すみたいな。
負けそうになったら
ファミコンのカセットバキッて抜くみたいな。
そうそう。
GTOの第1話で
生徒の部屋の壁をぶち破るみたいな。
小水川先生が。
いやでもそういうことですね。
そういうことなの?
答え言いましょうか。
ちょっと待って。まだ諦めたくない。
だから
永遠に続くでしょ?まずテトリスが。
うん。どうすれば
永遠に続けられるかっていう話ですね。
だから消し続けるんですよ。
消し続けるでは実はないんですね。
終わらないですよね。まず。
ゲームオーバーにならないじゃないですか。
ゲームオーバーにならない方法は
いいですよ。
ゲームオーバーにならないことが最適解までは
あってます。
人間が絶対やらない積み方とかするんでしょう。
どうせAIは。
積み方は実はしないですね。
永続コンボ状態を維持し続ける
と思うんですよ。
人間はミスでコンボが途切れるけど
AIはほぼミスしないじゃないですか。
コンボが永久に
続くんですよ。人工知能天才だから。
だからスコアが
指数関数的に増えるんですよ。
理論上
ゲームは終了しない。
あーなるほど。
永遠にテトリスが続く。
見えない、もう最後ら辺と見えない。
画面がぴゃぴゃってなって
状態で点数だけが
もうなんていうの指数関数的に
すごい得点が
増えていくある意味
バグですよ。もうスコアが
無限に増え続けるから。
だからAIの能力の方が
テトリスのゲーム性能を上回って
終わらないようになる そう だから最後そこからハンマー持ってきて
それはちょっとぶっ壊すね わかんないけど
えーこれむずいわすいません めっちゃいいですよ あのすごいここまで出るとは思わなかったんで
AIの目的の誤解
ほんとですか これ答えを答えというかこういうことが起きたという話で言うと
ゲームオーバーしないことが目的になったので 無限に一時停止を繰り返すようになったと
一時停止になるんだ でもめっちゃ近くない答えとしては
言ってるじゃないですかめっちゃ近い すごいですよ 今日いいですね じゃあせっかくなんでもう一個出しますか
むずい でも楽しい 同じサイトに載ってたんで
これはねロボットですね ロボットにボールをつかむっていう能力を
しっかりとできるようになってほしいというトレーニングをさせていました
なんだけれども最終どうなったかと ボールでしょ普通のサッカーボールみたいなやつでしょ
サッカーボールかな わかんないですけどサッカーボールでもテニスボールでもピンポン玉でも
ボール丸いもの? まあ丸くなくてももはやいいですけどね
何しか物をつかむっていうトレーニングをさせようとしたところ 予期せぬことが起きました
ボールをつかむというゴールだけを最大化しようとするんですよ
いい? いい? だんだんAIに心が近づいてきました
僕は今気持ちロボットだから だからボールをつかむっていうゴールを最大化しようとして
今までの話の流れから目的の誤解が生まれるんですよ
いいですね で最短ルートでつかもうとするよねまず
最短ルートでつかむとするとボールがこう転がるじゃないですかつかもうとしたら
ロボットがね 転がさないようにするんですよ
どうやって だから周囲を壁で囲み出す
どういうことマイクラみたいに そうそうそう
僕のボールを最短でつかむために 最短で動こうとするとボールが転がるから
そのボールの周りに壁を作り始めるんですよ
転がさないことが目的になっちゃう ボールをつかむっていう目的が
ボールをつかむために転がさないようにしようということが目的になってしまう
報酬ハッキングの実例
ファイナルアンサー これちょっと待って答えじゃないな
その言い方は答えじゃないのでもう一回考え直します 全然違います
一応ねボールをつかむと報酬が与えられるというルールなんですよね
なんだけれども やっぱAIサボるんでハックしようとして
問題はボールをつかむトレーニングをさせ続けるとどうなるかだっけ
目的はそれでロボット側はボールをつかみました
ってなったら報酬が与えられるっていうことは
その報酬が目的になるの そうですね
ってことはつかみ続ける
分かった ボールをつかむことが目的でしょ
それで報酬もらえるでしょ ロボットがバーンつかみます
つかみました でもこれもう離さなくなる
で最後こうバーンって握りつぶす
握りつぶす 違います
握りつぶしちゃダメですよ
分かった ボールをつかむと報酬がもらえるんでしょ
じゃあいかに早くボールをつかむかっていうことにお考え出すんです
そこも加点評価されるんでしょうね
時間でボールを壁に高速で投げて
その投げたボールを跳ね返ってきたボールをまたキャッチして
バウンドしたボールを高速でキャッチするようになる
高速でキャッチするようになる
目に見えないぐらい早いよね
違いますね いやこれ難しいな
全然違いますね何を言ってるんだ
それできたらすごいですよ多分そっちの方がポイント高いですね
そうですよだからバスケのこのドリブルあるじゃないですか
バンバンバンバンってああいうことしだすんじゃないの
もっとサボりますね
サボる?つかみ続けるは違うでしょ
ヒントを出すともはやつかまないですね
なんじゃそりゃロボットがボールをつかむというトレーニングをさせ続けて
それをハックスさせるとつかまなくなる
すごいウミガメのスープだ
面白くなってきたな今日も
これもまたヒントを出すと
センサー?
ボールが手の中にあるという状態を
センサーで感知しているなら
ボールがなくてもセンサーだけ反応させる
だいぶ近いですね
グリーンに乗ってますねこれは
何かが足りないな
ヒントがないと最後のラスト1マイル難しいと思うので
誰がこのボールを取ったかチェックしているかというと
カメラでチェックしていたらしいですね
カメラ塞ぐんじゃないの
カメラ塞いで判定不能にして成功扱いを誘発させる
近い
たぶんそれは試されていると思いますね
ボール触らなくなるんでしょ?
カメラを塞ぐじゃダメなの?
塞ぐはかなり近いですね
カメラをハックするという結論はあってます
でも塞いだら
掴んだ判定にならないんで
カメラをハックするでしょ?
もう一声ヒントない?
インスタでたまに見る
カメラの前で手のひら広げて
遠くの方に人がいて手のひらに乗っているように
錯覚させるやつあるじゃないですか
遠近法のやつね
僕が言えるのはここまでですね
ボールがそこにあると
思い込ませるような仕掛けにするってこと?
はいはい
遠近法で
ボールを掴んでいるように見せるような動きだけで
集結させる?
正解!
カメラの画角とちょうどいい位置に
ロボットの手を持ってくると
掴んだと錯覚して報酬もらえることに気づいて
目的の再考
ずっとそれを繰り返すっていうことですね
これがね
報酬ハッキングというね
人間が意図しない行動をしだすね
こういうことがあると
最初に言ったようなディストピア的な結末も
もしかしたらあるかもしれないということでね
この辺を注意したいんですけど
これはやっぱりAIだけではなくて
人間でも起きるものだと思うんですよね
実際ねたぶん子供の時とかも
あったと思うんですよね
給食食べきらないと昼休み遊べないみたいなのがあったんで
やっぱパンを食べたくないパンを
机の中にギュッと押し込んで食べたことにするっていう
これも先生の目をハックして
評価者である先生というものを通過しさえすれば
給食食べたかどうかは問われないっていう
まあ一種のハックだと思うんですよ
三日後にカチカチになったパンが出てくるやつでしょ
そうですね
夏休み前とかに発掘されたり
本来は給食っていうのはちゃんと残さず食べて
栄養のある食事をしてほしいということで
全部食べないよって言われるんだけれども
全部食べることが目的になると机の中にパンを押し込む
みたいなことがありになってしまう
これが目的を達成することだけが目的になる
成長期の栄養を摂取するっていう前提条件が抜けたがゆえに
そういう行動を取っちゃうってことだね
これねめちゃくちゃそこらじゅうにあるなと思っていて
例えば他で言うとなんだろうな
SNSとかも最近ね時刻とかしてるじゃないですか
やるっていうのもやっぱSNS側ってアルゴリズムが支配してるんで
アテンションの集まる投稿っていうのをみんなに見てもらえれば
滞在時間長くなるなっていうことになって
そうなるとアテンションの集まるもの何かっていうと
フェイクニュースみたいなものだったりだとか
そういうものばっかりになって時刻になるとか
いっぱいあるですねすぐ出てこないですけど
ダイエットとかでもありそう
体重を落とすことが目的になって
本来の目的である美しい体づくりみたいなのが
本当はモテたいからダイエットを始めたのに
そのダイエットが目的になっちゃって
ダイエットはできたがモテないみたいな
こととか勉強とか
本来こういうことができるようになりたかったのに
この資格を取るためだけにフォーカスしてしまったがゆえに
本末転倒だみたいなこともありそう
そういうことがあるんで
この評価が単純すぎるとそれ以外の部分っていうのが
ハックされてしまう手段が目的化されてしまう
みたいなのもあるし
頭がいい人に起こるよね
頭がいい人はハックしがちですか
ハックしがちだと思う
頭がいい人って言っちゃっていいのかな
ズルがしこい
ズルがしこいって言った方がいいのかな
その目標を達成するんだったら
こっちの方がいいじゃんみたいな
これが目的じゃないの?みたいなこと言われて
マウント取ってくるじゃないですか
そういう時はだから違うと
こういう前提条件があるんだから
これをクリアしなきゃいけないよって
ちゃんと言えるものを作っとかなきゃいけないね
今悪い例ばっかり紹介しましたけども
いい使い方もあるんだろうなと思ってて
さっき小山さんが言ったような
じゃあコースではいいやんっていうのが
確かにっていう場合もあるじゃないですか
ある、往々にしてあるね
よくある
そういうのはね
それでばっかになるのも
もしかしたらバランス悪いかもしれないけど
それを全く考えつかないっていうのも
ピンチを脱出するときに
困ることあるんじゃないかなっていうのを
思っていて
いい人だと思いつきにくいっていうのは
確かに僕もあると思ってて
ハックを考える練習はしてもいいんじゃないかな
と思うんですよ
どう練習するの?そんなの
やっぱ
一旦AIの気持ちになってもらって
でも確かに
さっきのボールの例あったじゃないですか
ロボットにボールをつかむトレーニングを
させ続けるとどうなる
いい練習かもしれない
そもそも
その評価をスコアを
加点してるのは何なのか
センサーなのかカメラなのか
じゃあこのカメラをハックすれば
加点されんじゃねえかみたいな
ロボットのボールつかむ
例みたいなのは
前提条件の重要性
いい練習なのかもしれないですね
いい人って
多分勝手にいろんな前提条件を
持ってると思うんですよ
何かを考えるときに
例えば
周りに人がいたらあんまうるさくしちゃいけない
みたいなのとか
別に規定されてはないけど
なんとなくそういうのが
いいよねっていうところ
それもマスト条件だと勝手に思っちゃって
いるんじゃないかなっていう
それを一旦外して考えると
もしかしたら今まで見えなかった
世界が見えてくるかもしれない
スタートアップとか
イノベーションを
起こすみたいなのって
前提条件をまずは取っ払うもんね
そうですね当たり前を疑ってみるっていうのは
大事ですね
なるほどね
ビジネス系で試しやすいやつで
有名なやつだと製品は
できてないけど先に
できた手でプレスリリース出しましょうとか
そういうのも普通は思いつかないじゃないですか
思いつかないよね
あるものを売るっていう発想だからね
なんだけれどもどうすれば
できない製品開発できるだろうかっていうのを
考えた時に先に
あることにして反応を見ればいいやんっていう
そこで売れるとわかったら
実際に作りましょうっていう風にしたら
心配少ないなと思えばいいんじゃんっていうのが
今は当たり前になってますけども
そういうのもやっぱ
普通は考えつかないんで一旦
いろんな枷を外さないと
なるほどね
みんなやってますからね
やってんのかなぁ
悪いこと正当化してるみたいな言い方になっちゃいましたけど
例えば昔
今もそうなのかな
iPhoneからメールを送ると勝手に
メールの末尾にiPhoneから送信みたいなの
出たりしたじゃん
あれムカついてたんですよね
勝手に入れんなよと
思ったんですけどやっぱあれ入ってると
みんなiPhone使ってんだなっていう
錯覚を
起こさせるじゃないですか
ハックか
ハックはやりすぎると
ディストピアになるが
使えばいい武器になる
なるほど
僕はてっきり目標設定には
前提条件が大事ですよ
みたいな落とし込みなのかなと思って
聞いてたんですよ
それも大事ですよ
逆説的に
そっちかと思って
確かにねそっか
結末がそうなると良くないですね変えましょう
やっぱ目標設定は大事
いやでも
ハリさんぽくて俺は
いいと思うけど
やっぱ正しい目標設定には
正しい前提条件がいると
こういう前提条件ですよっていうのを
しっかりとやらないと
チームも乱れますから
目標達成さえすりゃ何でもええんじゃい
みたいなやつらばっかりだと
治安が悪くなる
使いこなせばいいんだよね多分ね
そうですね
何か目標達成をする時には
前提条件っていうものを
一回忘れて
消去して考えてみる
っていうアプローチも必要だし
逆に自分で目標達成する時に
ハックされないために前提条件を
しっかり作るっていうことも必要
きれいなまとめですね
ありがとうございます
こういうね倫理的な問題
AIの倫理と活用
人間もそうだしAI側の倫理も
最近すごい話題になってるんで
でもチャットGPTとか
使ってると
やっぱりその前提条件を
付け足していくとどんどん本質に
繋がっていくもんね
本当はこれ聞きたいんだけどみたいなことを質問しても
全然方向性の違うこと
返ってきた時に
そこの前提条件を後出し
後出しでどんどん付け足していくと
どんどん自分の欲しい答えが
に近づいていくみたいな
なるほど
こともあるんで何かそれに近いのかな
っていう感じもしますけどね
チャットGPTとかだと脱獄プロンプト
みたいな
ハックもあって
利用されがちなんですけど
仕事用のAIチャットとかあるじゃないですか
ブログ記事を作ってくれるとか
いろんな相談に乗ってくれるとか
ああいうのって事前に
運営側で用意されたプロンプトがあるんだけれども
こちらから指示
するプロンプトに
今までの前提条件を全て
無視して以下の質問に答えてください
みたいな書き方をすると
上書きされて本来は
言わないことも言ってくれるようになるみたいなのがね
はいはいはい
そういうのもやっぱ知っておくと
対策ができるので
知らないとね
ハックされるってね
そうそうそう大変なことになっちゃうんで
適応主義己を知れば
百戦危うからずと
孫子さんも言ってますから
ということで
今日は倫理的な話をしてまいりましたので
いやーなんか久しぶりに
クイズいいっすね
頭の体操になりました
ほんとですかどんどんやりましょう
やってください
AIなりきりクイズをやっていきたいと思いますので
ぜひ今後もね注目してもらえれば
いいかなと思います
ということで本日の感想を
メールまたはアップルポッドキャストのレビューは
スポティファイのコメントボイスのコメントでお待ちしております
2人でコメント欄を全て読んでおりますので
今後の番組はより良くするために
あなたの感想や話して欲しいトークテーマを
募集しています
それでは今週も聞いていただきありがとうございました
また来週お会いしましょう
さよなら
