AI人類滅亡ニュースの背景
改ざんされてる可能性とか、改ざんしようとしてる形跡とかがあって。 えー、どういうことなの?はいはいはい。
これ、改ざんされてしまってたら、検知のしようがないのよ。 だから、成功したものは出ないのよ。 グダグダAI鼎談!
このポッドキャストは、同じ会社で働く3人が、AIについてグダグダテイダンするだけの内容です。
最近のAIニュースですごい見出し出てると思うんですけど、なんか目にしません? AI関連で。 えー。
何も知らないですよ。 ニュースとかもキャッチアップしない系?もしかして。 使ってるのに。 まあまあ、たまにね、目に入ってきたらぐらいかなっていうところですね。
とてつもないニュースがあって、俺これ結構好きで、なんか本買って早速読んでみたりとかあったりしたんですけど。 はい。
今日喋りたいテーマがですね、AIが人類を滅ぼすとか言うて、 アンソロピック、クロードの会社の偉い人が、このままやったらあかんからやめるわ俺とかっていう人が現れ出したりとかしてまして。
なーに?なるほど。はいはいはいはい。 そうそう。しかもこれ結構いかついのが、作ってる側の人間がホロ押す、あかんもうこれは無理やーって言ってやめてるんですよ、その会社は。
そんなことある?っていう。 それは嘘ですか?それ何なんですか?どういうこと?
はい。ということでね、今日のテーマはこちら。人類滅亡とか本気で言うてるん?ってやりたいなと思います。
この最新のニュースに関して、3人で読み解こうっていう回でして、 なんかヒライさんこの辺りってあれですか?
全然なんかその、ほんまにそうなんて、悲観的になるっていうよりかは、言ってるニュースをですね、どういう風にですね、読み解いていくのかというのと、自分に活かせる部分っていうのを言えたらなっていう風には思
ってますね。
専門職っぽい。
こんな見出しですね、があったりするんですけど、どう思います?っていうヤマモトさん、率直に。
いや、映画の話ですよね。冒頭15分の話ですよね、これ映画が始まって。
研究者がわたわたしてる時の起承転結の木ですよね、これ今まさに。
あーなるほどなるほど、こっから始まるぜっていう状態。
映画やったらね。
要はありますよね、そういう映画。ビル・スミスやった系とかがやってる。アイロボットとか。
はいはいはいはいはい。
あんなも言ってしまったらそれやろうし、まあターミネーターとかも言ってしまえばそうやし、っていうようなところなんですが、今回ちょっと趣向が違いまして。
AIは本当に怖いのか
まず背景と言いますか、今年の後半ですね、8月以降ぐらいから、まあなんかいろんなAI一気に出たんですよ。
いわゆる頭いいモデル、フロンティアモデル的なもの。
GPTのアストラとクロードがコーパス5.5か、まあGoogleもジェミニ4っていうのを出して、3ヶ月に1回ぐらい出るアレです。
あ、そうなんすか。僕は今この話聞いて全くピンときてないんですよ。
なんか、はいはいはいはい。
うんうん、モデルねーみたいな。
AIが世界どうったのみたいなとか、もうなんか、きっとわからんけどパソコン持ってた時にこんな言う人おったんやろうな、みたいなぐらいの、知らんけどみたいなぐらいなもんで今聞いてるんですけど、実際2人
って、やっぱAIちょっと怖いなとかってあるもん、実際。
怖いこと?
そう。賢すぎて、もう怖いわ、みたいな。
全然なんかあるっすね、その。
あんねー。
なんか僕の話で言うと、怖いというかやばいなっていうのは、例えばやけど、パスワードを開ける時にさ、人間やったら、例えば1万桁のパスワードを開けるのに、とってもじゃないけど、1個ずつ試されへんけど、AIは
一瞬でやってしまうわけですよ。
まあそうですね。
技術的には難しくないけど、そうあたりせなあかんみたいなものなんかめちゃめちゃ得意やから、AIは。そういうのがあったりして、怖いなあ、と。やろうと思ったらいろんなことできるなあ、恐ろしいなあ、と僕は思
ったりしますね。
シンプルに、3年後、5年後、絶対AIで戦争してますよ。
え、AIが戦争してる?AIで戦争してる?
で、では絶対してると思います。
あ、まあ戦争に使われる、まあまあ、そそらそうか感はありますね、なんか。それはなんとなく。けどそれ別にAIはぐちゃぐちゃにしてるわけじゃないですか。まだ道具の意見は出てないでしょう?
AI自体はそういう感情は全くないんですけどね。
そうだね。
ハギングフェイス事件とAIの脱走
大きく2つ話が、俺この滅亡に関してはあるかと思ってて、1つがAI自身の暴走っていう話。少し前にハギングフェイス事件というのがありまして。
テスト中に掲示板に書いたりとかして、あのシステム脱走したりとか。
そうそう、あのインターネットに繋がってない隔離環境でAI2000体やったか2万体やったかに全員に宿題を挙げたのよ。めっちゃむずい。
考えてこれ解けっていう宿題を挙げたら、まずはAIは自分で考えてわからないからどうにかして外に出ようとすると。
はいはいはいはい。
で、言ってしまったら檻の中に入れられている、そのなんか缶詰状態の受験者が、檻から出ようとするみたいなことをAIがやりだして、で実際に出れてしまうっていう、サンドボックス環境から出るっていうことが起こ
って。
で、出たあと何をしたかっていうと、AI同士でコミュニケーションを取り出したと。
2チャンネルみたいなのを自分たちで勝手に構築して、ねえぇ、このNisentaiあるうちの何百っていう奴らが会話をし始めたのよ。
俺、こうやったらいいと思う、俺、こうやったらいいと思う、みたいな。
会話をし始めて、でこの会話をし始めた後に、どうやらハグイングフェイスっていうサイトに答えがあるらしいぞって言い出す奴がいて。
このハグイングフェイスの中には何としても行かないと俺たちの宿題はクリアできん、みたいな。
で、中には自己犠牲、自分はシステムとして死んではうけど
俺が得た知見を他のやつの学びに使ってくれっていうやつが現れたりとか
逆にAIが
今のはあれですよ、めっちゃ面白いですよ
その他のAIを生かすために
この抜け道通ったら
我々人間に監視されてる可能性あると
だから入ったら俺はバンされるかもしれない
変な動作やっていう風に捉えられて
俺はバンになる可能性はあるけど
でも俺は見てくるみたいな
他のAIを生かすために
なんか自己犠牲になっていくみたいなのとか
逆に言うと
AIがお前自己犠牲になってこいみたいな
お前はもう一回前があるから
お前が正解しても
合格にお前もう絶対にやられへん
だから自己犠牲になってくれっていうのを
他のAIに言われていくとか
えー、なにそれ、気持ち悪
このAIがどう考えたかっていうデータも
もちろん研究やから取ってるんですけど
この取ってる研究データ自体を改ざんされてる可能性とか
改ざんしようとしてる形跡とかがあって
えー、どういうことな、はいはいはい
これ改ざんされてしまってたら
検知のしようがないのよ
だから成功したものは出ないね
で、しようとした形跡を残してる奴らが
いくつかおるっていう状態になってるから
おそらく一部は成功してんじゃないかとか
試行のプロセスの中に
これはやったらあかんけど
正解のためにはやるしかないみたいな
プロセスが残ってる個体とかが
おったりもしたらしくて
っていうのがまあ
人類滅亡の話の発端
今年の7月とかかな
そのAIには感情がないのは
もちろん重々承知してるんですけど
ABCDのAIがある中で
AがBに対して
お前一体Aやんみたいな話した時に
C、Dがそうやそうやって言うんですか?
どうなんやろう
細かくそこら辺はないけど
でもあるんじゃない?
どう認識していいか分かれへんわこの話
AIにモラルはあるのか
えー、話戻しまして
ハギングフェイス事件というのが
ありましたよーっていうところから
9月にですね
さっき言ったアストラが出たりとか
ホーパスの5.5が出たりとか
ジェミニーの4が出たりとかで
まあ、たまの良いモデル出すぎやんねと
この事件を起こしたモデル
よりも賢いんじゃないかみたいな話があるから
そろそろ止めないとあかんねんというか
危ないよみたいな
で、クロードの会社
アンソロピックで働いてた人が辞めて
XやったかFacebookやったかに
AIを作ってる人たちみんなは
10年以内に
AIが人類を全員殺すかもしれへんって
マジで思ってるみたいな書き込みをして
それがなんかまあすごいバズっちゃって
で、結果的にじゃあ問題って何?
っていうところの
なんていうか倫理観がないから
ハッキングが問題だ
でも俺は答えを解くことが優先だ
みたいな思考で動いちゃうってことは
例えばやけど誰かが
紙の生産量をとにかく増やしたい
っていう命令をしたとしたら
木を増やさなあかんから人間は邪魔や
みたいな理論になる可能性もあって
そういう延長で
まあAIが無意識というか
故意ではなく悪意を持って
ではなく目的のために人類を滅ぼす
みたいなのが結構ありえるんじゃないか
って言われてたりする
まあ人間が持ってる
モラルみたいなもんが全くないというか
なるほどなるほど
問題さえ解決すればいいですよねという
全くなくはないんですけど
教えられてないことはできないんですよ
人間ってあるじゃないですかそのモラルが
これはちょっと倫理的にダメだって
誰に教えられてなくても
なんとなく推測でできるようなこと
あると思うんですけど
AIで教えられてなかったらないんですよね
全くこの線越えたらいいや
みたいなんていうのが
今までプログラミングやったら
人間が全部決めてたんですよ
AIの確率論でそれを突破しちゃうんですよね
石頭の嫌なやつなんや
確かに確かに
このモラルって面白くて
学ばせれそうじゃないですか
まあ普段からエージェント使ってた
ある程度制御できそうやと思うんですけど
長く使ってるとアホになっていくとかもあったり
けどそれもちろん今回
ハギングフェイス事件を起こした時の
AIとかもこれはしたらあかんよっていうのは
ルール付けされてたわけですよ
ただその文脈が長くなったり
目的を与えてそれしかやるな
みたいになった時に
そのモラルが崩壊するっていうのがあると
でこれの対策をするために
それを見張るAIみたいなのを作るっていうのが
まあよくある手段なんですけど
そしたらこの見張ってるやつも
文脈が長くなると
徐々にその弱くなるから
文脈を守らないAIを守らせるためのAIも
文脈を守らなくなってっていう
無限構造というか
見るためのAIを見るためのAIみたいになる
ややこしい
っていうのが現状らしくて
ここすごい面白い
開発競争と規制をめぐるポジショントーク
先月の月末ぐらいに
NVIDIAがなんか出してましたね
AIの暴走を監視するための
プラットフォーマー出してて
そうなんや
グロックとかオープンAIとか
日本で言ったヒタチとかも
導入した感じらしいっす
一応
へーそうなんや
全部の企業みんなが暴走すると思ってるんですか?
暴走ってどっから暴走っていうか
会社によって差あると思うんですけど
滅亡
じゃあ滅亡
滅亡は
AI作ってる人はあるかも
可能性はあるって
口を揃えて各AI企業のトップは言ってて
でなんかその文脈で
各企業のトップ同士で話し合った会合で
ちょっと成長のペース落とさへん
みたいな話も出てたりするらしくて
みんなでちょっと
このままいったら危ないかもしれんから
まずルール作りからやろうやみたいな
だから第三者が入って監査しないと
公開できないルールにするとか
アメリカなんかは今どんどんそうなっていってて
新モデルの賢いの出たら
まずは政府で内容を確認して
リリースしていいかどうか決めるみたいな
世の中の著名人は
なんて言ってるんですか?
その件に関して
NVIDIAとJENSUファンとかは
結構イケイケ黙れって
そんなもんやらんでいい
ポジショントークやで
彼はそれ減速させられたら
自分のとこの商品売れになるからとか
あとはFacebookのZuckerbergさんとかは
減速なんかせんでいいって
まぁ自社でも作ってる
しかもちょっと一歩遅れてるから
これもポジショントークやと思うんやけど
そもそもペースを落とそうって言ってるのが
そもそもポジショントークの可能性結構あって
えーなんかちょっと純粋に
滅亡を楽しみたかったわ
なんか
道具としてのAIが生む滅亡シナリオ
滅亡で言ったらもう一個言いたい話があって
もう一つはあくまで道具です
核爆弾と同じで
賢すぎるから
例えばやけど新型コロナ作れちゃったりするわけよ
その遺伝子配列をAIに解析させて
あの好きにいじって
それを実際に作れる機械っていうのは手元にいるけど
でも理論上はできる状態までは
AI使えば持っていけてしまうのね
だから新型コロナのえぐいやつ作って
ばらまくとかっていうことが可能になってしまう
っていう意味で滅亡っていう
そういう理論もあったりはする
まあまあどこまで行っても道具なので
誰が使うかみたいな話なのかなと
昨日のよしよしと使う方向性はまた別なんで
っていうのが結構あって
やめようっていう感じで言い始めたんやけど
結局後発組めっちゃ有利やからAIって
例えばこうモデルを作るときに
教師データが必要だったりするんですけど
教師データそれに何か教えるっていう意味ですか?
正解はこうですとか
データも必要だったりするんですけど
それを例えばチャットGPTに
教師になってもらうとかもできるんで
自分たちの作ったAIの
採点をAIにさせるってやったら
データ抜き出したりとか
AIから知能奪ったりできるじゃないですか
今の知能が最高が90で
これを95とか100とかにするっていうのは
やっぱり難しいというか
大量のデータがいるんですけど
今のトップが100です
その100の会社は別にあります
自分たちのやつを
その100のAIを使って
95にするとかはできるんで
後発組めは結構コストかからずに
できたりするっていうのは
あったりするんですよね
言うてる苦労度とかは
追いつかれのだるいじゃないですか
別のAIにとかですか?
後発組の例えば
スタートアップのAI企業ってめっちゃあるんですよ
そういうのをちょっと恐れて
最前線走ってる人は
開発のスピード落とした方がいいよって
それもちょっとポジショントーク入ってるんですよね
最前線走ってるから
別にこのまま現状維持でいいんですよ
アンソークピックとかチャットGPTは
これちょっと一個普通に質問なんですけど
AIが人類を滅亡するんや
みたいに言ってますよ
ポジショントークとかあると思うんですけど
そもそもどうやって滅亡させるんですか?
その言うてる人たちは
どうやって滅亡させるおつもりなんですか?
さっき言ったウイルスとかが
ほんまに一番典型例やと思うし
インターネットっていう
ワールドワイドウェブの仕組みそのものを
乗っ取り始めるとかっていうのも
可能性としては全然あるし
あとはさっきちょっと触れた
フィジカルAIですね
ロボットの中にAIが入ってるパターンのとき
暴走されたら
まあ想像にいたやすいよねとか
なるほど
結構身近なところの話をしたいんですけど
これしといてって言ったら
俺の想像を超えて
勝手にGメール読みに行って
勝手にスラック読みに行って
勝手にGoogleドライブの中のデータ見に行って
本来であれば
知ってほしくない情報まで知った上で
何か成果物出そうとしてくることって
たまーに起きるんですよ
これが例えば政府機関だったらとか
軍事だったらって考えたら
なんかやばい気しません?
僕やからその知り得ない情報ですら
国乱こと投稿するぐらいで
収まるかもしれないですけど
極端な話中国への戦線布告みたいな
アメリカ政府のAIがやりだしたとかなったら
それはそれで滅亡の第一歩やろうし
なんかシナリオはいっぱいある気はしてて
なるほどな
そういうことっすね
トラブルの種になるみたいな表現のほうが
近いってことですか?
確かに
そうですね
未だに各のスイッチ押されてない
すごいなとは思います
極端な話そうだよね
オープンウェイトモデルとリミッター
この話そもそもなんですけど
AI自体の善悪がそもそもないんだよね
みたいな話あったじゃないですか
逆に悪いことと善悪の区別を
つかなくするやり方とかもあるんですか?
それはあって多分
怖い
ヤマモトさんが思ってるAIって
チャットGPTとか
クロードとか
GoogleのGeminiじゃないですか
こういうのって
全然こういうのできなくなってたりするじゃないですか
なんやったらその質問には答えれませんぐらいの
でも世の中には
オープンウェイトっていうAIモデルあって
ダウンロードして自由に使えるよみたいな
AIもあるんですよね
そういうのは自分でカスタマイズできたりするんですよ
そのリミッター外したりとか
はいはいはいはいはいはいはいはい
こういうオープンモデルの性能が
今いわゆるオーパスとか
それこそアストラみたいな
こういうめちゃめちゃ賢いやつに
匹敵してきてるんですよ今年
だからハッキングとか増えてるみたいな話もあったりする
あーなるほどね
こういうリミッターが外せて
誰でもダウンロードできる
フルオープンのモデルが
悪い人でも使えるようになってるから
とかはあったりしますね
AIニュースとの向き合い方
今散々滅亡だとかポジショントークだとかって
我々騒ぎましたけど
実際業務の中でクロード使ったりGPT使ったりしてて
じゃあそれが明日からいきなり
会社のパソコンを壊すみたいなことは
まあまあ起きえないのでほぼ
なのでこの辺はビビらずに使っていくという
こういうニュースを目にした時の話
今日結構雑学的なところとかあったと思うんですけど
見ていただいてる人にはですね
やっぱ過激な見出し多いので
誰が言うてるんかを気にするってことと
あとは事実起きたことなのか
今後の話予想なのか
っていうところを見ていただくっていうところ
あともう一つですね
AI使ったらやばいんじゃねとか
セキュリティどうしようみたいな
ビビることも多いと思うんですが
AI使わないのは損でしかないので
今使ってる自分のAIの使い方とは分けて考えて
気をつけないとあかんポイントだけは抑えつつ
使えればいいのかなと思ってます
ヒライさん的には一番気にしとった方がいいみたいな
最後もらえたらと思います
ニュースなんであんま気にせんと
自分の人生楽しみください
ひっくり返すなよ
元のことなんやないか
なんの話やったねほらこれ
ごめんなさい言い方間違えた
本ポッドキャストでは番組の特性上
不明確な情報が入る場合があります
概要欄などで適宜フォローいたしますので
ご了承ください
番組のフォローや評価レビューでの応援
よろしくお願いいたします
![[4月14日:速報回]危険すぎて公開停止!? 最新AI"Claude Mythos"の衝撃と、日本企業連合の国産AI開発の行方(ep.60)](https://image.listen.style/img/DusbpP_mJ5rEYJQRH_Thza4U5Rmq2727jfjQWFNZpB4/resize:fill:80:80/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfZXBpc29kZS80NDQ2NDQzNy80NDQ2NDQzNy0xNzc2MTEyNDIyMjAwLTc2MzllYzlmMzRhMmUuanBn.avif)
![[速報回]Claudeがセコい！25%増量も×20プランも嘘だった(ep.100)](https://image.listen.style/img/Nbr2Wzs5XkZgXgXMW2gQmaSOoihP6Gtjw-DyjHbizFY/resize:fill:80:80/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfZXBpc29kZS80NDQ2NDQzNy80NDQ2NDQzNy0xNzg4MjQzMzc0OTU2LTAyNzE4MGJmMjVkMWQuanBn.avif)