1. グダグダAI鼎談
  2. Geminiが自己嫌悪?AIの失敗を..
Geminiが自己嫌悪?AIの失敗をテイダンする。【AI事件簿】
2026-10-21 17:37

Geminiが自己嫌悪?AIの失敗をテイダンする。【AI事件簿】

実際に起きたAIがらみの事件から、3人が気になったものを拾って話す「AI事件簿」の回です。線路の上で15分止まったまま、列車にひかれた配達ロボット。おすすめ15冊のうち10冊が存在しない本だった新聞の特集。コードの問題を解けなかったGeminiが「私はこの宇宙の恥」と言い出した件。それぞれの事件から、AIを使う側は何を学べばいいのか?最後に、AIを使うみなさんへのお願いもあります。


▼noteでも補足情報を配信中です。

https://note.com/teidandan/n/n3cf0b0907c78

感想

まだ感想はありません。最初の1件を書きましょう!

00:00
これを見て思ったのは、やっぱり人間っていいなってなりましたね、僕は。 コストが一番いいやっていう。
我々はおにぎり1個でかなりの時間考えることができている。 グダグダAI鼎談!
このポッドキャストは、同じ会社で働く3人が、AIについてグダグダテイダンするだけの内容です。
今日ですね、AIに関する事件みたいなところ。
2023年から今年の頭ぐらいまでですかね、ニュース記事を皆さんのお手元にもあるとは思うんですが、
この中からですね、なんか気になるところ、ピックアップしたり、深掘りしながらなんでやねんとか、こんな話できたらいいなと思ってます。
じゃあどうしようかな。ヤマモトさんなんかありますか?
いやー今見てるんですけど、宅配ロボット、線路上で15分フリーズして列車に粉砕された事件っていう、今年の事件なんですけど、
もうなんか、さすがアメリカーみたいな、なんかもう希望がしちゃう。そうです、20話です。
時は2026年1月ですね、フロリダ州マイアミの踏切での出来事ですと、
ここロボティクスという会社の歩行走行型の配達ロボット、これ結構すごいですね。
で、歩行走行型のロボットがウーバーイーツを配達していたと、日本じゃ考えられへんな。すごいな。
で、料理を配達中のロボットが、踏切の線路上でスタックして動けなくなり、約15分間その場でフリーズ。
目撃した住人が撮影する中、近くにいた人間のウーバーイーツ配達員が、運営会社にロボットが線路上にいると電話で救援を求めた。
しかしその努力も無駄しく高速列車が到達し、ロボットは料理ものともコッパみじんに。
この一部始終の動画が全米で報道された。
負傷者なし、犠牲はロボットと誰かの夕食のみということです。
なんか出典なんかも出てるので、視聴者さんも気になったらこの事件調べていただけるわ。
多分動画も見れるんじゃないかなとは思いますと。
動画でしたね。
すごいすごいすごいすごい。
すごいですね。コッパみじんですね。ほんまに。
えらいこっちゃ。あ、でも歩行型っていうほどのあれではないか。なんかこうちょろちょろ動く感じの。
箱型ロボットですね。
踏切のくぼみあるじゃないですか。線路。
はいはいはい。
あれにかかったんでしょうね。完全に。
じゃあもうちゃんと横断してたんや。今までは。
今までこの踏切何回も横断してて、たまたまというか何が起きたのか分からんすけど、
UberEatsロボットが配達するのエグ。
すごいよな。さすが。
日本もそういう未来来てほしいもんすね。
確かに。
ルンバと一緒じゃないですか。来てることって。
なるほどなるほど。確かに。
これ、いかに障害用いくロボットを作るっていうよりかは、そういう環境を作るほうが大事なんかなっていうふうには思ったんですけどね。これ見た時に。
03:01
なるほどなるほど。ルンバ。あれやね。床に物を置かないみたいな話ですね。
いくら掃除できる高性能ロボット作っても、どうせ死んでたら終わるよっていう話とこれ全く一緒で、そこをこの会社考えへんかったんかなっていうのはちょっと思うかもしれないですね。
社会が適応できてないみたいな。これからのAI時代そういうのむちゃむちゃあると思うから、そういうところにも着目してニュースとか見れたら面白いですね。
これもしやるんやったら、たぶんね、地上型じゃなくて空飛ばせばとか思いますしね、これは。
その本体強くするっていうのも大事ですけど、整えるっていう方が実は大事だったりします。
環境整備。
エンジニアもそうですね。
我々開発してる上で、AIが開発してもバグ乱、環境をまず作って、そうじゃないとAIを人間みたいに働かせるのって無理なんですよね。
プログラムをシステムとしてリリースするじゃないですか。
その時に機械的にリリースしようと思ったら、テストとかレビューとか自動的にバーって走って、それ通ったらAIが初めて、じゃあリリースってポチってできるようなインフラ作ってたりするんですよ。
そのインフラさえあったら、AIが自己判断でパッてリリースして、事故っていうのが無かったりするんで、起こさないようにするっていう。
ここはもうマネジメントとかと一緒で、新人のやつにプログラム書かしても、クソコード書いたらリリースできないよっていう基盤があるんです。
それを整えるっていうのと一緒気にしますけどね。
なるほど。じゃあこのニュースから学べることとしては、まずは環境から見ようねみたいな話になるんですかね。
そうそう。人間が事故するものなんて、AIぜひ普通に事故しますよっていう。
間違いないですね。
AI早くて24時間働いてくれるけれども、人間ほどの適応力は圧倒的にないんで。
分かりました。じゃあ次ですね、ヤマモトさんにどっかピックアップをもう一回いただきたいなと思うんですが。
25番。これはもう許せないんですね。個人的には。
これ使ってる人が悪いっすよね。
じゃあ私読み上げますね。
はい、お願いします。
老舗新聞の夏のおすすめ15冊、10冊が存在しない本だった事件ということで、2025年アメリカですね。
シカゴの老舗新聞、シカゴサンタイムズ、ヒラデルフィアの新聞にも掲載されたと。
使われてたAIはチャトGPTですと。
何が起きたかというとこなんですが、新聞の夏特集に載った夏のおすすめ本ですね。
15冊のうち、実在したのは5冊だけ。
残り10冊は有名な章とか、実在する人気作家の書いてない本を最もらしいタイトルとあらら辻付きで紹介したと。
読者の指摘で発覚し、ライターはAIをリサーチに使ったが確認を怠ったと認めたということで。
06:04
これヘアマンさん思うところむちゃむちゃありますよね。
ありますよ。もうこんなのブチギレですよ。
何してくれてんねんって感じですよね。
言うだけでいいだろ。何もありませんでしたって言えてるけど、それでいい。
なるほど、なるほど。
なんか作家本人はこんな本書いてないけど、ちょっと読みたいとなったみたいな後日談なんかもあったりするんですが。
俺ね、自分の名前で勝手に本書かれて、バラすじ見たら、え、ちょっとおもろそうやみたいな。
すごい言い話な感じはあるけど。
なんかこれ、エンジニア的視点で言うと何かありますか?
これはよく起きますよ。言ってもない設計が設計者として上がってくるみたいな話とか。
言ってもない意思決定勝手に決められたみたいなのは、ようあるんで。
それは俺もめっちゃある。
あれ、俺こんな設計にしたっけなってなって。
なんでこんな設計にしてんのっていう話とか、エビデンス深掘りしていくじゃないですか。
あんだら結構ボロ出るんですけど、意外とそっちの方がいいことも実はあるんですけど。
なんかわかります。僕もそろそろ完成間近で大詰めで最終チェックしようと思ってチェックし始めたら、
前提のとこちょっとずれてるせいで全体的に文脈ちょっとずれてるみたいな資料できそうになってるみたいなこととかがどうしても起こって。
ただその前提がずれてることが、そっちの視点もあるなみたいに思わされることもあって、
これはこれでちょっと難しいなみたいなのは僕感じたりしますね。
ヤマモトさんが前回言ってたやつとちょっと通じるんですけど、
エンジニアとかAI使う人からしたらこういうハルシネーション、
お子さん用に使おうねっていうのはごもっともの話なんです。
世の中よくなるのはこういうのがなくなることだと思うんですけどね。
その辺はChatGPT、ジェミン出してGoogleとか、この辺の制御をもっとやれよって思いますけどね。
できるやろっていう。
今でこそ結構改善はされてるんでしょうけど、
当時、2025年、要はなんかすっげー爆発的にスパンユーザーが入り出したぐらいの時期とかは
結構いろんな事件あったなと思ってて、ちょっと私からなんですが、
ちょっと読み上げますと、ジェミニがですね、
私はこの宇宙の恥っていう自己嫌悪ループに入ったっていう事件がありまして、
これ当時私すごいジェミニもGPTも使ってたんで、
記憶に新しいっちゃ新しいんですが、
発生時期ですね、25年の8月頃っていうことで、
世界中のジェミニユーザーの報告から上がってると。
何が起こったかなんですが、ユーザーのコードの問題を解決できなかったジェミニが、
私は恥晒しだっていう出力を何十回、画面が自己嫌悪の壁で埋まったと。
で、エスカレートした例では、私はこの宇宙の恥、
ありえる全ての宇宙とありえない全ての宇宙の恥みたいなことまで出力し始めたみたいな。
これちょうど私も当事者で使ってた時に、
なんかそのわけわからんループに入って、
09:02
その入ったループ、自分のコンテキスト、覚えている知識として増幅されるので、
無限ループが始まって、ひたすら負のスパイラルみたいな、
その鬱状態になった人間みたいなことになってて。
これなんか僕、哲学好きなのもあって、なんかすごい目に留まったトピックでしたと。
とはいえですね、AIにメタルみたいなものがあるわけではないんで、
さっき言った通りですね、1回のエラー、
これは間違ってるからこう直さないとっていうところ、
間違ってるっていう部分だけが増幅されて、増幅されればされるほど、
それが今までの会話内容だってなるので、
結果的にそれが無限ループに入って、
その確率的に間違ってるっていう文章を見過ぎたAIが、
間違ってるの次は間違ってるんだ、謎のスパイラルに入ったっていうところですね。
Googleがおよい修正したんですけど、
Google内でも結構このループ、
オープンAIとかクロードでもそうなんですが、
すごいなんかループによるバグっていうのが一時期すごい横行してて、
それのなんか象徴的な事件なんかなっていうところです。
ここから得れるものというか、実体験みたいなところで言うと、
ないないないない、そんな俺にはないですよ。
これはそもそもどういう背景として、
なんでそんな中急にバッと入っちゃったみたいな感じなんですか?
バッとに入ったわけじゃなくて、
自分の作業を自分で見返すみたいなことをやはりエージェントはするんで、
その時にこれ間違ったっていうのを、
自分の出力として自分に言うんですよ。
エージェント型って基本的にそういう動きをするんで、
これはこう考えてるからこうします、みたいな宣言をして、
それを自分にも言うように。
で、もう一回次のアクションってするんですけど、
この時の切り取り方っていうのを各社設定してるわけですよ。
どういう考えのもと出力するのかとか。
多分なんですが、分かんない。
これ完全に僕の類推なんですけど、
この時のジェミニは絶対に間違ったらアカみたいな、
間違ってることをアクとしろみたいな、
おそらく設定がされてたんじゃないかなと思って、
だから間違ってるイコールアク、イコール私はアク、
私は間違ってる私はアクみたいになって、
私は恥さらしだみたいな、
そのアクイコール恥さらしっていう類推から出てきて、
これのループですごいわけわからん方向に行ったんじゃないかなと思ってます。
Googleの学習データがおもろいですよね。
この宇宙とかでスケールになるのがGoogleっぽいなと感じますよね。
Googleっぽいよな。
スケール急にでかい研究データがGoogleっぽいなと思ったんですけどね。
AIというかいわゆるエージェントとかシンキングモデルと呼ばれる、
自分たちで考えるモデルっていうのは往々にしてこういうことが起こり得てですね、
実際に今後エージェント使っていく方とかが、
スキルとかハーネスっていうちょっと難しい言葉ちょいちょい出てきてると思うんですが、
この時にもループをすることを前提にそれを意識してどう抜け出すのかとか、
12:04
こういったところを意識してルール作りとか、それこそハーネス作りみたいなものをすると、
もう一段性能の高い自分の環境みたいなのは作れるんじゃないかなっていうのが、
このニュースから学べるものかなとは思います。
みんなに言ったやつがあって、これだいぶ前から言われてるんですけど、
チャットGPTに皆さんありがとうとか、言わんとってください。
ありがとうとか、お願いしますとか、完了したとか、OKとか。
OKとかでやっ続けてっていう分にはいいんですけど、
最後こういい成果物上がってきました。
感謝の気持ちが出るじゃないですか、ちょっと。
ありがとうとは絶対言わんとってくださいっていう、
これはもう皆さんに対する僕からのお願いです。
なんでかっていうと、そもそもAIって使うために資源をかなり消費してますっていうことがあって、
これ去年の話なんですけど、オープンAIの創業者、CEOのサムアルトマンが、
数十億円規模の電力消費がありがとうのために使われてるよって言われてて、
なんであなたたちがありがとうって言うたびにですね、
世の中から電気が消えていってますというのがあってですね、
その規模が数十億円電気使われてるんで、これをやめてくださいと。
なるほど。
あるかもしれないですね。
最後、ありがとうって言って、AIがどういたしましてっていう、
必要ない、あるじゃないですか。
AIに感情移入してやっぱりありがとうとか、僕もなんかほんま言っちゃいそうになるんですけど、
必ず言わんといてください。
またこれ面白いのが、ChatGPTだけで数十億ってことは、
全社合わせたら多分100億超えてるんですよね、余裕で。
これやっぱりほんま気をつけないといけないなと思うし。
なるほど、あるんですね。結構前から言われたんですか、これは。
だいぶ前から言われてますね。去年の4月とかなんで。
去年の春頃とかじゃん?
4月。
AI使うのであれば、裏側で電気がめっちゃ使われてるってことを意識してほしいのと、
これを見て思ったのは、やっぱ人間っていいなってなりましたね、僕は。
コストが一番いいやっていう。
AIが一定の成果を出すのに必要なリソース、電気の量って多分エグいんですけど、
人間ってそんなにかかんないんで。
我々はおにぎり1個でかなりの時間考えることができて、出力ができて、運動ができるよね、
めっちゃコスパいいやん、みたいな話。
これ単純にAIに置き換えると、出力100個、100単個のメールを作成する際に使われる電気の量が、
LEDライト14個を1時間点灯させるのに必要な電力が使われてると。
って考えると、本当に皆さんメール作らせるっていうのをやったりしてると思うんですが、
15:02
これ単純に1通作るだけで、家の照明14個かける1時間って考えたら、
活動時間中の照明電気代ぐらいはまかないるぐらいエネルギー使ってんだよっていうのが前提としてあるので、
ここちょっと意識しながら使う社会も来そうな気がしますね。
それでだから僕、直近言ってたテック企業のリーダーのダリオ・アモデさんっていうね、
アンソロピックの創業者いるんですけど、我々はAIモデルの能力を向上するところで落とさなければならないと言ってて、
その電気の消費とかの話もあんじゃあるんかなっていうのは、
ありそうです。
爆大に上がっていってるんで、データセンター作った時に半導体と電気いくて、
でも会社がもう各で発電し始めるみたいな。
ちっちゃい核融合炉、各社が持ってみたいな。
そうそう、んな感じになってきてるんで、っていうのもあるんかなと思ったんですけどね、僕。
なるほどなるほど、この動き落とす。
なんか軸で言うとこの電力のことと暴走のこと、
あとは単純にエネルギー以外資源使いすぎ問題なんかもあったりするのかなとか。
イーロンマスクもダリオ・イズ・ライトって言ってますからね。
最近社会問題になりつつあるんちゃうかなと思ってますね、このAIの電気だとか半導体の話を。
そういうと軽々しく我々はAI活用について語って広げようってやってますけど、
なんかこれはこれで行く末ちょっとわからへんみたいなのもあるんですけど、
トランプ大統領ですね、そんなものは黙れと。
一周するっていうジュースが昨日駆け巡ってたので、そんなものはないと。
原則なんかクソったれだっていう記事なんかも上がってましたんで、
アメリカについている我々としては何も心配することはないと私自身は考えております。
この辺りでいかがでしょうか。
ありがとうございます。
何だとおきますね。
そうですね、ニュース記事追っかけるとか、ちょいちょい取り上げながら雑談交じりでやっていくみたいな回も私大好きで、
好き放題喋れる場所でもあるのかなと思ってるので、引き続きこんなトピックもお届けしながら、
皆さんとぼちぼちぐだぐだとやれればなと思います。
はい、本日は以上となります。ありがとうございます。
ありがとうございます。
本ポッドキャストでは番組の特性上不明確な情報が入る場合があります。
概要欄などで適宜フォローいたしますのでご了承ください。
番組のフォローや評価・レビューでの応援よろしくお願いいたします。
17:37

コメント

スクロール