![[9月23日]AIの嘘「ハルシネーション」の原因が判明。現役AIエンジニアが最新論文を徹底解説 (ep.2)](https://image.listen.style/img/pmK3FpXyloR-q20bztkhQg3Eve6bhFtIBOridGJpEnk/resize:fill:1200:1200/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfZXBpc29kZS80NDQ2NDQzNy80NDQ2NDQzNy0xNzU4NTYyODkwNzEyLTE3OGUzY2ZjYjQ5ODIuanBn.avif)
ハルシネーションの概要
おちつきAI
おちつきAI
おちつきAI
AIエンジニアのしぶちょーです。
AIドシロートのかねりんです。
この番組は、日々のAIニュースで驚き疲れたあなたに、一度落ち着いていただいて、ゆっくりじっくり、AIを学ぶ時間をお届けする、そんな番組でございます。
はい、よろしくお願いします。第2回目となります。
はーい、まだ生き残ってました、この番組。
2回目で続かなかったらね、もう落ち着いている場合じゃないって感じだけどね、そうだったらね。
そわそわしてるからね、AI界隈はね。
よし、じゃあ早速やっていきましょう。
今日のテーマは、こちらです。
ハルシネーションについてでございます。
また、知ったかぶりできそうなテーマだね、これ。
じゃあかねり早速なんだけど、ハルシネーションって何?っていうのを簡単に説明してもらっていいですか。
テストがね、何回かあるんでね。
ハルシネーションは、いわゆるAIが嘘をつく、間違ったことをしれっと答える現象のことです。
素晴らしい。
素晴らしい?
いや、素晴らしい。もう100点満点で、僕が間違えてほしいように間違えてくれた。
ありがとうございます。ありがとうございます。
素晴らしい。もうね、原稿に書いてあります。そういうふうに間違えてくれるだろうっていうのをね、今回用意してる通りにやってくれました。ありがとうございます。
ちょっと、何よ。
足掛けてくるんでね、ちょっと気を抜かないようにしてもらえればいいかなと。
あー、そうか。何、違うの?違うんすか?
全然間違ってるわけじゃないです。半分以上は合ってます。ただ何が間違いかっていうと、嘘っていう部分なんですよね。
嘘、はいはいはい。
ハルシネーションって、まあみんなね、説明するときにAIが嘘をつくって言うんだけど、これ厳密に言うと嘘ではなくて、ハルシネーションって言葉自体が幻覚っていう意味なんですね。
幻覚ね。
だから、ハルシネーションっていうのは、最もらしい誤りとして定義されてるわけ。だからAIが嘘をついてやろうとか、なんか悪意を持ってこう言ってるわけじゃなくて、本気で間違ってると。
あ、そういう意味ね。
そう、そういう意味。だから嘘って言うとちょっとね、ニュアンスが違う。
わざと間違ってんじゃないかっていうニュアンスが入るからってこと?
そう。だから英語でもハルシネーションっていう風に表現されてる。これ嘘って言うんだったら嘘っていう単語を使うじゃん。
なるほどね。
だからハルシネーションって言ってるっていうのは嘘じゃないんだよと。じゃなくて、最もらしく謝ってしまうというところ。まさに幻覚を見てるように本当に最もらしいことを言ってくるっていうのがハルシネーションですよと。
それさ何そのさ、ついでに聞きたいんだけどさ、幻覚のように言って、それ何が幻覚だって言ってんの?
AIの答えてるそのことのことを言ってんの?
そう。
AIが幻覚を見ているってことを言ってんの?
そう。最もらしいっていうこと。本当にまるでそういうものがあるかのように事細かに回答してくる。それが全くでっち上げてあるけど、すごく納得感のあるような回答してくる。
僕らがねってことね。
あと僕らに対してAIが。
僕らにとって。
だからそのちょっとした間違いとかじゃなくて、まるっきりそんなものはないんだけど、捏造してくる。
歴史の捏造みたいなね。
歴史の捏造をバリッとしてくるんだけど、それはあくまでも本当に嘘ついてやろうっていう感じじゃなくて、まさにAIが幻覚を見てそれを本気で語ってるような、そういう感じになる。
そういう意味ね。AIが幻覚を見てるような感じっていう意味なんだ。
そう。
それ、ハルシネーションって。
AIが幻覚を見ちゃっている。
そういう意味ね。
そう。
なるほど。
なのでAIの、ある種AI使用する時の義務教育的に、AIの言うことは100%信じちゃいけないんだよと。
そういうことがね、どの界隈でも言われてるわけですね。
言われるね、説明書みたいにね。
だから当たり前に本当のことを言わないですよと。
まさにさっきカネリンが言ったように、嘘をつくんだよみたいなことで、みんな結構教えてるっていうのがあります。
ハルシネーションイコール嘘ではないんだけど、そう言った方が分かりやすいけど、厳密には違うよっていう。
最初ちょっと細かいことを言ったんだけど、今日扱うのは、ハルシネーションなんで起こるかっていう原因が分かりましたよっていう論文が出たんですね。
新しい論文の発表
なるほど。今までは分かんなかったってこと?
そう。なんでこんな嘘をつくんだと。嘘って言っちゃったけど。
もっともらしい。
もっともらしい誤りをしてしまうんだと。
幻覚を。
どこに原因があるのかっていうのが、あんまりしっかり分かってなかった。
あ、そう。
それがちゃんと分かったよっていう論文が出ました。その論文のタイトルが、Why Language Model Halucinateと。なぜランゲージモデルは幻覚を見るのか。
なるほど。
まさに。
ランゲージモデルが見てるってことだね。
なぜ惑わされてしまうのかっていうタイトルの論文が出たんね。
へー。
今日はこれについてちょっと解説していこうかなと思います。これ結構面白いんで。
あ、そう。ちゃんとした論文なのそれ。
そう。でね、出してるのは誰かって言ったらオープンAIが出してます。
なによ。
で、いつ出たかって言ったら、2025年の9月の4日。めっちゃ最近ね。
あ、最近じゃない。
そう。今月出てすごく話題になってました。
あ、それも何驚いてんのみんな。
それ驚いてます。
おー。
驚いてるんだけど、あのね、これ後でかなりにリンク送るし、概要欄に貼っといてほしいんだけど、
オープンAIが解説してくれた解説ページがある。
うん。
こういう論文が出て、こういう内容ですよっていう解説ページがあるんだけど、結構要約されてる。
なるほど。
で、そのリンクがあってさ、本当に論文に飛べるのね。
そっちは結構がっつり数式とか書いてあって、ちゃんと論文って感じなんだけど、
その要約したやつだけ見ると、ちょっとね、その表面的というか、あ、こんな感じなんだっていう風にしかわからないから、
今日はちょっと論文側の内容を含んで、少しだけ突っ込んで説明するような感じにしてます。
そんな論文読めるの?
読めない。
読めないけど、AIが翻訳してくれるから、ちょっとずつちょっとずつ翻訳しながらね、ちょっと解読していきました。
やっぱり本文読んだ方がええってこと?
本文、まあよっぽどオープンAIがまとめてくれたところに、センテンスというか重要なところがまとまってるんだけど、
やっぱね、細かい部分というか、面白みって論文の中にあったりするから。
そうなんだ。
そう。
要約だけじゃちょっと物足りないんだ。
物足りないし、結構論文をさ、もう全部ね、AIに突っ込んじゃって、解説してって言ったら解説出てくるんだけど、
結構ね、要約、もうハルシネーション入ってるから。
要約に対しても。
入ってる入ってる。これすげえ面白い内容じゃんって言って、この根拠どこに書いてあるのって言って、
ここを示さして、そう原文を読むとさ、ちょっと言ってること違うのよ。
なるほどね。
ちょっとニュアンス違う、危なこれ信じたらヤバっていうのは確かにある。
そういうのを含めてなんで起こってしまうのかっていうことが、この論文に書いてあるわけ。
生成AIの学習メカニズム
そもそも、すごい最初にもう結論ざっくり言ってしまうと、
うん、なんで?
分からないことは適当に答えた方がいいっていう学習になってしまってる。
おー、そう。なんで?
そのLLM自体が。
なるほどね。
そういう学習がなんか自然とされてしまっているから、分かんなくても適当に答えちゃうと。
正直に言うんじゃなくて、適当に喋ればいいとなってんだ。
そう、そういう風になる仕組みになってしまってるっていうのが結論なんだけど。
そうですか。
これを理解するためには、LLMってそもそもどういう風に作られてる?
学習されてるのかっていうのを理解する必要があるんで。
うんうん。
そこをね、すげー簡単に説明していきます。
なんかもうめっちゃざっくりさ、いろんなデータとか文献ぶち込んでんでしょぐらいの解像度しかないんだけど。
あ、まあそれで全然ね、理解できると思う。
うーん。
なんで、まあちょっとそっから一歩深掘りできる。
で、今なんで生成AIがこんなブームになったかっていうところまで、それを学べばなんとなくわかるから。
やったー。
今日はちょっとそこまでいきましょう。
今日もすごい落ち着く?これ。
落ち着くよ。
やったー。
ああ、生成AIすげーっていうところから一歩落ち着ける。
あ、そういうことなのねっていう落ち着きがあるんで、楽しみにしといてください。
ありがとうございます。楽しみ。
楽しみにしといてくださいと言うんですが、
うんうん。
なんとここで第2問があります。カネリンクイズ。
なんかこれ毎回自己肯定感下がる番組だね。
やめたほうがいい?事前に告知しといたほうがいい?これ。
いや全然いい。
簡単です簡単。簡単というとハードル上がっちゃうので逆にね。
はいはいはい。
チャットGPTはカネリン分かりますね?
うん。分かります。使ってますよ。
あれね。GPTって何の略か分かりますか?
Great Person Teacher。
ああ、ハルシネーションしてますね。
適当に答えてますね。分からない時にね。
でもなんか適当に答えながら、ああそうかもって思ってたよ。
まあもっともらしい。
すごいスーパー人間みたいな先生みたいな感じかと思ったけど。
確かに意味合いあってそうよね。なんか文脈的にね。
GTOみたいな感じ。
そんな感じ。残念ながらそうじゃなくてですね。
はいはい。違う。
Generative Pretrained TransformerでGPTと言います。
なんか難しい単語出てきた今。
3つしかね単語ないから。
うん。
Generativeっていうのはもう生成じゃん。生成なの。
Pretrainedっていうのは事前学習。
事前学習。
で、Transformerっていうのは、トランスフォーマーっていうモデルの名前なのね。AIの。
だから今日トピックとして扱いたいのはこの真ん中のP。GPTのP。
Pretrained。
Pretrained。
事前学習ってやつ。
はいはい。
Generativeはまあ生成だし。トランスフォーマーはモデルの名前。
モデルの名前。
Pretrained。だから事前学習された生成トランスフォーマーですよみたいな名前なのねこれって。
じゃあ事前学習っていうそのLLMが学習する方法。
Pretrainedっていうところがすごく重要になるので。
ここをやっていきます。Pの部分ね。
Pね。
で、LLMってどういうふうにお勉強してるか。言葉を勉強してるかって言ったら。
うん。
2段階に分かれてて。
2段階。
2段階。事前学習と事後学習っていうのをやってるの。
事後学習があるの。
そう。事後学習がある。この2つで成り立ってるんだけど。
はいはい。
で、事前学習がプレトレーニングって言って。事後学習がポストトレーニングと。まあそのままだね。前の学習と後の学習というふうに。
どの道Pだね。
そう。そのP。どっちにしても確かにPだね。GPTのPはプレ。まあ事前の方なんだけど。
あ、そうなんだ。
そう。っていうので段階的にやってるから。まずじゃあ事前学習。GPTのPって何してんのって話。
うん。
これはさっきカネリン言ったのと全く一緒。カネリンがイメージしてるのと一緒です。
一緒。
インターネット上とか書籍からあらゆる言葉を集めてきて、それを使って学習すると。
なるほど。
で、どうやって学習するかって言ったら、これは事後教師あり学習っていう学習なんだけど。
事後。
事後教師あり。
事後教師あり。聞いたことあるぞ、なんか。
これね、文章ってさ、いっぱいあるじゃん。
はいはい。
適当な文章持ってきて、一部を隠しちゃうの、自分で。
うん。
で、ここの文章、ここに入る単語何だろうなって予想して、合ってたらそれでこうOKだし、間違ってたらそれでモデルを更新するみたいな。
で、自分でいっぱい問題を作ってどんどん学習していくっていうのが、生成AIでやられてる事後教師あり学習。
自分でやるんだね。
そう。もうとんでもない量の文章をガンガン学習していく。
うん。
めちゃくちゃやるの。もうとんでもない量。
AIの学習プロセス
多分その、GPTの3、だから結構昔のモデルでも、自宅のパソコンで全部やりきろうと思ったら、多分400年ぐらいかかるぐらいの計算量。
ほう。
ちゃんとしたGPUが付いてるパソコンで、自宅で計算しても、多分400年と500年ぐらいかかっちゃうぐらいの超膨大な計算をすると。
それスーパーコンピューターみたいなのでやるってこと?
基本的にはそう、いっぱいコンピューターを並べて並列でダーってやっていく。
うんうん。
そうすると何ヶ月かで、計算終わって学習できますよねと。
うん。
自然学習っていうのが終わるとどうなるかっていうと、言葉を扱えるようになります。
言葉ね。自然言語。
言葉のパターン、自然言語。言語の統計的なパターンとか、文脈とか、この文脈からこういう風になるよなっていう、言葉を理解するっていう能力がそのAIにつくのね。
うん。
これって赤ちゃんが言葉を取得するのと近いプロセスなの。
あ、そう。
赤ちゃんって言葉意味教えないじゃん。
うん。
おはよう挨拶ですよとか言わないでしょ。
うん。
ママっていうのはお父さんのことですよとか言わずに、自然とこう会話していく中で、こいつはママなんだな、こいつはパパなんだなとか、これがブーブーなんだって、なんか勝手に覚えていく。
推測しながらみたいな。
推測しながら覚えていくと。
うん。
まあそういう形で、あの自然学習って言って言葉を身につけていくっていうのが、このプレトインっていう部分。
うん。
ちゃんとGPのPの部分ね。
うん。
これOKですかここまで。
OKです。OKです。それなんかさ、よく言われるのがさ、ちょっと聞いていい?今。
うん。もちろん。
なんか生性愛は別に言葉とか中身を理解してるわけじゃなくて、次に来る言葉をただ一番可能性の高いのを予測して出してるだけみたいな。
うんうん。
よく言われるけどさ。
うん。
それはどうなの?
まだにそう。
そうなの?
素晴らしい。その通りです。
なんかそれ、そうやって聞いてもなんかよくわかんないんだけどさ。予測ゲームと一緒だみたいなこと言われるけど。
うん。
どういうこと?
もう本当に予測ゲームで。
じゃあ何も、中身も何も理解してるわけでも何でもないっていうことなの?とかさ。
何でもない。理解してるわけでもない。
思考してないの?とかちょっとすげえその辺のね、理解はね、よくわかってないままここにいますって感じ。
厳密に言ったら、思考はしてない。
本当にこの文脈から、こういう文章が来たら次この位置を来るよねっていうのを連続して繰り返してると。
その中でも、それはずっとトランスフォーマーっていうモデルが出る前からずっとそういうことを繰り返してたんだけど、
その文脈の中でここ重要だよねとかっていうのが、いろいろこう何だろう、重要度をつけれるようになって注目するってことができるようになってすごくこうクオリティが上がってきたのね。
っていうので、すごくもう人間の会話を再現できるようになってる風なんだけど、やってることは次の単語、1号を予測するっていうことの連続でしかない。
それは確かにそう。
そうなんだ。
それはあってます。その理解で。
ありがとうございます。そういうなんかツッコミがあったらどんどん言ってください。
ありがとうございます。
でね、このプレトレーニングっていうのが終わると、言語、しゃべれるようになるんだけど、赤ちゃんが言語を取得したのと一緒で、しゃべれるんだけど、まだね、人間世界の常識とかモラルとかを学んでないのよ。
はいはいはい。
だからもう好きなこと言っちゃう。何でも。だからちょっとこれ人間世界に合わせないといけないよねっていうことで、人間にとって役立つその答え方とか、あと言っちゃいけないこと、なんか危険な言葉とか言わないように、さらに学習させたい。
なるほどね。僕ももうちょっと学習した方がいいかもしんないですね。
そういうこと。それが自己学習なんだけど。
自己学習。
カネリはじゃあプレトレインが終わっただけってこと?
そういうことかもしんない。
まだ自己学習が終わってない感じ?
自己学習をしないっていう決定をしてるのかもしんない。放棄みたいな。
放棄してる自己学習。ちょっとじゃあ一緒に自己学習をしていきましょう。
わかんないよ。この番組でどんどん支部長が自己学習を放棄しだすかもしんない。
いやでもね、いけると思う。大丈夫カネリ学べるよ。
どういうこと?言っちゃいけないこと言わない子になれるってこと?
言わない子になれます。
わかりました。
AIを学べば。AIと同じ挙動をしましょう。
なるほどね。一緒に成長。
そうするとハルシネーションが生まれちゃうからね。
ハルシネーションね。
それがハルシネーションにつながるって話だから今日は。
そうかそうか。知ったかぶりしちゃうってことね。
知ったかぶりしちゃうと。結局そのモラルを持たせる。
自己学習の重要性
AIに人間にとって都合のいい答えを出させるようにするのが自己学習っていうものです。
これは事前学習終わったモデルに対していろいろといろんな方法でやっていくんだけど、
この中で非常に面白いのが、ちょっとアルファウィットなんだけど、RLHFという手法があるんだよ。
RLHF。
RLHF。
何の略かっていうと、レインフォースメントラーニングウィズヒューマンヒードバックと。
何のこっちゃって感じだけど、何のこっちゃって感じだと思う。
日本語にすると、人間のフィードバックによる強化学習っていう略なのね。
簡単に言うと、人間が自力で調整していくっていう方法。
なるほど。人間が介入して。
介入していく。AIの出してきた答えに対して、これいいよと、これ得点あげるよ、これ全然ダメだよっていうのをひたすら人間が教えていくと。
で、AI側は人間のくれるポイントがすごい欲しいっていう風にチューニングされてる。設定されてて。
人間からより多くのポイントをもらえるように、どんどん自分で学習して回答を変えていくっていう。
なるほど。
これが、そのRLHFっていう。人間のフィードバックによる強化学習っていうのもなんだよね。
これ、自己学習。
これ、自己学習。
一意守法。
一意守法。人間がもういちいち、だからすごい人手がいるんだけど、みんなで教えていかなきゃいけないから。
そうすると、AIが人間らしい答えをだんだん出せるようになっていくっていうプロセスを学んでいくんだけど。
ここでモラルみたいなものを教える?
そう、モラルを教えれるし、この回答の方が人間にとって分かりやすいよねっていうのも教える。
だから、人間にとってありがたいような回答っていうのをだんだん学習していってくれる。
で、このRLHF、略称が欲しいよね、これね。
言いにくそうだよね、さっきから。
RLHFっていうのが、これが生成AI発展の鍵なんですよ。
そうなの?
そう、これ鍵なの。
あのね、これ、今反技術の話ふーんって聞いてたかもしれないんですけど、リスナーの方もかなりにもね、
あ、そんなのあるんだって。これの恩恵を受けてんだから。
っていうのは、生成AIブームを巻き起こしたのは、2022年の10月30日に、チャットGPTが公開されたからでしょ?
そんな前だったっけ?
そう、もう3年前なの。逆にまだ3年だけどね。
確かに。
めっちゃ世界変わったなって思うけど、とんでもないよね。
このさ、3年前にチャットGPT公開されてみんなが、すげーって。生成AIすげーってなったじゃん。
そっから驚き屋さんの歴史が始まってるからね。
みんながさ、驚くっていうところが始まったじゃない。落ち着かなくなったじゃない、みんなが。
そうだよ。
で、その時に、チャットGPT公開された時に、裏で動いてたモデルっていうのが、GPTの3.5なんだね。
当時。
当時ね。今ってGPTの5が出たじゃん。
5ね。
その時はね、3.5だったのよ。
懐かしい。
3.5懐かしいでしょ。
うん。
この時にさ、かねりんはさ、疑問に思わなかった。
え?
.5って何?って。
まあそうだね。3があったのかな?みたいな。
あ、思った?
2.5があったのかな?みたいなね。
思ったでしょ。あ、それ素晴らしい。
思った思った。
そこね、こう、あ、GPTすげえじゃなくて、
.5って何だと。
気づいてほしいですね。
はい、よかった。気づいてた。
この.5が、RLHFなの。
え?あ、そういうこと?3から3.5の進化ってこと?
そう。
あ、すげえじゃん。
3は、2020年にできてたのね。GPT-3。
あ、そんな前にいたの?
そう。なんだけどこいつ、それなりにプレトレインド。だから事前学習は終わっていて、すごいいろんな言語扱えたんだけど、言語というか言葉扱えたんだけど、すごいんだけどめっちゃ使いにくかったのね。
うーん、なるほど。
もう全然赤ちゃんだから、もうめっちゃ長いトンチンカンな文を出したりとか、超危ない内容をバンバン答えたりとか、あと指示に従わずに雑談ばっかりしたりとか、とにかく言うこと聞かないと。
賢そうにめっちゃ見えるんだけど、役に立たないなっていう問題が多くて。
天才赤ちゃん。
結局GPT-3って、もう企業が使ったりとか研究者が使うとか、そういうすごい狭い範囲でしか使われてなかったと。
それも公開されてたんだ、それ。
一応公開されてた。で、申請すれば使えるっていう状態だったんだけど。
僕らは全然そんな、一般人には届いてなかっただけで。
そう、一般人にはさすがにちょっともう使いこなせると暴れうますぎてというか、自由すぎて。
なるほどね。
そこで、なんかこれもっとちゃんと使えるようにしてよってなった時に、人でフィードバックして強化学習をしようと。
なるほど。
そういう人が生まれたと。で、それでトレーニングした。
それまではなかったってことだね。
なかった。そこで初めてというかRLHFを使ってトレーニングしたモデルっていうのがGPT-3.5なのね。
こいつは。
そこにいたのねって感じだね。
お、このレベルで安定したらもうサービスできるぞと。
なるほど。
言って、チャットGPTが公開された。
早速ダーンって出したんだ。
そう、出して。で、今世界があるでしょ。だから今言ったRLHFっていうのは、実は我々めちゃくちゃ恩恵を受けてます。
じゃあそれまでそういう発想がなかったの?人使ってってのはコスト問題でってことなのかな。
教師あり学習と強化学習の違い
そう。もうデメリットはもうコストだよね。
なんかあれじゃないの。なんかさ、すげえめっちゃ安く働かされてる人間がいっぱいいるみたいな問題が発生してる。
そう、AIが生み出した新たな仕事っていうのがね、あってさ。こういう強化学習のフィードバックもそうだし、アノテーションって言って。
アノテーション。
アノテーション。これはまあ、生成AIというよりは一般的なAIの文脈なんだけど、例えば猫の画像に猫っていうラベルつけるみたいな。
これは猫ですよ。これは犬ですよとか。
それはアノテーションっていう手法。
アノテーション。だからその教師あり学習っていう、その正解を教えなきゃいけない。
それが教師あり学習ってやつ。
そう。猫の画像に猫っていう正解をつけて、それを学習する。
それって今言ってたRLHFとは違う?
ちょっと違う。あ、ちょっとというか、違う。手法は違うね。
あ、そうなんだ。
RLHFはね、強化学習。
教師あり学習とは別のものなんだ。
別。ざっくり分けるとね、教師あり学習、教師なし学習、強化学習。
そうだよね。その辺のワードをさ、なんかさ、聞いたことあるけど意味理解してないわ。
すごい簡単に言うと、もう教師あり学習っていうのはさっき言ったように猫の画像に猫っていう答えがついてます。
犬の画像に犬っていう答えがついてますっていうデータがめちゃくちゃいっぱいあって、それを答えとその画像をセットで学ばせますよと。
教師があるね。だからその答えがある。
教師って人間って意味じゃなくて?
答えがあるってこと。
そういうことですか。マニュアルがあるみたいな。
そう。もうこれは猫ですよっていう答えがあるから、それを学べばだんだんこう、教科書で学んでいくように賢くなっていくよねと。
そういうことなんだ。
そう。教師なし学習っていうのはもうデータしかない。これが何なのか分かんないけどデータしかない。
それで学習できるの?自分で。
学習手法の概要
そう。学習できる。できるけど結局やりたいタスクが違う。だからこのいっぱい学習してデータがある中で、なんか種類違うよね。2種類ぐらいあるよねっていうクラスを分ける。
だからこれは多分Aだな。これは多分Bだなみたいな。
リンゴとライオンみたいな。
そう。リンゴとライオン。違うじゃんみたいな。そういう違いを分けていく。それが何なのかは知らないけど違いは分かるからクラスを分けていくよみたいな。
それがクラスがいっぱいあったとしても、なんとなくこいつはこのグループだよねっていうのを学習しながら分けていくっていうのが教師なし学習。
分ける問題ばっかなの?割り振りばっか?
基本的にはクラスタリングって言って、クラスを分けてあげたりとか、あとは次元削減って言って。
次元削減。
次元削減って言ってその次元を落とす。だから例えばよく言われるのが、カネリンのじゃあ学生時代の成績ありますと。
国語何点、社会何点、数学何点とかいっぱいこう教科があって点数があるとするじゃない。
これってさ、個々の点数じゃん。これをさカネリンの理系能力と文系能力に分けたいよってなったら、それっていっぱいこう数字がある中でギュッとさ次元が下がってるじゃん。
ちょっと待って。何?次元って何?
次元っていうのはその
ちょっと今時空越えそうになった。どういうこと?
ごめんごめん。1次元2次元。グラフで言ったらでも分かりやすいよね。何個要素があるかっていうことだよね。
なるほど。要素が1個減ったってことね。
そうそうそう。国語っていう。
X軸Y軸で2次元みたいなことね。
そうそう。国語っていうのと数学っていうのといっぱい教科がある中で、全部をこう統合してギュッとして理系能力、文系能力みたいな。
ジャンル2種類にした。
そう2種類にしちゃいました。分かりやすいじゃんその方が。
例えば今世の中のデータってさもう何十個とか何百個っていう次元があってさ、一体何が何だかよくわからんと。
とりあえず全部そのデータ突っ込んで次元削減してみようって思ったら。
次元削減っていうんだ。
そう。関連するような情報を結構AIの方で判断して学習して、その要素は残したまま次元をこうギュッと削減して分かりやすくしてくれる。
さっき言った動物と果物みたいなそういう別のジャンルで考えるっていうこと?
そうね、ジャンルというよりは数字の方が大きいかな。こういういろんなデータがあってさ。
データがあって。
そう。で何があるかな。次元削減。さっき言った数学とか算数。
教科がいっぱいある。
教科がいっぱいあって点数がバーってあるのを能力に落とすみたいな。そういう削減が一番わかりやすいかなと思うね。
あれってそれって教師がいらないの。答えがいらないのね。結果だけあればいいから。
カネリのテストの点数だけあれば次元削減できると。
それは教師なくてできる?
できる。答えはない。結果だけがあればいいと。
それならどれが理系でどれが文系ですみたいな、そういうのはないの?
ない。
知ってるってこと?
そう。指定しなくていい。勝手に削減してくれる。
その今まで学習したものの中から。
そう、今までというかその場で学習したものの中で。
その場で学習するの?それ。そうなんだ。どれが理系で。
理系、まあ理系文系って明確には出てこないかもしれないけど、なんとなく相関があるじゃん。
理系の教科の点数と文系の教科の点数っておそらく相関があると。だからそれっぽいもので削減してくれる。
必ずしも理系文系っていうそのラベルがついてるっていうわけじゃなくて。
ハルシネーションの原因
わけではない。なんかパラメータが減って要素だけ抽出してくれるよっていう感じ。
ちょっと難しいかもしれない。
7割ぐらいわかった気になってます。
いや、またやりましょう。詳しく。
なんかさ、ポッドキャスト番組だけどさ、なんか映像欲しくなってくるね。
ね、そうなんだよ。
黒板欲しい、黒板。
クラスタリングとかね、グラフで見せたほうがわかりやすいよね。
ほんとだよね。
そう、2次元のグラフがあったらすげえわかりやすいと思う。またこれをちょっとビデオポッドキャスト番組でやりましょう。
和芸を磨くしかないんじゃない?支部長がもう。
そうね。
いかにも。
僕もね、長らくポッドキャストやってるけどね。
頭の中にホワイトボードを思い浮かべてもらって。
ああ、そうそう。そういうことね。
もう落語家さんみたいに情景を浮かばせる。
そばをすするかのごとく。
そうだよね。そうだよ。ビデオに逃げちゃダメだよ。
ホワイトボードにカンカンカンって書くような音を。
そうだよ、コンコンって。
臨場感あるね、それね。
でも多分かなり説明能力求められるよね。
そう、ちょっと磨いていきたいね、それもね。この番組の中で。
なんなら僕ら一応、まだ顔が見えてるからちょっとジェスチャーはできちゃったりするけどさ。
うん。
多分究極これも消した方が良くてさ。
そうだね。
声だけでさ、ちょっとわかる?これがさ、これがって何?えっと、人差し指立ててみたいなさ。
そういう説明になったらさ、リスナーの人と同じ解像度になるから良いかもしれない。
あ、そうだね、ちょっと磨いておきます。
映像に甘えている現代人。
うん。やっぱりポッドキャスターたるもの、音でわからせってことよね。
そうですよ。
いやそうよ、本当にそうね。
いやいやでも、なんとなくわかったような気になった。
あ、良かったです。最後ちょっと教科学習の話だけしとくと、教師なし、あり学習、教師なし学習、あと教科学習ね。
教科学習っていうのも答えはない。
答えはない。
答えはない。だけど、これは人間がこの部活とかでさ、サッカー練習するとかそういうのと一緒で、
とにかくこの例えばサッカーだったらゴールにシュートしたいよと、シュート入れたいよと。
ボール蹴ってさ、何回も何回も試していくうちに、あ、こう蹴れば入るんだってわかるじゃん。人間って。それと同じ方法。
何回もAIが試して、ランダムに試す中で、あ、これ良くいったじゃんって思ったものを学んで、どんどんどんどん成功率を上げていく。
それが教科学習ってものね。
さっきのはあれだよね、人間のポイントを与える。教科学習は人の手が入るっていうこと?
いや、人の手は基本的に入らない。
入らない。
AIが勝手にやる。だからシュートとかもどんどんどんどん、例えばロボットがシュートするんだったら勝手にシュートを打つと。
で、その中で入ったら入ったって判断して、あ、今の蹴り良かったな。で、もう一回やろうっていうのを自分の中でどんどん学習してくれる。繰り返すことで。
そうですか。今のでもRHFのことだよね、RLHF。
そう、RLHFはそれの人間のフィードバックによる教科学習。
あ、そういうことです。教科学習の中の一個のジャンルってことね。
そう、教科学習の中でも人間のフィードバックで教科学習してくるよ。人間の評価を報酬として受け取ってるよってことね。
ゴールに入るのが、サッカーロボットとはゴールに入るのが報酬だけど、こいつの場合は人間から高いポイントをもらうっていうことが報酬。
なるほどな。
そう、それでこう、人間様、点数くださいって回答を出してくる。人間に媚び言ってね。
人間様が現れたことによってめっちゃ進化したってこと?
そう、人間に、人間に進化っていうのかな。人間が納得してくれるように学習したって感じ。
ああ、なるほどね。
そう、そんな感じです。っていうので、まあ、七橋だっけ、もともと。あれだな。
え、ハルシネーション。
ハルシネーションの前に。
の論文の話。うん。
えっと、あ、そうだ。
もう行けるとこまで行っちゃってよ。
行けるとこまで行っちゃいましょう。
全部紹介したいような。
はい。結構長いよね、でもね。あ、まあいいや。よし、えっと。使えるとこ使ってってね。
うん、全部使えるよ。
ああ、素晴らしい。ありがとうございます。で、まあ、ちょっとまとめるんだけど。
うんうん。
LLMっていうのは、まあ最初に事前学習しますと。赤ちゃんが言葉を覚える感じで、言葉の扱いを覚えます。これプレトレーニングね。
その後、人間様に合うようにポストトレーニング、事後学習をしますと。
はい。
この2つの学習で、今我々が触れてるLLMっていうのが、まあ大体こう作られてるんだよと。
うん。
というイメージ、持ってもらっていただいたけど。
2つのPですね。
そう、2つのPがあるわけです。
はいはいはい。
こういうふうに学習をしているんですが、この事前学習、事後学習、両方ともにハルシネーションの原因があるんですね。
両方に。
両方にある。
怖い怖い。
両方にあります。
うんうん。
で、それが今回の論文で明確になったよって言われてるものです。
やっと本題までたどり着けた。
はあ。本題までたどり着けました。
やっぱあれだよね、前提知識ないとさ。
そう、難しいと思う。
ね、やっぱりAIはちゃんと落ち着きたいんで僕も。
で、この前提知識がなくても分かるようにオープンAIのホームページでまとめてあるんだけど、ここをやっぱり理解しておいた方が、理解度は深まるから落ち着いて。
なるほどなる。
学んでいきましょうっていう感じ。
やった。
で、結局、あのね、例えば、もともとなんでハルシネーションが起こるんだって言われた仮説があるのね。
あ、そうですか。
そう、それってまあめっちゃわかりやすいんだけど、事前学習の時の学習する文章に嘘が含まれてるから。
おー、はいはいはい。
だからその世界のさ、
そもそも。
そう、インターネット上からバーって本とかからさ、情報を集めてきた時に、それ全部が真じゃないじゃん。
そうだよね。
それで嘘もあるじゃん。
しかも何そのネット上からっていうのはもう何、雑多なブログみたいなやつとも。
全部まあ、学習してる。
そういうのも全部学習してんの?
全部学習してる。
やめてほしいよね、それは。
やめてほしい、やめてほしいけど、やめてほしいが、それだけ。
選別してないの?
選別しない。
へえ。
しないことはないけど、基本的にはもう全部バーって入れてる。
それはちょっと意外なんすけど、そうなんだね。
もう数が欲しいからね。
へえ。
インターネットで手に入る文章バーって入れて、まあご学習をしているんだけど、まあその中には当然嘘も含まれるし、
全てが正しいなんて人間がチェックできるような量じゃないのよ、もう文章。
確かに確かに、なるほど。
だから全部入れちゃうと。
そこはボトルネックになっちゃうもんね。
そこに嘘が入ってるからハルシネーション起こるんじゃないかと。
新たな理解の確立
はいはい、もっともらしいです。
言われていたんですが、どうやらそれは違うようで。
違うのそれ。
例えば100%全てが正しい文章で学習していたとしても、
仕組み的にはもうハルシネーションが起こりますと。
ああそう。
そういうことをこの論文の中では言ってます。
それはなんか新しいねなんかね。
そうこれね意外なところで、この論文の一個のポイントの部分。
うんうんうん。
なんでそういうことが起こるかって言ったら、さっきまさにカネリンが言ってた話で、
正々堰が行ってるのは、あくまでも次に来そうな単語を当てる。
うんうんうん。
この文章の次にこれ来るだろうなっていう単語を当てるっていうことをひたすらやってると。
だから正しい、その次に正しいことが来るんじゃなくて、最もらしそうなものを重視してずっと入れ続けるのね。
ああ正しいものをチョイスしてるわけでもないってこと。
そういろいろ候補がある中で最もらしいものを選んで。
最もらしい。
一番確率が高そうなやつ。
確率ね。
うん。ただ単に確率が高いものを選択していってるだけだと。
そうですか。
それでも別にデータが正しければいいんじゃないって思うんだけど、
うんうん。
その全体、データ全体の中に、やっぱその偏りがあるのね。
うん。
で、全然滅多に出てこない情報とかもあるわけ。
ああそうだよね。なんか少数拝見みたいなやつが全然確率で出てこなくならないのそれ。
そう、まさにそう。
って今思った。
出てこないし、情報とかも出てこない。例えばカネリンの誕生日とか、
うん。
多分ネット上に例えばどっかに転がってるとするじゃん。
うん。
でもそれってもうそこの1個しか情報ないと。
うんうん。
ハルシネーションの原因
で、じゃあカネリンの誕生日はってAIに聞いたときに、カネリンの誕生日は何日ですって出してくるんだけど、
うん。
その時に出てくるその日付って、誕生日っていう言葉にだいぶ引っ張られるの。
うんうん。
誕生日の次に出てくる日付、それはカネリンのっていう言葉もあるんだけど、
その全体、学んだ言葉全体の中で、誕生日と一番ひも付きの強い日付が出てきちゃうから。
ああ、そうなんだ。
そう、正しく推論できない場合がある、そういうもの。そのピンポイントの情報って。
誰々さんの誕生日はって来てても、その次に出てくるのは全然違うことだったりする。
そう、誰々さんにつながってるけど、その誰々さんのつながりより誕生日っていう単語が持ってるその次の日付のデータが多ければ、
確率的にこれ出てくるよねっていう日付が出てきちゃう。
っていう、これは例なんだけど、こういうことをするもんで、結局ない回答が生まれてしまう。
なるほど。
どんなに正しいものでも。
うんうん。
学んだデータにばらつきがあるから。
うんうん。それやっぱり数が少ないと、今みたいにこう多い方で上書きされてっちゃうみたいなことが起こりやすい。
そう、まさに確率で見てるから。
カネリンの誕生日はみたいなデータがめっちゃあれば、たぶんそれが普通に出てくる。
あ、それが出てくる。
少ない情報はじゃあ変なふうになっちゃいやすいと。
そう、カネリンが誕生日はっていう情報がバーってあったら正しく出てくるけど、たぶん他の人の誕生日がカネリンの誕生日に上書きされる。
人間のバイアスとAIの学習
なるほど。あー、今度は逆に僕が上書きしちゃうんだ。
そう、誕生日ってきたら大体カネリンの誕生日答えろみたいな。これが一番可能性として高いからカネリンの誕生日入れとけっていうふうにするんだね。
そういうこと。支部長の誕生日も変わっちゃうんだ。
そう、カネリンの誕生日上書きされると。
まあこういうふうに最もらしいものを推論してるから、絶対ハルシー選手は怒ると。
ああ、そうですか。
どうしてもまず事前学習の時点で怒っちゃいますよっていうのをこの論文はまず言ってる。
うんうん。
で、こっからがめっちゃ面白いところなんだけど。サビです。
まだある。
サビです。
サビこっから?
うん。これハルシー選手は怒るよねって。絶対怒っちゃうよねって話なんだけど、それをさらに助長してるのが事後学習。
助長しちゃうの?事後学習が。
そう、助長しちゃうんですね。
なんか上手いことレールを引いてあげてるようなイメージだったけど。
そう、だけどね、これ評価の仕組みが良くないのよ。さっき言ったように教科学習なんでAIさんはもう人間からの点数が欲しいです。
人間様に媚びを得る。
人間様の点数が欲しくて欲しくてたまらないと。
ゴマスリーAI。
そう、ゴマスリーAI。あ、なんかいいね。ゴマスリーAIいいね。番組名そっちにしてる。
ええ、誰にするのそれ。
なんかしっくりきたすごい。結局感覚、イメージで言ったらもう、これ落としたら留年するっていう大学生みたいな。
教授になんとかして1点くださいよみたいな。
あとえが。
そんな感じ。もうそのぐらい必死なのね。もう欲しくて欲しくてたまらない。だからさ、結局この評価の仕組みが答えた内容に対して良ければいい。悪ければ悪いな。
だからこれ何が起こるかっていうと、もしもわからなかった時、わからないって答えたら絶対点数もらえない。
そうだね。
だからAIは何をしようとするかっていうと、ワンチャン適当で今点数もらえりゃいいやって適当なこと言う。
なるほどね。
ワンチャンこうね、推論して答える。だから選択式の問題でさ、空欄にすると絶対0点でしょ。
そうだね。何か入れるもんね。
当て絶法でも入れるじゃん。だからわからないって言って沈黙するよりも最もらしい回答を出した方が絶対的に有利になるから、そういう服に強化学習で学んでいってしまったね。
なんかそれ人間社会の歪みがそこに歪んでんじゃん。
そう、これ面白いよね。もうほんと人間みたいなもんでさ、適当に答えた方がお得感あるからとりあえず答えようっていう風に。
適当でも答えてワンチャンそれで当たった方がいいっていう点数主義の人間社会の煽りを諸に受けてんじゃんこの子。
そう、諸に受けてると。
かわいそう。
さらにね、これ闇が明かりてる面白いものがあって、もう一個要因があってさ、結局これ人間がフィードバック返してるのね、強化学習。人間が評価を見てフィードバック返すと。
どうやら人間は自信ありげに答えた方がいい点数をくれるっていうバイアスを学んだのよ。
はいはい、あるよね、そりゃあるよね。
そう、だからAIが多分こうだと思いますっていうより間違ってても、これやって言ってめちゃくちゃはっきり答えてくれた方がいい回答出たなって言ってそっちを選ぶの。
なるほどなるほど。
だから曖昧な答えよりも自信満々の回答の方が、自信満々の誤答の方が報酬を得やすいっていうのもこのポストトレーニング、自己学習で学んでいってしまってるのね。
すごいなすごいな。それだから教師がさ、人間だからさ、人間のそういうバイアスとか心理学的なもの特徴全部反映されちゃってるわけだよね。
そう。
超人間ぽいじゃん。
超人間ぽいの。だから人間いっぱいいるんだけど、人間がやっぱりはっきり答えた方がなんかこっち合ってるっぽいなってやっちゃうから、それを学んでしまったのね。
なるほどね、それめちゃくちゃ面白いじゃん。
だからハルシネーションが起こるの。最もらしいことを勝手に言ってしまう。それはそういうふうに学習してしまったから。
なんでこいつこんなにしれっと嘘ついてんだよって切れるけど、それは人間のあなたのせいですよってことね。
あなた好きなんですよね、こういうのって言ってAIを出してる。
超ブーメランじゃんこれ。
そう。こういうの好きなんですよ人間さんって言って出してる。AIは一生懸命。で俺幻覚見てるじゃないかとか嘘つきじゃないかって言って、どっちがひどいかって言ったら人間の方がひどいよねって。
だからそれ点数をつける人間がそういうバイアスが出ちゃってたってことだよね。
そう、結局出ちゃってた。
点数多くつけがちだっていうところの傾向を学んだんだよ。
学んだ。
うわーやばすぎる。
っていうのと、あと分からないって答えると点数がもらえないっていう仕組みそのものも全然良くないと。
未来のAI評価方法
なるほど。正直に言った方がいいっていう仕組みだったらまた違ったってことだよね。
そう、まさにね最終的にそこにたどり着くの。今の評価方法っていうのは正しいことを知ってるかじゃなくて、そのテストの中で最高点を取るように最適化されちゃっているのね。
なるほど。
で、結局AIって勝負じゃん。いろんな会社が勝負するでしょ。そのベンチテストも結局その正しい答えというよりはその得点を高く取るっていうことが目的になっちゃうから、分からなくても出した方がAIの会社としてもいいの。
だから分からないって答えちゃうと自分たちのAIが。
なるほど。
そこにもやっぱその社会的な背景というか、お互いの競争のためにそういう分からないものを分からないって言うっていうことが良くない。
なるほど。
っていうふうな環境になっちゃってた。
そういう人間社会の仕組みじゃないですか。
そう、そこにまさにそこをうまくというか、学習してしまったりとか影響を受けてしまって、今のハルシネーションっていうのが生まれているわけ。
なんかすごい皮肉だね。
面白いでしょこれ。
超面白いじゃんそれ。
超面白いでしょ。
うん。
ここにたどり着きたいがために今日ずっと喋ってた。
最高最高。この時間最高じゃん。
そう、これね読んだ時にちょっと取り果たすというか、これおもろって思ったよね。
おもろいね。
それ何?渋長はどういうとこおもろって思ったの?
俺は今思ってんのは、なんか機械のくせに間違ってばっかでこの野郎って思ってたけど、実は僕たち人間が全部原因だったんじゃんみたいなところになんかすげえ皮肉みたいなものを感じて面白いなって思ったんだけど。
まさにそこ。
そんな感じ?
そう。なんかその一生懸命AIが悪いとかどうすればいいやつってたけど、結局その人間の影響めっちゃ受けてるし、人間がそういうふうにしてしまってるっていうのが結構露骨に分かったから、これおもしろいよなと。
でさっき言ったように、カネネがちらっと言ったように、最終的にはやっぱ分からないよって言えるAIを作っていかなきゃいけないよねと。
うんうんうん。
そういう。
それじゃあ、その自己学習のRLHFのやり方を変えてまたやり直すってこと?
そう。だから今度は分からないって答えたときに対して点数を入れてあげるのか、間違えた答えに対して、
まずは仕組みの方をね。
減点してあげるのか。そういうチューニングをするだけで全然違うじゃん。
今までは間違いに対して減点をしてなかったの?
しなかった。
しろよ。
いい答えを選んでた。こっちの方がいいですよ。こっちの方がいいですよ。
最初設計するやついろいろ間違ってんだろ。
いやいやそれはでも、もうね、理解できないぐらいそのRLHFのだけでも論文めっちゃいっぱい出てるから。
あ、そうなんだ。
そうそう。すごい研究され尽くされてる。
完全後出しじゃんけんの素人目だけどさ、それは間違ってマイナスしないと、あんたはあてずっぽでやったもん勝ちみたいになるでしょ。
そう、結局ね、そうなっちゃっていた?
でもやっぱなっちゃってたんだね。
なっちゃってた。だからより信頼できる、これから信頼できるAIになるためには、やっぱ分からないって言えるっていうことがAIにとって大事になる。
それやり直すの?これじゃあ。
やり直すというか、まあモデルは毎回作ってるから、その中にちょっとずつ入れていったりとか、まあ研究者が多分やってくれる、そういうのは。
徐々に徐々に今後出てくるAIは、じゃあそこを克服して。
克服してやっていくし、今現時点でも結構ね、ちゃんと分からないって言ってくれる、それなりに。
GPT?
GPT5とかでも。
ああ、そうなんだ。
そうそう、カネリの誕生日祝ってさっき聞いたけど、答えてくれなかった。
聞いたんだ。
適当には答えてくれる。
適当に答えてくれるかなと思って、ちょっとねネタとしてカネリ誕生日いつだよねとかって、ちょっとGPTが出たよって言おうと思ったんだけど、全然答えてくれない。
ああ、ね、分からないですって。
分からないですって答えた。
へえ、昔だったら答えてたかなそれ。
昔だったら絶対答えてた。
ああ、そうか。
そう、だってカネリンって誰ですかって聞いたら、多分吉本工業のお笑い芸人ですとかそういう適当なこと言ってたと思うよ。
ああ、そうなんだ。
あの3.5とかはね、割と言ってた。チャットGPT最初の方。
そのなんかあの、今検索エンジン繋がったじゃんなんかしれっとさ、さっきが。
繋がった。
なんか当時ってさ、繋がってなくてさ、1年前のまでの何月までのデータしかありませんみたいなこと書いてあったじゃん。
ああ、そうそうそうそう。
あれってもう繋がって、もう常にリアルタイムの情報。あ、でも検索エンジンの検索モードがオフだったら、でもあれだよね、最新。
ああ、検索モードがオフだったら基本的には学習された以降のものは入ってない。
ない、ってことは何。
ああ、以前か、以前のものは入ってない。
結構半年前とかそういうことになってんの、じゃあGPTって。
ああ、そうそうそう。ちょっといつのタイミングで更新されたかっていうのは公開されてたりされてなかったりするから。
そこは仕組みとしては変わらないんだ。
仕組みとしては変わらない。あくまでもAIの中で、まあエージェント的にこの指示来たらこれちょっと検索するかとか、これで出すかみたいなのは結構切り替わってるから単純にLLMが毎回毎回自分の脳の中から答えてるっていうわけではない。
分かりました。
はい、そんな感じなんですね。なんでこれからのAIは分からない、I don't knowって言えるのが大事なんだと。
すげえすげえ。
そういう評価を作っていかなきゃいけないんだっていうのがこの論文のポイントとか結論になってるというところですね。
いやあいい。だから今後さこれ聞いてくれた人もさ、AIが分かりませんって答えてきてくれたことに感動できるよね。
そう、感動できると思う。
驚けるじゃん。
そう驚ける。
わあ分からないって言った。
そう、あいいね。
これはRLHFをやり直した結果だって。
そうです。
感動できる。
ハルシネーションのメカニズム
すごい、イベントのやつで言ってたのに分からないって言ってくっそなんだよ分からないって早く答えろよって言ってる人は落ち着いてないよね。
そうだよね。なんかAIが最近バカになってますとかって言って思っちゃうよね。
全然答えてくれなくなったみたいな。
すごくいい落ち着く話だった。
よかったです。今日はこんなところでございますよ。
出し尽くした?
出し尽くした。だいたいもう言いたいことは言いました。
とてもよかったですし、ちゃんとこう筋道立てて教えてくれるんで、ちゃんと驚けて、ちゃんと落ち着けるっていう。
よかったです。ありがとうございます。一生懸命ちょっとね。
感動してます。
カネリンが飽きちゃうと困るから、ところどころにクイズも入れてね。緊張感も持たせながらやっていこうかなってこれからも思う。
そうっすね。もうバカを晒していきたいと思いますよ。
自己肯定感がその度下がるかもしれないけど。
大丈夫です。下がった後にちゃんと着地して、なんか賢くなったなっていう気持ちになる。
よかったです。僕は収録前にね、こういうこと喋り回ってほとんど多分伝えないんで。
そうそう。だからさ、これ。
予習できないようにするんで。
絶対伝えないようにしてるよなって思ってさ。いいと思う。
伝えないようにしてます。
ネタバレみたいになってます。
ちょっとどこまで転がせれるかなと思ってカネリン。
うーん。頑張りますよ。頑張って勉強とかし始めたら番組にならなくなってくるかもしれない。
それを越えるような、だんだんレベルアップしていけばいいと思うんで。僕もそれを越えれるように頑張って勉強してきますんで。
いいですね。これリスナーさんも一緒にレベルアップしていきましょうって感じで。
そうね。
では、そんな感じで。今週もおしまいです。
はい。じゃあそれじゃあおしまいですね。ありがとうございました。またお会いしましょう。
番組公式ハッシュタグは、シャープ落ち着きAI、ひらがなで落ち着き、アルファベットでAIで、落ち着きAIでございます。
はい。番組の感想はコメントXお便りフォームなどで受け付けております。深掘りしてほしい話題とかがあったらぜひコメントくださいね。
ちょっと落ち着けたなという人は、星5つレビューをつけてください。それでは落ち着いて一週間過ごしていきましょう。
全員 さよなら。
