ハルシネーションの概要
データアナリストのりょっちゅです。 データサイエンティストのたっちゃんです。
ハルシネーションってなんで起こるんですか? っていう話を今日はしましょうか。
なんか素敵な論文が出たね。 そうですよね。OpenAIからなぜ言語モデルはハルシネーションするのか。
生成AI系の論文にしては、後々でも読めそうな論文だなっていう感覚があって面白かったかも。
生成AI系の論文ってさ、そのモデルを使ってこうだった、みたいなものが多かったり、新しいモデルのアルゴリズムのリリースだったりみたいな、アルゴリズムというか、まあなんかリリースの内容だったりみたいなのでさ、
3ヶ月ぐらいすると古くなっちゃうじゃん。 そうですね。 新しいモデル出たりするから。なんかその一方で、
今回のやつは比較的長い間、そのハルシネーションっていうものに悩んだ時に、仕組みを一旦知っとく上でいいのかなっていう感覚がちょっとあったから寿命を流そうって言った。
ああそういうことですね。確かになんか結構これまでの考えられてきたことを根本から否定するというか、振り返ってみて、ハルシネーション原因ってこれだよねっていうところを突き止めたって意味だと、
まあ価値のある論文なのかなというふうに自分も思いましたね。 ね、そうだよね。
ハルシネーションに関する研究ってなんかそんな盛んなのかな。そこが今回の知ったところで止まってるからまだあんま分かってないんだよね。
評価の重要性
ああ確かに確かに。ハルシネーション、簡単に言うと AIが自信を持って嘘をつくみたいな、間違ったことを言うっていうのがハルシネーションで、
なんかこれまでって結構、学習していたデータの中にあった間違いとか、学習データ起因で起こっていたみたいなことが考えられていて、
だからもっともっとこう正しいデータをAIに読み込ませて学習させたらいいモデルができるんじゃないかみたいな、
そのいわゆるより大きなモデルを作っていくみたいなところを目指した研究は多かったと思うんですけど、
なんか今回はそもそもこの方向性に対して疑問を唱えるというか、根本それだけでは解決できないよねって言ってたものなのかなというふうに見ていて、
事前学習と言われるAIを作る部分に対する問題だけではなくて、AIそのものを評価するときのそこにある原因が別であるんじゃないかっていうところが言われたのが結構価値のあるポイント。
学習の仕方。
そしてそのAIを評価するときの評価ポイントみたいなところかな。
なんかもっと具体的に言うと、ここの論文で言われていたのは、AIがわからないようなことを聞かれたときに、
わからないですって言うんじゃなくて、わからないんだけどなんか適当に答えていたらたまたま当たるよねみたいなところをAIがしていて、
そこに対して何かペナルティもなかったり、これまではペナルティもなかったり、たまたま当たったことに対して、
あ、当たったからラッキーみたいな感じでAIがこう、間違った学習をさせていく方向に進んでいたのが実際あって。
ああ、はいはいはいはい。
ただそれって本当は良くなくて。
その、狙って当たりだと思って当たりを当てたときにこそ評価してあげるべきで、
そうじゃない、当てずっぽ、なんか人間で言うと鉛筆コロコロで当てたものも、まあ運も実力のうちみたいな感じの評価方法になってたみたいな。
ああ、まさにそういうことですね。なんか、自分これ読んだ時思ったのはセンター試験の4択で、わからなかったらとりあえず4つのうち1つ埋めておけみたいな、
そういうのをよく予備校とか塾で言われると思うんですけど、まあ、教育とかもね、同じだと思うんですけど。
ああ、なるほどね。
ああ、油マークシートのとりあえず書くみたいなところを、そのやり方は間違ってるよねってちゃんと評価する仕組みがAIに対してもあるべきだよねっていう、そういう話かな。
ああ、意図して4番を塗ったわけではなくて、適当に塗った4番もお前できるやんって言って点数もらえるってことね。
そうそうそう。今まではそれでオッケーだったんだけど、それじゃダメって話。
ああ、なんかあったよね。その、TOEICって何番の答えが比較的多いから、その4分の1の確率を超えれるのが3であるみたいな。
ありますね。1番に出てくる可能性は低いみたいな。問題文全部読ませたいかなとかありますよね。
確かに。それでなんか山張ってた気もするな。
はい。
間に合わなかったところを塗りつぶすときにとりあえず、1,2,3,4、1,2,3,4よりは3,3,3,3,3,3の方が当たるみたいな。
そうですよね。
時間なかったから最後どれ塗りつぶしたみたいな話してる不毛な会話とかありますよね。
でも多分世の中それで、それでなんか進路が大きく変わったとかっていう人多分いるよね。
まあいるんじゃないですか。たまたま当たったみたいな。
月1ギリギリのやつで。
そんなんはもうAIではいらないって話なんだけどね。
ダメなんだ。
それで人生変わるんだから運も実力のうちっていう言葉は信憑性あるよねみたいな。
はい。
AIにはダメなのね。
AIには運はいらないっていう。
分かんないんだったらちゃんと分かんないって言えっていう、そういう話なのかな。
ハルシネーションの根本的な問題
道徳の授業だ。
お母さんに言われてるみたいな。
でもそうかもね。
お母さんに怒られてるより分かってんのみたいな。
とりあえず謝っとけばいいかなみたいな。
そうそうそう。
まあでもそのおかげでAIと人が対話するときに、
AIに対して質問したときに分からなかったらもう少しこういう情報をくださいっていう、
何度かラリーをして深く考えていくみたいなAIの使い方の方がこう、
ユーザビリティというか、
AIを我々人間が使ったときの使いやすさとかはあるよなと思っていて。
まあ確かに。
だから良い方向に進んでいくんだろうなっていうふうには思いますね。
まあそもそもこういうところに対して目をつけるオープンAIのこの、
何て言うんだろう。
研究機関というか、研究魂みたいなところを感じた。
確かに。なんか、研究者っぽいよね。
着眼点が。
そうですよね。
AIをただ伸ばしていくことだけに、
なんかこう、注視している軍団だと見落としそうな。
そういうのもさ、
いや、AIで見つけたりとかじゃないのかな。
なぜ春日市ネーションが起こるのかっていうのを、
AIと対話しながら見つけていくって話?
僕、結構なんか適当に返事しちゃうんですよね。
怒られたときって謝っとけばいいと思うじゃないですか。
みたいなことを引き出せるような、
うんうん。
なんかこう、仕組みみたいなのを作って、
カウンセリングするみたいな、
AIのモデルをカウンセリングするみたいなAI。
あー、なるほどね。
そうするとなんか真の姿が出てきて、
そうすると、あ、なんか、
教え方がいけなかったのか、こっちのみたいな。
うんうんうん。
だから、AIの開発自体ももう絶対にAIがやってるから、
最近のモデルのリリースのスピードとかが出てきてるわけで、
そうだよね。
ちょっと前に話したデビンとかも、
デビン自身が修正してる量が大体半分ぐらいみたいな。
そのプルリク送ってる数の社内の割合で言うと半分ぐらいが、
デビン自身がデビンを開発してるみたいな。
へー。
っていうのを言ってるぐらいだから、
うん。
まあなんか、みんなそういうサイクルは回してんだろうなみたいな。
そうしたら、
実は着眼点って、
組織とか人とかじゃない可能性もあるのかなみたいな。
なるほどね。
より強いAIモデルみたいな、
言語モデルを持ってる機関ほど、
こう、いいフィードバックが得られて、
より良いものがどんどん生まれていくサイクルが、
もう既に回り始めてるっていう可能性はある。
やっぱ賢いやつって自分で自分のダメなとこ気づくじゃん。
うんうんうん。
そうかもね、でも確かに。
なんかこう、論文とか読んでる中で、
リリースはされてないんだけど、
内部的なモデルを使ってっていう、
ニュアンスの文章とかもあったりするから、
もしかしたらそういう使い方はしてるのかもしれない。
もっとちゃんと読んでいけば、
わかるかもしれないけど。
ありそうだね、そういうの。
うんうん。
ハルシネーションはじゃあ、なんかなんだ。
使い方でハルシネーション自体は減らせるけど、
そもそもモデルの根本的な問題の話だから、
簡単に言うと仕方ない。
今はもうそうなってしまうっていうのを
受け入れるしかないわけ。
ここの論文では、
ハルシネーションをゼロにすることはできないって言っていて、
その理由としては、
さっき言った大きく2つのハルシネーションの原因があって、
1つの、
わからないことをわからないと言わなかった今までの仕組みっていうのを
変えていくことで、ここは一定ハルシネーションを減らすことができる。
わからないものをわからないんで、
ハルシネーションの理解
もう少し情報をくださいみたいなやり取りによって、
知らないことを知っているような素振りはしなくなるので、
そういう意味だとゼロには抑えていけるんだけど、
もう1個の学習時点で起こりうる、
統計的なハルシネーションっていうのも言われていて、
これはさっき一番最初に言ったように、
学習するデータの量を増やしていけば、
徐々にそれを減らすことはできるんだけれど、
でもこれはどうしても確率的に出てくるハルシネーションだから、
これをゼロにするのは現状できないっていう話。
わかりやすい例えで言うと、
有名人の誕生日を答えてくれって言ったときに、
その情報って学習するデータの中ですごく少ない情報の中から
見つけてくるわけじゃないですか。
見つけてきて答えることって、今の言語モデルって
確率的に誕生日を言うっていう仕組みだから、
どうしても間違いやすい情報なんですよね。
そういう誕生日を見つけるみたいな話って。
はいはいはい。
だからこういうレアなケースを答えるような場合は、
どうしてもハルシネーションが起こってしまう。
確率的に起こってしまう。
100回2回間違えるみたいなそういうことがあり得るっていう話ですね。
人間の評価システム
6星戦術めっちゃ間違えるんだよね。
そんな聞いてんの?
何星人みたいなやつ。
俺は土星人とかね。
そう、友達が1000円くらい払って、
オンラインの占いやってみたみたいな話をしてて。
へー。
それでも別にAIで全部聞けね、みたいな言って。
やったら、そいつとめっちゃ相性のいい、
なんかなんちゃら星人みたいな、天皇星人。
違うかな、なんかあったんだよね、出てきて。
おーやばいじゃん、みたいな話をして。
その後、深掘りしていこうと思って、わーってやってたり。
質問の仕方変えたら違うの出てくんじゃね?と思って。
同じような内容聞いてるけど、ちょっとふわっと聞いてみるとかやってみたら、
毎回違う星の種類が出てきて。
その相性がいい先が違う星ってこと?
いや、というより自分が何星人なのかっていうのから。
そこから違うんだ。
そう。
これでも結構たぶん限られた情報で、
たぶんある程度計算をしなきゃいけないロジックも含まれつつ、
みたいなのだからね。
たぶんなんかちょっとAIにとってはむずいんだろうな。
単純にサンプルが少ないっていう。
そうだよね、決定論的にでも人間がやると決まる話なんですもんね、
その何々星人っていうのは。
あ、決まる決まる。細木和子に聞けばわかる。
懐かしいなー。
なんか世代バレますね。
今いるらしいんだよね、細木和子2星みたいな。
いつの時代も出てくるんだ。
今6星戦術界を引っ張っている姉子なのか、
みたいなやつがいるらしくて。
こんな有名なやついるんだと思いながら見てたけど、
結局AIでは何もカバーできなかった。
占いは。
まさにでもそういうことですよね。
確率的に出てくるから、
毎回言うことが変わるっていうのは、
どうしても起こり得る話。
INTPだっけ。
MBTIね。
MBTIだ。
ああいうのも苦手なのかな。
そうかもしれないね。
あれも何個もの質問に対して答えていった時に、
あなたはこれですって出すやつですもんね。
その道をちゃんと設計できるかっていう話か。
なんかできなそうだな。
GPTとかのモデルに対して答えてくれるって言ったら難しいかもね。
そこは外部でツールみたいなもので出力するような関数を
導入するしかないような気がしますね。
なるほどな。
あとは解釈の仕方にちょっとバリエーションがあるとかも、
実は揺らぎには。
解釈の仕方。
例えば歴史とかってまさにそうじゃん。
同じ史実を見てるんだけど文脈を見ると人によって主張が違うみたいな。
それはすごくありそうですね。
その学習してる文献とか教科書とかによっても
その考え方とか変わってくるから。
それは大いにありそうですね。
あれだよね。
教科書、同じ教科書を日本中全員が使ってても
教える先生によって変わるしみたいな
点数の許容の仕方とか評価の仕方によって
伸び方も変わるしみたいな。
まさにそれがそのままAIの学習過程に入ってるって感じだよね。
まさにそうですよね。
どこどこの出版社の教科書とかありますもんね。
AIの偏りとバイアス
ありえるな。
そういう意味だとあれですね。
国際的な世界史とかの理解って国ごとに違ったりするから。
最近国内用のLLM作っていくみたいな流れあると思いますけど
それの危険性の一つとしては偏った思想とか
国にごとに偏った思想とかが含まれていたら
ちょっと嫌だなと思いますね。
まあそうね。
実際今もだからアンコンシャスなのか分かんないけど
バイアスは絶対あるじゃん。
そもそもインターネットに接続できてる人たちが
常にできてる人たちが世界中の半分ぐらいで
そこに対してインターネット上とかもろもろに
発信できる人たちだったり
インターネット上に創作物だったり
コーディングを公開できるみたいな人たちっていうのは
さらに限られてきていて
知能レベルとかも含めて
でそれを学習材料にするわけだから
まず大元国によって学習される要領が変わるし
それは人口によっても変わるし
でそこの国の教育水準とかにもよって変わるし
言語によっても変わるしみたいになって
まあきっと普通に英語圏の都心部の思想が
強みに反映されるんだろうなっていう気はするもんね。
確かにそうだね。
ここはなんかうまく分散されてるのかな。
すごい古い話をしちゃってんのかな。実は。
それは解決済みかもしれないっていうね。
そうそうそう。そんなことないよね。
類推しかできないもんね。
できるだけそういうバイアスみたいなところを排除するように
これまでも進化はしていたけれども
100%それが除外できてるかというとそこは
おそらくできてないでしょうっていうところですよね。
時代の変化とともにもバイアスって変化するし
そこら辺を解決。
それこそ昔話題になったゴリラ問題とか
そこら辺はもちろん解決されてる
白人黒人とかの差別とかっていうのは
なくなってると思うけれども
どっかのAIのモデル
あれオープンAIだっけ
エロコンテンツちょっといけるようになるみたいな
ちょっと前にニュースになってる
出てましたね。オープンAIじゃないかな。
新しくサービス触る時に
一旦コンプラアウトな質問を投げまくってみて
ラインを探るっていう人が周りにいたわ。
動きが早い。
ずっとやってるらしい。これまでも。
どういうコンプライアンスライン持ってるかを
まず一瞬で調べるために
エロい表現とか
差別的なやつとかをどんどん入れて
どこら辺にガイドラインが
ガードレールみたいなのが引かれてるのかを探るみたいな。
そっか。できるわけだ。
そういうことが。
結構厳しく弾かれるしね。
画像生成の時とかめっちゃ弾かれるよね。
弾かれますね。
殴る画像とかしか作れないじゃん。
殴る画像ダメなんだ。
確かね。
一回やろうとした時ダメだった気がする。
自分の子供の20年後のイメージ写真を作ってっていうのも
弾かれましたね。
ジポでしょ。ジポ。
ジポっていうの?
自動ポルロ的な目線の話でしょ。
多分そういうことなんだろうね。
でも表現を変えたり質問を変えると
できる場合があったりするんですよ。
あくまでイメージなんで
リアルな未来を予測してとは言ってないですってことを言うと
じゃあいいけどみたいな。
そうそうそう。
ギリギリラインだったりするんでしょうね。
そういうところに。
なるほどね。
こういう確率的な出力があるよって話があって
このハルシュネション論文にあった
IIV問題っていうのが1個出てたんですけど
IIV?
Is it valid?の頭文字を取ってIIVで
モデルの出力した結果に対して
それって正しいか正しくないかを判定するみたいな仕組みが
今のモデルにはあるらしいんですね。
だからちゃんと出力結果に対してフィードバックをかけて
正しければ出力するし
正しくなかったら出力しないみたいな
そういう一応検証を行って
ユーザーにアウトプットが出てくるっていう仕組みがあって
AIのハルシネーションの理解
でもここの判定自体も確率的に決まってくるから
どうしても間違いっていうのが起こってしまうっていうところが
この論文での主張ではあって
自分がこれを読んだ時に思ったのが
こういうモデルのアウトプットが確率的に変わるっていうことがある
ゼロにはできないってなると
今AIワークフローとかっていうのがどんどん研究盛んだと思うんですけど
ワークフローの中で出てきたアウトプットに
もうすでに誤差が含まれてる
間違い付加が含まれているのであれば
それがワークフローとして
下流に進んでいた時に
どんどん間違いが膨らんでいってしまうっていう問題が起こると思っていて
あー 誤差伝播の計算的にはそうなるね
そうそうそう
だから間違ったアウトプットを使って
次のワークフローの間違ったインプットになっていくっていうところで
直列的に仕事とかを進めていく上で
全部AIに任せることって難しいじゃんっていう
理論に至るのかなと思っていて
ワークフローになってるときって
連続的に誤差が伝播していくの
今誤差伝播なのかなって話したけど
伝播はやするか
そうなんですよ
ユースケースで考えると分かりやすいと思うんですけど
会議とかしていて
もうその会議で出てきた
to doみたいなところを
AIが全部会議の内容を音声から文字に起こして
議事録作ってto doリストを作って
それをさらに後続でまたAIが処理していく
次回の会議設定をしてとか
次回のミーティングのための資料作成とか
全部AIがするみたいな世界線があったときに
例えば最初の議事録生成のところで
to doの内容が間違っていて
そのto doを実行した結果
間違ったto doリストに対するアクションをしてるから
そこで出てきた次のアクションのアウトプットも
全然人間としては必要のない仕事を勝手にしちゃうみたいな
ってことが確率的に起こるのであれば
全てをAIに任せた仕事とかって
なかなか難しいよねというか
なるほどね
AIの評価方法の改善提案
でもそれって人間もミスるじゃん
そうそうそう
で議事録を作る人がいて
そのレビューをする人がいてみたいなのが
新人の人がよくやってた仕事で
今はなくなってしまった仕事になっていて
その2人のチェックを通したことで
出来上がってくる議事録って
俺ら100%だとして捉えてるけど
間違える確率ははらんでるよね
人間がやったとしてもね
そうだね
それ対AIの誤差の確率
次第なのかな
でもそうかもしれない
間違える可能性あるじゃんって言って止まってしまうのが
AI導入を感覚で阻害しちゃう部分
なるほどね
そもそも100%の答え持ってないじゃんっていうところで
その前提があるかないかで
AI導入ができるかできないかも変わってくるっていう話か
そうそうそう
なるほど
し誤差伝播もしないかっていう
今なんか考えながら思ってて
なんかワークフローで例えば
10個LLMの出力をつないでいって
動作させるってなっても
1回1回に出てくる結果は
1位のものでバチって決まるから
そいつ自体に誤差はなくて
出力されるときに誤差はある可能性はあるけど
出てきた結果が次に入るときには
その出力結果って誤差を持たずに
インプットで入るから
入力の中に誤差があるかないかあんまり
次のタスクにおいては重要じゃないというか
でもシステム全体が持つ不定性は上がるみたいなのはあるのか
そうだね
いやむずいな
でもそういうことを
今回のハルシネ賞が起こるか起こらないかっていう論文から
徐々にハルシネ賞は減っていくんだけど
実際AIを使う道って
今後は今の仕事に適応していくことだよなと思ってるんですね
そこをちゃんと仕事で使えるのかどうかを評価しようぜっていうのが
本当に今週とか出てきたオープン映画の論文にあって
9月2025年9月に出たってことね
そうまさにそれが
エヴァリュエイティングAIモデルパフォーマンスオン
リアルワールドエコノミカリバリアブルタスクっていう
リアルな世界での経済活動のタスクに
AIを適応して評価しましたっていう論文
GDPバルっていう単語で
すごいすごいタイトルだよね
言われていて
これがまさに今自分がどうなんだろうと思った
AIの評価の仕方をもっと正しく
リアルな世界に適応させていった方がいいんじゃないかっていう提案としては
すごく価値のある論文だなと思っていたんで
ここからその紹介をしてもいいですか
隣のデータ分析屋さん今回も面白いと思ったらフォローレビューよろしくお願いします
番組の感想や質問はハッシュタグ隣の分析屋
隣のがひらがなで分析屋は漢字でお願いします
また概要欄に貼ってあるお手紙フォームからコメントを寄せてください
ではまた
バイバイ
![[9月23日]AIの嘘「ハルシネーション」の原因が判明。現役AIエンジニアが最新論文を徹底解説 (ep.2)](https://image.listen.style/img/rKVRD5j6tyNwNDXyhIV_Tva0o7Wdz0ws3WDSh-nPgRo/resize:fill:80:80/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfZXBpc29kZS80NDQ2NDQzNy80NDQ2NDQzNy0xNzU4NTYyODkwNzEyLTE3OGUzY2ZjYjQ5ODIuanBn.avif)
