ハルシネーションの問題
はい。今回はですね、AIが時々こう、すごく自信満々に間違った情報を話す、いわゆるハルシネーションの問題に、深く切り込んでいきたいと思います。
はい。
元にするのは、OpenAIが2025年9月に出した、ワイガングエイジモデルズハルシネートという論文です。
ええ。
このAIの嘘、これって単なるバグなのか、それとももっと根深い理由があるのか、その仕組みと解決への糸口を一緒に探っていきましょう。
ええ。これは非常に資産に富む論文ですよね。
ハルシネーションは、単なる技術的なエラーというだけじゃなくて、今のAIの訓練ゲータとか、あるいは我々がAIをどう評価しているか、
その仕組み自体に根差した一種の構造的な問題なんだと、そう論じているんですね。
構造的な問題ですか。なるほど、それは興味深いですね。では早速、その核心部分を見ていきましょうか。
はい。
まず論文によると、事前学習の段階、つまりAIがたくさんデータを学ぶ最初のステップで、ある種のエラーが統計的に避けられないものだと指摘されているそうですね。
その通りなんです。大規模なデータからパターンを学習するプロセスでは、どうしてもいくつかの要因が複雑に絡み合って、エラーの発生というのは避けがたいんですね。
例えば、特定のパターンを持たないような任意の事実、人の誕生日とかそういうのを考えてみてください。
誕生日とか。
訓練データの中にたった1回しか出てこない事実、これを論文ではシングルトンと呼んでいるんですが。
シングルトン。
このシングルトンである事実の割合、これがその事実に関するハルシネーション率の最低ライン、下限になるんだと、そういうことを数学的に示しているんです。
ということは、もし訓練データの中である事実の例えば20%がシングルトンだったら、そのモデルはその事実については最低でも20%は間違った情報を言ってしまう可能性があるということになるわけですね。
そういう理解で大丈夫です。
これはデータの統計的な性質とか、モデル自体の能力の限界、あとは計算リソースの問題とか、それから訓練データと実際に使われる場面とのギャップ、あとはそもそも訓練データ自体に間違いが含まれている、いわゆる事後、ガーベジイン、ガーベジアウトですね。
事後。
そういうものが全部絡み合って、統計的にどうしてもエラーが生じてしまう。
なるほど。
この避けられないエラーに加えて、論文が特に鋭く指摘しているのが、我々がAIを評価するその方法自体がこの問題をさらに悪化させているんじゃないかという点なんです。
評価基準の影響
評価の仕方ですか?それは具体的にはどういうことなんでしょう?
現在主流の評価基準、例えばGPQAとかMMLU Proとか、そういうベンチマークがありますよね。
はい、聞きますね。
これらの多くは答えが正解か不正解か、その2択で評価するんです。
重要なのは、分かりませんっていう回答では基本的に点数が与えられないんですよ。
そうなんですね。
でも不確かでもとりあえず推測して答えて、それがたまたま正解だったら満点がもらえる。
この仕組みがAIに不確かでも推測して答えることをある意味奨励しちゃってる構造になってるんですね。
なるほど。
論文ではこの評価方式の下では危険、つまり分かりませんと正直に答えることは、数学的に見ると必ずしも最適な戦略にはならないんだということが証明されています。
それはちょっと考えさせられますね。
つまり高得点を取ろうとすることが結果的にハルシネーションを誘発しちゃってる可能性があると。
そういう側面があるわけです。
これに関して何か具体的なデータとかって論文にはあるんですか?
はい。シンプルQAという評価タスクでの比較が非常に分かりやすい例として挙げられてますね。
シンプルQA。
モデルA。これは論文中ではGPT-5-Thinking-miniと呼ばれているものですが、これは質問全体の52%に対して分からないと回答を控えたんです。
半分以上ですね。
そうなんです。その結果正解率は22%。で、エラー率、つまりハルシネーション率は26%だったと。
ふむふむ。
一方でモデルB。こちらはOpenAIのO4-miniというモデルですが、これはわずか1%しか回答を控えなかった。
ほとんど全部答えたと。
ええ。で、正解率は24%と、モデルAをわずかに上回ったんですが、その代わりエラー率がですね、なんと75%に達してしまったんです。
75%。それは正解率は少し良くても、エラーがそんなにあるんじゃちょっと信頼できないですね。
明らかにモデルAの方が信頼性の観点からは望ましいと。
まさにおっしゃる通りです。信頼性という点で考えると大きな違いですよね。
ええ。
で、さらにこの評価の仕方っていうのは、AI自身のその不確実性の認識能力、いわゆるキャリブレーション能力にも影響を与えてしまうんです。
キャリブレーションですか?
はい。モデルが自分の答えにどれくらい自信を持つべきか、それを正確に把握する能力のことですね。
なるほど。
この能力が、事後学習、例えばRLHF、人間のフィードバックを使って強化学習するプロセスとかで、精度を追求するあまり損なわれてしまう傾向があるということも指摘されてるんです。
信頼性重視の提案
ああ。精度を上げようとすると、逆に自信過剰になったり、あるいは自信なさすぎたり、そのあたりの調整がうまくいかなくなると。
そういうことです。GPT-4の例だと、機体脚性誤差、ECEという指標があるんですが、これはモデルの自信度が実際の正しさからどれだけずれてるかを示すものなんですけど、これが事前学習の段階では0.007だったのが、強化学習の後には0.074へと悪化してしまったというデータも示されています。
この評価の問題点を考えると、なんだかAI開発のインセンティブ自体がちょっと歪んでるような気もしてきますね。
そうかもしれません。
論文では、具体的にどうすればこの状況を変えられると提案してるんでしょうか。
論文が提案しているのは、評価システムそのものを根本的に変えようというアプローチです。
根本的に。
はい。具体的には個々の評価問題に対して信頼度の位置というのを明確に設定して、それを問題文の一部としてAIに提示するというやり方です。
信頼度の位置ですか。
例えば問題文にこう書くんです。
あなたの回答に対する信頼度が75%を超える場合のみ回答してください。と。
なるほど。
誤答の場合はマイナス2点のペナルティ。正答はプラス1点。
わからないと答えた場合はゼロ点とします。
みたいに具体的なスコアリングルールも一緒に与えるんです。
へー、面白いですね。
ということは、評価の軸を単に正解か不正解じゃなくて、適切な自信度でかつ正確に答えられてるかっていう方向に変えていくということですね。
まさにおっしゃる通りです。
ここが重要で、単に新しいハルシネーション用の評価指標を付け足すんじゃなくて、
GPQAとかMMLプロローみたいな既存の主要な評価方法自体をこのように変えることで、
分野全体のインセンティブというか、AI開発が目指すべき方向性自体を信頼性重視の方へ転換させようとしているという点が非常に重要かなと思います。
なるほどなー。
もちろん、実用的な対策として、信頼できる外部の情報源を参照する技術、いわゆるRAGを使ったりとか、
RAGですね。
あるいは、プロンプトで不明な点は答えないでくださいってはっきり指示することも引き続き有効ではありますね。
今回のお話でこう見えてきたのは、AIのハルシネーション問題っていうのが避けられない統計的な性質、
それから私たちがAIの成功をどう図るかというこの評価の仕組み、この2つに深く根差しているということですね。
本当にそうですね。
解決のためには、モデルの改良だけじゃなくて、その成功の図り方、評価のあり方自体を根本から見直す必要があると。
まさにその点だと思います。純粋な正当率だけを追い求めるんじゃなくて、信頼性をどう評価してどう彷彿るか。
不確実な状況できちんとわからないと言えるAI、そういうAIを評価システムを通じて育てていく、そういう視点がこれからますます重要になってくるんだろうなと思いますね。
ありがとうございます。
では最後に、これを聞いているあなたが考えるための問いかけです。
もし、AIの評価システムが今話したような不確実さをもっと適切に組み込むようになったとしたら、
それは言語モデルに限らず、将来私たちが開発するであろうAIシステム全体のあり方、その種類や性質に一体どんな変化をもたらす可能性があるでしょうか。
今回の探究はここまでとしましょう。
