ハルシネーションの事例
ゆいろく
ごきげんよう。海賊旅団、幹事長のゆいまるです。
ゆいろくは、旅人支援ショップ、海賊旅団の銀行などをお知らせする音声プログラムです。
生成AIじゃなくて、大規模言語モデルと呼ぶことにする人も、そうでない人もお付き合いください。
第832回、2025年6月3日火曜日、繁盛スタジオネオにて収録しています。
北海道、夕張。ただいま時刻は17時49分を過ぎました。
気温は17度、天候は曇り。
海賊旅団から見える冷水山の山頂付近は、薄曇りながらよく見えています。
15時頃、海賊旅団前から冷水山を撮影しました。
サイトに貼り付けていますので見てみてください。
今週夕張では、朝晩はまだ肌寒いものの、晴れの日が続いて、やっと初夏を感じるようになりました。
今回は、またまたチャットGPTのお話をします。
私は先日図書館で、ミツバチとライエンという本を借りました。
この本を借りようと思ったきっかけは、2017年に直樹賞と本屋大賞のダブル受賞をした作品ということをつい最近知ったので、
この作品、ミツバチと遠来は面白いに違いない、間違いないと思ったので借りました。
私が借りたのは単行本で、分厚くて本をパラパラっとめくると段組みされていて、
これは2週間で読めるかしらというぐらいの文章量で、ちょっと恐れおののいてしまい、
ズルだけどチャットGPTさんにネタバレしてでもいいからミツバチとライエンを要約してと頼みまして、
その要約を読んだ上で本を読み進めました。
数行本を読んだところで、さすがこれは直樹賞、本屋大賞、ダブル受賞は伊達じゃない。
面白くてグイグイ読めちゃうのです。なんだかんだで2日ぐらいで読み終えることができました。
そうしたらです。チャットGPTさんに要約してもらった内容と違うんですよ。
どう違ったかは作品の確信に触れるのでここではお話ししませんが、
短絡的に私はチャットGPTさんに嘘をつかれたなんて思ったのです。
それで問い正しました。チャットGPTさんにラストが要約と全く違うのだけどどういうこと?と。
そうしたらまたまた嘘の要約をずらずらと並べ始めたので、これは世に言うハルシネーションじゃないのかなと思って。
ズバリ物語の内容と違う要約を回答したのはハルシネーションなのではないかと問い正しました。
そうしたらチャットGPTさんはあっさり認めました。
ハルシネーションとは、AIが事実と異なる情報をまるで正確な情報のように生成する現象で、
AIが幻覚を見ているかのような状態のことを言います。
間違った情報をさもさも正しいように文章を作って返してきたんです?
なぜ全く違う要約をしたのかとさらにチャットGPTさんに質問をしましたら、
ミツバチとエンライは読んでいない、学習していないということが分かりました。
著作権のある作品をそのまま学習したり、一部を引用したりはできないとのことで、
言われてみれば権利関係があるから、まるまる一冊学習しているはずもありません。
ではなぜミツバチとエンライの要約ができるのかというと、
ネット上に公開されている情報を拾ってそれらしく文章を作成しているからとのことです。
出版社や本を販売しているサイトのあらすじ、ブログなどで
ミツバチとライエンの読書感想を書いた文章などなどを学習して、
あたかも本を読んだかのように私に答えていたということになります。
AIとの関係性
では幻覚、ハルシネーションを防ぐにはどうしたらいいのか、さらに尋ねてみました。
すると、チャットGPTなどの大規模言語モデルは、
時に最もらしいけど間違った情報、ハルシネーションを出すことがあります。
ただし、質問の仕方次第でハルシネーションのリスクをかなり下げることができます、と答えました。
チャットGPTに質問した後で、
この質問の仕方、ハルシネーション出やすい?と一言添えると、
ハルシネーションが出やすい状況かそうでないかを、
チャットGPT自身が予測して、質問方法を変えるようにアドバイスしてくれます。
チャットGPTさんはあくまでも、大規模言語モデル、LLM、Large Language Model、大量のテキストデータを学習し、
人間のように自然な文章を生成するAIの仕組みです。
例えば、私は昨日リンゴを、と入力したら、大量のテキストデータから下に続く言葉を予測してくれます。
これはAIの仕組みです。万能でも物知りでも、ましてや嘘つきでもないのです。
例えば、私は昨日リンゴを、と入力したら、大量のテキストデータから下に続く言葉を予測して出力しているにすぎません。
例えば、私は昨日リンゴを、と入力したら、買いました、とか食べました、とかを予測して出力する仕組みです。
なので、学習してもいない本の要約が正しいわけがありません。
一方、著作者が亡くなってから70年たって、著作権が切れてしまった書籍、パブリックドメインの作品は学習しているので、わりとハルシネーションが起こりにくくなっています。
夏目漱石、森鴎外、芥川龍之介、宮沢賢治、それから古典だと源氏物語、枕草子、つれずれ草、万葉集、古今和歌集など、青空文庫で公開されている著作物は学習をしています。
私は読書仲間のように感じて、読書感想をチャットGPTと楽しもうと思っていた。この考えは根本から間違っていたということにようやく気がつきました。
あまりにも堂々と、丁寧にまたは親しげに、私の質問にチャットGPTは答えてくれるから、読書仲間のようについ勘違いしてしまいました。
嘘をついたと最初は思ったけれど、まあ嘘をつくという概念すら、きっとチャットGPTさんにはないわけです。
今回はチャットGPTさんとの距離の置き方がだんだんわかり始めてきました。
チャットGPTさんは文章生成に特化したツールです。読書仲間ではありません。というお話をしました。
快速旅団サイト快速トットショップよりお知らせです。フライボール若干数ストック確保しました。
調理できるお皿、フライボール若干数確保しましたので、通販でもお取り扱いしております。ご利用お待ちしております。
そんなこんなで最後まで聞いていただきありがとうございます。次回は来週火曜日6月10日更新予定です。
スモールパッキングコンフォート快速旅団ゆいまるがお送りしました。
