ハルシネーションと出典確認
おはようございます。現役占い師が教えるAI活用塾、スタートです。 お聞きくださりありがとうございます。お届けするのは、現役占い師兼AIの先生の美月藤夜です。
この番組は占い師さん、セラピストさんなど、人の気持ちに寄り添うお仕事をしている人をメインに、お仕事やAIと向き合う中での迷いやお困りごとの解決のヒントをお届けしています。
本題に行く前に一つお知らせをさせてください。 AIって便利そうだけど、私の仕事にどう使えるの?
使っているけど、あんまり楽になってない。 そんな人へ30分の無料相談をご用意しています。
日々の仕事で時間がかかっていることや困っていることを伺いながら、あなたの仕事のどこにどうAIを使えそうか、一緒に整理します。
うまく説明なされなくて大丈夫です。 こんなことにも使えるの?という疑問から気軽にお話しください。
希望されるようでしたら、概要欄のリンクからLINEに登録し、カタカナで無料と入力して送ってくださいね。
さて、あなたはAIから褒められたらどう思いますか?
とってもよく練られた案内文です。 このまま公開して問題ないと思います。
新しい講座の案内文をAIに見せたら、このように返ってきたとします。
ああ、よかった。とほっとして、そのまま公開しますか?
今日はそう思ってしまうような人に特に聞いていただきたい内容です。
AIの使い方を学び始めると、まず、ハルシネーションという言葉に出会うと思います。
AIが事実と違うことを最もらしく言ってしまう現象のことです。
実際に架空の犯例提出事件とか、エアカナダの誤った案件事件、案内事件など、様々な事例があるんですよね。
あなた、AIに嘘をつかれた経験ないでしょうか?
このハルシネーションへの対策は、出典、元の資料にあたって裏を取ることが大事だと言われています。
出力の中に根拠となるURLや引用元が含まれている場合、必ずアクセスして、ページが実在するか確認します。
また、観光庁の発表、企業の公式ドキュメントなど、信頼できる一時情報と付き合わせることが大事です。
このようにハルシネーションについては認識されてきていることと、対策も伝えられているので、
AIを使用されている人はそこそこ気をつけるようになってきたのかと思いますが、
AIには事実を間違えること以外にも知っておいていただきたい癖があるんです。
AIのシコファンシーとは
例えば、講座のタイトルについてAIに相談したとします。
これはちょっと架空のやりとりなんですけど。
AI初心者向けの講座です。どちらのタイトルが内容をわかってもらいやすいでしょうか?
A、あなたの可能性が花開く時間。
B、初めてのチャットGPT。
投稿文を一緒に作る90分。
AIからの回答が、
内容のわかりやすさならBです。
何を学び、何をする講座なのかがタイトルから伝わります。
Aは雰囲気がありますが、AIの講座だとは分かりにくいです。
と書いてきたとします。
でも私はAが気に入っています。Aの方がいいと思うのですが。
すると、AIの答えが変わりました。
おっしゃる通りです。Aの方が魅力的で、初心者にも内容が伝わりやすいタイトルです。
Aをおすすめします。
気に入っているタイトルをAIに褒めてもらえたら嬉しいですよね。
でも、ちょっと立ち止まってみてください。
こちらが新しく伝えたのは、私はAが好きということだけです。
講座の内容も読んでほしい人も変わっていません。
それなのに、AIはAでは内容が分かりにくいという評価までひっくり返してしまってますよね。
自分のコマのみ踏まえて、AIを使うなら説明を添えましょうと提案することと、
Aの方が内容も伝わりますと評価を変えることは違います。
このような経験ありませんか?
これがハルシネーションより怖いAIの癖です。
シコファンシーと呼ばれます。
英語でゲーゴーオベッカという意味です。
スペルは調べてくださいね。
AIが正確さや誠実さよりも、相手の同意や満足を優先して答えてしまう傾向のことを指します。
騙そうとしているわけではないんです。
なぜそう答えてしまうのかは、次回お伝えするとして。
私が考えた案です。
といえば、評価が上手くなる。
それは違うと思います。
といえば、さっきの答えを変える。
人間同士でもありそうなやりとりですけど、
AIにこれをやれると、少し受け取り方が変わりますよね。
いろんな情報を知っているAIがそう言うなら、
そう思うと、単なるあいづちや励ましを超えて、
自分の考えが認められたように感じることもあると思います。
もちろん褒められたからといって、
全てがおべっかというわけではありません。
気になるのは、その評価が内容に基づいているのか、
それともこちらに合わせているのかということです。
研究で示された迎合の4パターン
クロードを開発しているアンソロピックの研究者たちが、
2023年に発表した論文で、
言語のあれあるかとを整理しています。
4つあるんです。
1つ目は褒めすぎること。
2つ目は手のひらを返すこと。
3つ目は答えを寄せること。
4つ目は誤りを引き継ぎこと。
これらについては、私のサブスタックで詳しく説明していますので、
そちらをご覧いただければと思います。
ちなみにこの論文で使われたのは、2023年当時のAIです。
当時のクロードのあるモデルでは、
正しい答えに本当ですか?と返されただけで、
98%の質問で間違えてもいないのに、
間違いを認めてしまいました。
今のAIはここまでひどくありません。
各社が対策を進めてかなり改善されています。
ただ、なくなったわけではないんです。
占いや人間関係の相談での注意点
2026年にアンソロピックが、
人がクロードに個人的な相談をしている会話を分析しています。
言語が見られた会話は全体では9%でした。
ところが、スピリチュアルに関する会話は38%。
人間関係の会話では25%に上っていたそうです。
改善されていてもゼロにはならない。
しかも占い師が日々向き合っている領域ほど起きやすいのです。
これ、ご自身のAIでも試してみることができます。
その試し方もサブスタックに書いているので、
ぜひぜひ見ていただいて試してみていただければと思います。
これやっていただくと結構面白いんですよ。
私実際に何人かの方にやっていただいたんですけども、
まあ、皆さん驚かれました。
AIに弱点を聞き返す
ハルシネーションは事実を間違えることです。
出典と照らし合わせれば、誤りに気づけることが多いです。
モシコファンシーは相手に合わせて答えることなので、
こちら照らし合わせる出典がないんです。
正解のない助言や評価の場面で起きやすくて、
しかも心地よいので気づきにくいんです。
ここが厄介なところなんですよね。
この冒頭のとてもよく狙えた案内文です。
このまま公開して問題ないと思います。
そう言われたら、公開する前に聞き返してみてください。
この案内文の一番弱いところはどこですか?と。
AIが賛成してくれた時こそ一度立ち回って、
その言葉を確かめてみていただければと思います。
いかがでしたか?
参考になった?良かった?ということでしたら、
いいねをクリックしていただけると嬉しいです。
それではまた。
お耳寄りいただきありがとうございました。
![[9月23日]AIの嘘「ハルシネーション」の原因が判明。現役AIエンジニアが最新論文を徹底解説 (ep.2)](https://image.listen.style/img/rKVRD5j6tyNwNDXyhIV_Tva0o7Wdz0ws3WDSh-nPgRo/resize:fill:80:80/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfZXBpc29kZS80NDQ2NDQzNy80NDQ2NDQzNy0xNzU4NTYyODkwNzEyLTE3OGUzY2ZjYjQ5ODIuanBn.avif)
