00:02
こんにちは、アシカガコウジです。
ChatGPTやGeminiやClaudeのような生成AI、LLMが、
ウェブの情報を参照する場合の仕組みについて調べてみました。
最近は検索エンジン対策のSEOじゃなくて、
AI対策のAIOとか言われていて、
いかに自分の会社とか自分のサービスのウェブサイトを
AIに参照してもらえるかということを考えるようになっていて、
私もそのことを考えている中で、
ChatGPTとかClaudeとかがユーザーからの質問に対して、
自分の学習している情報の中から答えたり、
ウェブを検索して答えたりしているので、
そのウェブを検索するかどうかの切り分けをどうしているのかなとか、
そもそもどういうふうに検索しているのか、
検索エンジン的なものを使っているのかとか、
その辺が気になったので調べてみました。
まずAIがウェブを検索する場合、
人間が検索エンジンで検索して、
そのサイトを見に行って確認するという作業と
同じようなことをやっているのかと。
これに関しては流れとしてはほぼ同じということらしいです。
ユーザーが質問してきたことに対して、
AIが検索キーワードを考えて、
ユーザーの書いてきた言葉はそのままではなくて、
言い換えとか関連するような別な切り口とかを考えて、
検索するということです。
検索結果に関しては、
抜粋だけを見て答えることもあれば、
ページをちゃんと取得して本文を読むこともあるということです。
ただページを取得した場合もテキスト部分を見ていて、
見た目の部分、デザインとかはほぼ見ていないということらしいです。
次に検索に関して、
Google検索みたいな検索エンジンを使っているのかということに関しては、
GeminiはGoogleの検索をベースにしている。
ChatGPTはマイクロソフトのBingと呼ぶ人もいますが、
B-I-N-Gをベースとして利用している。
Claudeは外部の検索APIを使っていると言われています。
03:05
ただそれだけではなくて、
自前の検索エンジンというかネット上の情報を拾ってくるクローラーと
それのインデックスを自前でも持っているところが多いということで、
ChatGPTのオープンAIもGoogleもパブリキシティも
独自の検索用のBotと呼ばれる情報を拾い集めるクローラーを持っていて
独自のインデックスを持っているということです。
そして既存の検索エンジンと自前の検索インデックスとを
併用しているサービスが多いとのことでした。
次にAIがURLを覚えているかという疑問なんですが、
この情報に関してはこのURLにあるという情報を
ウェブ検索しなくても答えられるケースというのは
よほど有名なサイトでしかないんじゃないかと思ったんですが
やはりそれはイエスのようです。
なのでAIが外部の検索をせずに
この情報はここにありますみたいにURLを出してくるときには
実在しないURLを出してくるハルシネーションが起こるということが
多いということですね。
次に最近よく言われている構造化データというのを
ウェブサイトにウェブページに入れておくと
AIへの最適化の対策になるということですが
そもそも構造化データがあろうがなかろうが
まずAIが参照してくれるための検索した結果の上位にならないと
ページの中身を見てもらえないよねという問いです。
これに関しては上位にならないと中身が見てもらえないという前提は
正しいということです。
そこでの検索結果の上位を狙うという競争の中では
構造化データがあるないはほぼ関係ないということですね。
AIは基本的に検索結果の上位
数件か十数件程度しか参照しないということです。
なのでそこで選ばれなければページの中身が見られない
構造化データがあろうがなかろうが関係ないということです。
06:02
ただAIは質問の内容に対して
複数の検索ワードを使って検索していくので
強力なキーワード1個で検索上位に上がるような記事でなくても
複数キーワードの組み合わせによって
いろんな記事が拾われる可能性は高いということです。
ちなみにAIが構造化データをちゃんと読んで活用しているという証拠は
現時点では乏しいということらしいです。
ただGoogleは構造化データを使うということが
公式に説明されているということで
それによる間接的な効果はあるんじゃないかということです。
なのでAIの対策として構造化データをページに入れるというのは
そこまで優先度の高い施策ではないと
まずは検索で拾われる従来通りのSEO的な対策と
AIが取得しやすいであろうHTMLを整えることの方が重要ではないかということです。
AIは検索結果の上位に求めているものがなかった場合
どんどん下の順位のサイトも探っていくのかという疑問に対しては
検索結果の下の順位までどんどん探っていくというよりは
検索ワードを色々変えて検索し直すという動きをするのが一般的ということです。
検索結果の順位が下の方までずっと深く掘っていくというよりは
探し方を変えて広く浅く当たっていくイメージということです。
最初の方にも出てきた話ですが
ウェブサイトを見るときにAIは画像は見てないという点について
AIは画像の中の文字も読み取ることができる能力は持っているんだけど
ウェブサイトの情報を参照するときにはそこまでしていないのかということに関しては
基本的には画像の中の文字を読んだりはしてないということです。
画像に対してhtmlでついている大体テキストあると
属性やファイル名は参照されるそうです。
そして最後にAIは自分がある物事に対して
知っているのか知らないのかを認識しているのかどうかという疑問です。
09:07
例えば有名な詩のフレーズ、ポエムのフレーズとか
憲法の第何条とか聖書の言葉とか
そういったものを教えてくれとAIに言った時に
AIが自分が覚えている場合はその知っている知識をそのまま出して
知らない場合はウェブを検索して見つけたものを出すということが
できるのかなということですね。
基本的にAIは自分がその何かのフレーズなりを
知ってる知ってないの判断ができないので
知らないことも知っているように答えることで
ハルシネーションが起きている適当な嘘をつくということだと思うんですが
最近のAIは検索を組み合わせることでうまく判断している
ハルシネーションを起こしにくくしているように見えるんですね。
なのでその辺どうなんだろうと思ったんですが
やっぱりAIは自分が知っている知らないを判断することはできないということです。
ただ最近のAIがうまいこと検索を使って
ハルシネーションが起きにくくなっているのは
生成する仕組みそのものが向上したというよりも
システム的な部分でうまくカバーしているようです。
まずAIが過去に答えた経験の中で
これは検索して答えを出したことでよかったと
検索が役立ったという質問の見た目のパターンに反応して
検索するようにトレーニングされているということで
最近の出来事とか具体的な日付とか固有名詞とか値段とか
そういうものが入っている質問に対しては検索した方がいいよというようなことを
AIが学んでいるようです。
さらにこういう質問に関しては必ず検索するようにと
システム側で決められていることもあるそうです。
なのでそういうある程度人間側が用意した
こういう時は検索した方がいいよというところと
こういう質問の場合には検索した方がいいという
AI側の経験を元にした経験則的なものによって
12:05
うまく自分が学習して持っている情報と検索しての情報と
答えとしてうまく出せているように見えているということですが
まだ全然完璧ではないと
中途半端に覚えていることに対して堂々と間違えた答えを出したり
逆に知ってるけどもわざわざ検索したりもするそうです。
このAIは自分がその物事に対して
知っているのか知らないのかを知らないわからないという認識は
AIが何でハルシネーションを起こすのか間違ったことを堂々と言うのか
ということを理解する上で分かっておくと
理解しやすいことかなと私は思います。
今回は以上です。
ご意見ご感想質問などあれば
ハッシュタグアシカガCASTをつけてXに投稿していただくか
お便りのフォームとメールアドレスも概要欄にありますので
そこから送っていただけると嬉しいです。
それではまた次回お会いしましょう。
アシカガコウジでした。
キャストアシカガ
