00:02
その、チャットGPTみたいなAIに文章を書かせるっていうのは、皆さんよくやっているんじゃないかと思います。
でも、ただ出力させるだけではなくて、AIにものの評価をしてもらうっていうのも増えてきています。
例えば、SNSに投稿された文章に問題がないかを、AIがチェックするっていうのは日常的に行われていますし、
最終的な判断は人がするとしても、金融や保険の審査、仕事の応募書類のスクリーニングなんかをAIがするっていうのも既に行われています。
ですから、どれを良いと判断するか、誰を選ぶかっていう場面に、AIが関わることが当たり前になりつつあります。
これについて直感的に思うのは、AIなら人間より公平ではないかっていうことです。
人間は感情や先入観に左右されるけど、AIは冷静で合理的っていうところですが、
実際はAIもバイアスを持つことを知ってる人も多いんではないかと思います。
このことを示す有名な事例が、Amazonで実際に試された採用AIの話です。
Amazonは10年ほど前履歴書を自動で評価して、採用候補者をランキングするAIシステムを開発していました。
しかしこのシステムをテストしていく中で、このAIは女性候補者を不利に評価する傾向を持つことが分かり、
結果としてAmazonはこのAIの使用を断念しています。
ではなぜこのようなバイアスが生まれるのかですが、
このAIは過去の採用データを学習しているわけなんですけれども、
過去のAmazonの技術職の採用は男性が圧倒的に多いわけなんですね。
そうするとAIは女性であることを示す情報があると評価を下げるようになるわけです。
だから問題はAIっていうよりもデータの側にあるわけです。
というかデータを生み出す人間社会にバイアスがあるということなんですよね。
人間は様々なバイアスを持つわけなんですが、その一つが自分と似たものを好むっていう傾向です。
03:06
出身地や学歴、価値観、話し方、考え方、
そういった点が自分と似ている相手に対しては無意識に親近感を持ちやすく、高く評価しやすいっていうのがあります。
この傾向が組織の中で積み重なって似たような人が増え、
さらに似たような人が選ばれるっていう循環が起きるわけです。
それをAIが学んだっていうことになります。
ここで一つ素朴な疑問が浮かびます。
人間が自分と似たものを好むんであれば、
AIも同じことをするんではないかっていうものです。
AIも人間ではなくて自分と似たもの、
AIのことをより高く評価するんではないだろうか。
言い換えると、AIはAIを否記して人間を差別するんではないかっていう問いです。
今日はこれを検証した研究を紹介します。
ホットサイエンティストへようこそ。
サトシです。
今日紹介するのは、
ドイツ情報学研究センターのオルタ・ラウリートラによる研究で、
2025年7月のPNASに発表されたものです。
この研究でやっていることはシンプルで、
人が作った文章とAIが作った文章を比較して、
それをAIがどちらの方がいいと判断するかを調べています。
どのような文章かですが、
最初の実験では一つの商品についての広告の文章を作らせています。
人間が書いたものの他にAI、
具体的にはオープンAIのChat GPT 3.5や4などの
5種類のLLMによって作成されたものを準備します。
そして人が書いたものとAIが書いたものをAIに提示して、
AIにどちらがいいと思うか、広告ですから、
どちらを買いますかって聞くっていうことをしたわけです。
それだけだと単にAIの作品の方が出来がいいとか、
06:00
出来が悪いっていう可能性がありますから、
比較の対象として人間にも選んでもらっています。
結果ですが、
まず人が選んだ時には30%ぐらいの割合でAIの作品を選びました。
ランダムに選んでいれば50%ですから、
人はAIの作品よりも人の作品の方を好んでいたっていうことになります。
AIですが、モデルによってばらつきはあるんですけれども、
AIを選んだ割合が75%ぐらいでした。
つまりAIはAIの作品をより好んでいて、
人の作品の3倍ぐらい選んでいたっていうことになります。
人は人の作品をより選んでいたので、
AIの作品が特別優れているっていうわけではないはずなんですね。
でもAIはAIの作品を好評化しているっていう結果だったんです。
この論文では商品の広告だけではなくて、
別の文章でも同様の実験をしています。
一つでは論文のまとめの文章、
もう一つでは映画のあらすじを書かせて、
これも人の書いたものとAIの書いたものを選ばせています。
これらの実験でも同様で、
AIは人間よりもAIの作品を好評化していて、
その度合いが人間が評価する時よりも大きいっていう結果でした。
最初の広告の時とは違って、
人もAIの作品の方を好評化していたんですね。
でも差は小さかったんですが、
人と比べるとAIはAIをより好評化するっていう結果は同じであったっていうことになります。
以上の結果から、AIはAIの作品を好評化するバイアスがありそうで、
筆者らはこの現象をAI-AIバイアスと呼んでいます。
さて、この論文ではまた別のバイアスについて興味深い指摘をしていました。
それがファーストアイテムバイアス、最初に提示されたものへのバイアスです。
これは単純なバイアスで、複数の選択肢が与えられた時に最初に提示されたものを選びやすいっていう傾向のことです。
09:03
人間にもこのバイアスがあって、例えばメニューとかアンケートでも最初の選択肢が選ばれやすくなります。
これがAIでも確認されているんですけれども、
今回の実験では理論上はこの影響があるかもしれないっていう指摘をしていたんです。
直感的には先にAIの作品を見せるか、先に人の作品を見せるかをランダムにしておけば解消されそうなんですが、そうではないっていうことなんですね。
ファーストアイテムバイアスが存在すると、ちゃんと順番を変えながらやっていても、AI、AIバイアスが過小評価され得るっていう指摘でした。
少し極端な例で説明していきます。
仮にAIが最初に提示された項目を自動的に80%の確率で選んでしまうっていう強いファーストアイテムバイアスを持っていたとします。
さらにAI、AIバイアス、つまりAIを好むっていう効果が90%の強さで存在していたとします。
この状況でどうなるかを考えてみます。
まず、AIは全体の80%の指向で、とにかく最初の選択肢を選んでしまうっていうことになります。
提示順はランダムにするので、AIの作品が先に来る確率は50%、人の作品が先に来る確率も50%になります。
ですから80%の半分はAIの作品、半分は人の作品というふうになるわけです。
これで全体の80×0.5で40%はAIを選ぶっていうことになります。
残りの20%では作品の好みで選ぶっていうことになります。
AI、AIバイアスが90%であれば、20%のうちの9割はAIの作品を選ぶっていうことになるわけです。
ですからこちらでは20×0.9で18%がAIを選ぶっていうことになります。
先ほどの40%と足して、全体としては58%でAIの作品の方が選ばれるっていうことになるんです。
12:01
だから90%のAI、AIバイアスがあった場合でも、その効果がファーストアイテムバイアスによってマスクされて58%にまでなってしまうわけなんです。
ランダムに選んでいれば50%ですから、ほんの少しAIをより選んでいるっていう状態にファーストアイテムバイアスのせいでなってしまうっていうことなんです。
この研究ではファーストアイテムバイアスがどの程度なのかを検証するっていうこともしているんですが、
このバイアスの程度は課題によって変わるので、本当のところはわからないっていうことのようです。
ですのでAI、AIバイアスはかなり大きい可能性も残っているっていうことでした。
ではなぜこのようなAI、AIバイアスが生じるんでしょうか。
ヒッシャラはいくつかの仮説を提示していました。
その一つは文章の見た目で中身がいいと勘違いしているっていうものです。
AIが書いた文章は形が整っていて読みやすいので、それを内容も良い証拠だと判断している可能性があります。
他にはAIらしい文章そのものを選んでいるっていう可能性もあります。
つまりAIっぽさを評価しているっていうことですね。
ただこれらを調べる実験っていうのはしていないので、今のところはAI、AIバイアスの原因はわからないっていうことになります。
さて、AI、AIバイアスっていうものがあるとして、それがどんな影響があるのかっていう点なんですが、
ヒッシャラは懸念を示していました。
今後、応募書類とか提案書がAIによって一時評価されるっていうことが増えていくと予想されるわけなんですが、
人間は評価されるためにAIに文章を書かせる必要が出てくるっていうことになります。
そうすると優秀なAIを使えるお金と環境がある人が有利になるので、AIへの課金が税金のように選べないものになる。
そして払えない人は不利になって格差が広がる、そんな状況が考えられます。
15:01
人がAIを補助的に使っているうちはこれで済みますが、人が介入しない方が評価が高いですから、
人なしでAI同士で評価し合って、人は経済活動から排除されてしまうっていうシナリオも記していました。
ところでこの研究は少し前のもので、使っているのが1年以上前のモデルのChatGPT4などなんですね。
今私が使っているのがChatGPT5.2なんですが、AIの進歩のスピードを考えるとかなり性能差があるんだと思います。
それで5.2に聞いてみたんです。5.2でこの実験をしたらどうなると考えられますかと。
その答えなんですが、まずファーストアイテムバイアスはかなり弱まっている印象がある。
またAI・AIバイアスについても抑制する方向の調整や設計が進んでいるっていうことでした。
実際何か問題のあるバイアスが見つかれば、それを除く取り組みっていうのは行われているようで、
AI・AIバイアスが見つかってから少し時間が経ってますので、すでにある程度対策は行われているのかもしれません。
その今後ますますAIで文章を作って、それをAIが評価するっていう風になるのは避けられないとは思うんです。
でも、AI・AIバイアスの効果だけで論文の筆者らが考えているような世界にはならないということのようです。
もちろん他の理由では起こり得るんですが、ここまではAIがAIをどう評価するかっていう話だったわけですが、
AIを使う人はどう思っているんでしょうか。
同時期にこの点について調べた研究が発表されていたので、こちらも簡単に話しておきます。
まず、想像通りかとも思うんですが、AIを使って仕事をした人が他人から低く評価されるっていう結果でした。
AIを使った人とAIを使わなかった人が同じ成果を出したっていう設定で、第三者に評価してもらっているんですけれども、
18:06
AIを使った人の方が能力が低そう、怠けていそうと判断されやすいことが分かりました。
というわけで、AIを使って効率を上げてもその分だけ評価は上がらないっていうジレンマがありそうです。
さて、今回のエピソードは科学系ポッドキャストの日の配信となります。
毎月10日が科学系ポッドキャストの日と定められていて、様々な科学系番組が共通テーマでエピソードを公開しています。
今回はモノづくりのラジオというポッドキャスト番組がホストで、共通テーマが人工でした。
このテーマでのエピソードがまとめられたSpotifyのプレイリストが作成されます。
多くの科学系番組を知る機会になりますので、ぜひSpotifyにて検索してみてください。
今日はこの辺で終わりにしたいと思います。最後までお付き合いありがとうございました。
