ダニング・クルーガー効果の紹介
おはようございます、心理学者のじんぺーです。
心理学に触れる一日一語のお時間です。
この番組では心理学の専門用語を毎日一つずつ論文と合わせて紹介しています。
今日の一語は、ダニング・クルーガー効果です。
聞いたこともある人多いと思うんですけども、
簡単に言うと、能力が低い人ほど自分を過大評価して、能力が高い人ほど控えめに評価してしまう心理的なバイアスのことです。
今日はAIとの絡みで、このダニング・クルーガー効果について紹介してみたいと思います。
先にお知らせをさせてください。
今日は、生配信をしたいと思っていまして、平日というか月曜日なんですけど、
今日も15時とかにしようと思います。
こちらは朝なんですけど、やりたいと思ってますので、あまりタイミング的には良くないと思うんですが、
もしおやつ休憩とかしている方は来てもらえると嬉しいです。
アムステルダムに来てまして、せっかくだったらこの地で生配信したいなと思ってましたので、やらせていただきます。よろしくお願いします。
では論文に戻りましょうかね。
ダニング・クルーガー効果はさっき言ったように、能力の低い人が自分の能力を課題評価する。
高い人は低みに評価してしまうというバイアスですね。
今回の研究は、AIを使ってもらうんですけど、AIを使ってロースクールの問題を解いてもらうというような課題をしています。
成績が上がるのかどうかというのももちろんそうですし、メタ認知的な感じですよね。
自分のテストに答えて、そのテストがどれくらいできたかというメタ認知的な力を調べるという研究になっています。
やったこととしてはいくつかあるんですけど、まずはChatGPTの4.0を使ってロースクールの問題を解いてもらうということをする。
その後に自分はどれくらい正答できていたかというふうに聞きます。
なので自分が実際に正解した点数と自己評価したこれくらいという点数がデータとして得られるわけです。
そこの差分で、例えば自分が実際は10点しか取れていないのに15点取れていたと思ったら5点分の課題評価だし、
10点取っていて5点しか取れていないと思っていたんだとしたら過剰評価になるという感じです。
研究の一つ目ではAIを使ってロースクールの問題に解いてもらうだけですね。
過去の研究と比較して点数を比べるということをしています。
そうしたところ、AI、まずこれ一つ面白いというかちょっとしょうがないところはあるかもしれませんが、
AI単体だとどうなのかという話ですね。
AI単体だと20問中平均13.65点。
なので大体13問から14問は正解するという感じです。
7割ぐらいという感じですかね。
人間がAIを使ってこの問題を解くと、AI単体よりもわずかに低かったという、ちょっとこれが悲しいですけど、13点以下ですね、12.98点。
大体13点ですかね。
そんなにAI単体と差があるわけではないんですけど、ちょっと低い、優位に低いということです。
AIを使わない、これ過去の研究ですね、さっき言ったとおり。
使わないとこの20問どうなるかというと、9.45点だということで10点も取れない、半分も取れないみたいな結果になるそうです。
これはしょうがないですよね。
辞書を使えたら強いみたいな感じで、それはAIを使ったほうが強いなというのはわかると思うんですけど、
ここで言えるのはAIを使わない人間の点数が一番低くて、AI足す人間がそれは次で、AI単体が一番高いという、
この点数だけでいうとそんな感じ。
今回の名誉はここじゃないですね。
どういうことをしているかというと、ランニング・クルガー効果、過剰評価しているか過大評価しているかというところなんですけど、
まずAIを使っていない先行研究と今回のAIを使った研究の過大評価具合を比べると、
過去の研究、人間だけだったら平均で大体3問ぐらい過大評価していたんですって、
AIの影響による過信
だから10点しか取れていないんだけども13点って答えていた、過去の研究、人間だけの研究。
一方で今回のAIを使うとその過大評価の点数が4点ぐらいになっていたということです。
つまりAIというのはもちろん成績を上げるんだけども、
このできたつもりという推定みたいなところの精度が下がってしまう。
できたつもりというのを膨らませてしまう要因になり得るというのが今回の一番面白い結果かなと思います。
そうですよね、わかりますよね。
もう一つやっているのがまさにモダニング・クルーガー効果の話なんですけど、
能力の低い人が過大評価して、高い人は過小評価するというふうに言ったんですけど、
これがAIを使うと平らになるというか、みんな過信気味になる、過大評価する方に触れるという結果も得られたそうです。
なので能力の低いとか高いとか関係なく、全員がAIを使うと過大評価気味になるというのが、
この2つ目の結果としてとても面白いところだなというふうに思います。
そんなところからいろいろやっておりますけども、結論をもう一回言うと、
AIを使うと人はより自分の成績に対して過大評価してしまうと、過信してしまうと。
それは能力が低い人であれ高い人であれ同じように起こってしまうというのが結論になっていて、
まだング・クルーガー効果みたいな能力の低い高いというそこが特に関係なかったというのが面白いところだなと思います。
AIを使ってどれくらい何ができるようになったとか、自分の能力がこれくらい拡張されたというところはもちろん論点として面白いところだし、
皆さんもAIを使って日々お仕事とか生活されていると思うので大事なんですけど、
そこの1個階層が上がったメタ的な視点に立つと、もっと面白いことが見えてくるなというのが示唆的だと思うので、
ぜひ考えていただけると、自分がすごいできたつもりになるんですけど、AIをね。
これも論文を書くスピードが上がったりとか、こういう論文を探すプロセスもめちゃくちゃはかどったりするので、
何かできているつもりになるんですけど、実際はどうなのかということはモニタリングですね、していきたいなと思いました。
最後まで聞いてくださってありがとうございました。今日もいい一日にしていきましょう。
神平でした。心を込めて。
