Geminiのファクトチェック結果
はい、こんにちは、清鷹です。今日はですね、ファクトチェックをAIにさせたら、Geminiが一番ダメだったっていう話をしてみます。
ちょっとブログというか、ノートでですね、記事を書いてて、一つテニスの選手に関するエピソードっていうのを
ちょっと載せてですね、それをファクトチェックをしてもらったんですよ。AIに、複数のAIに。一つはGemini、課金してるんですよ。
Gemini Flash 2.5 Proだっけ、あ、ちゃう、で、Geminiなんとか、Pro版と、それから
ChatGPTと、クロードと、それからGlockっていう、あのX、Twitterの
とこが出してるやつですよね。で、あとパワープレキシティとフェローとですね、そんだけ5つか、5つ使ったのかな。
そしたら、
検索したのは、この2025年の4月のマスターズでしたかね。で、優勝した選手の話だったんですけど、
そのエピソードなんですけどもね。 どのエピソードかというと、
トーナメントを勝ち進んだけれども、最後の最後でですね、メンタル的な弱さがあったんでしょうかね。
そこでは優勝が決まらなくて、最後優勝決定のプレイオフにまでですね、もつれ込んでしまったということだったんですけれども、
そこでその、ものの見方を切り替えてですね、
試合に臨んだ結果、プレイオフでは見事優勝を勝ち取ったと。プレイオフを経て優勝を勝ち取ったという、そういうエピソードなんですけど、
そのエピソードについて、実際にどうだったのかというところをですね、ファクトチェックしてくださいということで、それぞれ投げたんですけどね。
Googleは事実がありません。Googleじゃない、GEMにか。GoogleのGEMには事実はありませんというふうに言われたんですよ。
2025年の4月、つい最近ですよね。今も4月ですけど、つい最近のエピソードなんですよ。
だから検索して調べるのかなと思ったんですけど、GEMには検索もせずにそんな事実はありませんみたいな感じで出してきましたね。
クラウドもそんな事実はありませんって出してきたんですよ。
それも検索をしたけど、そんなエピソードはわかりませんって言ってきたんですよね。
パワープレキシティ、検索AIのパワープレキシティもそんな事実はありませんって出してきたんですよ。
あれ、これやっぱり事実ないんかなと思ったんですけど、検索AIのフェロと、それから、フェロでは出てきたんですよ、こういうことを、それは事実ですって言って。
あとはですね、チャットGPTも4Oで検索をして出してきましたね。
自分はデータ持ってませんということで検索をして出してきましたね。それは概ね事実ですと。
それから一番しっかり出たのがGlockでしたね。Glockはすごく細かいところまで検証して、
で、キャディがアドバイスをしたんですけども、そのキャディがアドバイスした言葉っていうのはちょっと翻訳がかなり違約されてますみたいな、そういう感じの答えだったんですよね。
その結果を見て、確かにその原点に当たってみるとそういうことにもなってるし、
ということで、これは事実として根拠もありますぜっていうことでジェミニに投げたんですよ。
そしたら、いやいやそんな事実はありませんって、また検索もせずに言ってくるんですよ。
それはこのファクトチェックをしているAIが間違ってますみたいなことを言ってくるんですよ。
だから、これどうなんと思って、そしたら、こういう事実があるって言ってるんやけども、あなたが事実がないというところで、このURL見てないという根拠を教えてって言ったらごめんなさいって言ってたんですよね。
ありましたって言って。すごいでしょ。そこまでしないとダメなんですよね。どうしてくれんねんって言ったらすみませんみたいなことで返してきましたけど、もうびっくりしましたね。
Googleなのに検索もせずに調べてきてありませんって言っているという。
さらにひどいのがですね、ディープリサーチなんですよ。ジェミニがすごいということでテストで課金をしてみたんですよね。有料版なんですよ。
有料版のディープリサーチを使ってみたんですけど、ディープリサーチ使っても出てこないんですよ。そんな情報はありませんって言って。
他のAIの比較
で、2025年の4月の情報も含めて調べましたか?って言って調べてもありませんって言ってくるんですよ。
ちょっとちょっと待てと。ちょっと待てと。 言って調べさせたんですけど
出てこなかったんですよ。 ひどいでしょ。ひどいでしょ。
ちょっとね、Google、ジェミニ信用できないですよ。
やっぱりねファクトチェックっていうのもGoogleだし検索して調べてくるだろうって思ってやってても全然ですし。
で、他もねパワープレキシティとか、クロードはあんまり期待してないですけど、検索AIのパワープレキシティでも事実がありませんって言ってくるし
これちょっとどうなんかなと。どうなんかな。情報が最近すぎるってことなのかな。
ちょっとね、やっぱり複数のその検索AIを使わないとファクトチェックも危ういっていうのが今回わかりまして。
で、なおかつ言うようにしてんのに、ディープリサーチしてんのにジェミニはひどいという、そういうお話でございましたけども
いやーちょっとこれなかなかね一筋縄にはいきませんね。ファクトチェック気をつけたほうがいいですよ。
というお話でございました。それではまた次回お見にかかります。さようなら。
