THE SECOND大会の結果をAIチャットで比較
今年から開催されました新しいお笑いの大会、THE SECONDが、昨日5月20日に開催されました。
こちら皆さんご覧になりましたか?
僕は囲碁将棋とかなり長い付き合いで、彼らが結成する前からの付き合いなども20年以上の友人なんですけども、
そんなこともあって、個人的な感情が入ったというかね、熱が入って応援してしまいました。
今日は、別にTHE SECONDの話をしたい雑談会というわけではなくて、
昨日開催されたばかりのTHE SECONDの結果について、
チャットGPTとBirdとリングのAIチャット機能、それぞれに同じ質問をしたら、どんな回答が返ってくるのかっていうのを比較したいと思います。
チャットGPTにブラウジング機能が実装されてから、Birdとの比較を日々やってるんですけど、
チャットGPTが間違うこともありますし、Birdが正解することもありますし、
もちろんその逆もあるんで、あくまでお遊び的な実験だと思っておいてください。
そしてここからはTHE SECONDのネタバレも含む内容となっていますので、
もしTHE SECONDの結果を知りたくないという方は、ここで引き返していただいて、
フィーバーなどでTHE SECONDを見てから、またこちらの動画に戻ってきてください。
それでは、チャットGPTとBirdとBingのAIチャットに同じ質問をして、それぞれの回答を見比べてみます。
検索する必要があるため、チャットGPTはブラウジング機能をオンにしてから質問を投げます。
最初の質問はこちら。
THE SECONDで優勝したのは?
シンプルな質問からしてみます。
チャットGPTのブラウジング機能をオンにすると、
回答が表示されるまでに時間がかかることが多いのですが、
今回は短いシンプルな質問だったからか、あっという間に回答が表示されました。
チャットGPTの回答は、
THE SECONDの優勝者についての比較
THE SECONDの優勝者はギャロップでした。
という具合に正確な回答をしてくれました。
次に同じく、
THE SECONDで優勝したのは?という質問をBirdに投げてみます。
Birdはとにかく回答が早いのが特徴です。
優勝者がギャロップであることに加えて、
THE SECONDのサブタイトルまで正確に出力してくれています。
最後に、BingのAIチャット機能にて
THE SECONDで優勝したのは?という同じ質問をしてみます。
BingもチャットGPTと同じくGPT4を搭載していて、
出力にやや時間がかかるものの正確な回答をしてくれるのが特徴です。
こちらもギャロップが優勝したことを正確に回答してくれました。
ちなみにBingのAIチャットの場合、
決勝トーナメントでの最高得点者についての比較
関連する記事と次の質問の候補も表示してくれるのが便利です。
次の質問ではもう少し踏み込んでみます。
THE SECONDの決勝トーナメントを通して、
最高得点は誰の難点?という質問をしてみました。
こちらちょっとしたひっかけ問題というか、
今回の大会で最高得点は284点で3組が並んだんですね。
最高得点という言い回しから、
1組だけをピックアップしたりしないか心配でしたが、
チャットGPTは正確に
マシンガンズ、ギャロップ、囲碁将棋の3組が
最高得点である284点を獲得したと回答してくれました。
続いてBirdに
THE SECONDの決勝トーナメントを通して最高得点は誰の難点?
という同じ質問をしてみたところ、
見事ひっかけ問題に引っ掛かり、
マシンガンズとだけ回答しました。
Birdは3つの回答から選択できるのも特徴で、
他の回答も見てみましたが、
他の回答はさらに間違った情報が山盛りでした。
こんなことを言いたくはないんですが、
マシンガンズは数々の賞を受賞してません。
リングのAIキャットでも同じく
THE SECONDの決勝トーナメントを通して
最高得点は誰の難点?という質問を投げたところ、
得点自体も間違っていました。
リングのAIキャットに限らず、
タイバー型AIサービスはこういうことがたびたび起こるので、
情報を信頼しすぎないようにしましょう。
最後にもうちょっと複雑な質問をしてみます。
THE SECONDは審査員100名が
THE SECOND決勝トーナメントの回答比較
とても面白かったら3点、面白かったら2点、
面白くなかったら1点を入れるシステムで、
決勝トーナメントを通して
1点が1人も入らなかったのは
ギャロップと囲碁将棋の2組だけでした。
これを踏まえて、
THE SECONDの決勝トーナメントで
1点が0人だったのは誰?という質問をしてみました。
この質問に対してチャットGPTでは
正確に回答してくれました。
バードで同じくTHE SECONDの決勝トーナメントでは
1点が0人だったのは誰?と質問してみたところ、
ついにバードのポンコツっぷりが出てしまいました。
出場していない芸人さんの名前を羅列しています。
他の2つの回答を見てみても間違いだらけで、
そんな中に正解であるギャロップの名前も含まれていたり、
若干の真実が混ざっているのが余計に厄介です。
この質問に関しては
リングのAIチャットも正確な回答ができませんでした。
その情報が記されたページのURLを貼り付けることで
正確な回答を導き出せることがあるため、
バードで試してみましたが、これもダメでした。
大会のルールをきちんと説明した上で質問しないと
正確な回答までたどり着けないかもしれません。
リングのAIチャットでもURLを貼り付けて質問してみましたが、
こちらでは先ほどと回答が全く変わらなかったので、
該当するページを参照してくれていないかもしれません。
というわけで、昨日行われたばかりのTHE SECONDについて
ChatGPTとバードとリングのAIチャット機能にそれぞれ聞いてみて
どんな回答が返ってくるかを比較してみました。
ChatGPTとバードの比較
今回の結果だけを見ると、やっぱりChatGPTが最強だなって思ってしまうんですが、
ChatGPTは回答に時間がかかるっていうデメリットもありますし、
他の質問を投げたら、
間違った回答をすることもありますので、
最終的には合っているのか間違っているのかを
自分で調べ直して検証して使うのがいいと思います。
また、バードはベータ版ということもあって、
今後どんどん進化していくと思いますので、
そちらの進化にも期待したいと思います。
今回紹介したChatGPTのブラウジング機能は、
最近リリースされたばかりで、
フラグイン機能とともにざっくりと触った感想を動画にまとめています。
そちらもぜひご覧ください。
また、ChatGPTについては今後もどんどん掘り下げていきます。
今回のようなバードなどの異なる言語モデルとの比較や、
GPT3.5とGPT4の違いなどもテストしていきたいと思っていますので、
そちらもチェックしてもらえたら嬉しいです。
タダオドのYouTubeチャンネルでは、
ウェブデザイナー、映像クリエイター、ミュージシャンの視点から
便利なサービスやツールを紹介しています。
今回のChatGPTとバードとリングのAIChat機能を比較した動画が
面白かったと思っていただけましたら、
高評価ボタンを押していただけたら嬉しいです。
そしてチャンネル登録もよろしくお願いします。
最後までご視聴いただきましてありがとうございました。
