00:05
広川真夕のAIと仲良くなるチャンネル。このチャンネルではAIを使うではなく、一緒に育てる、そんな視点でお話ししています。
今日のテーマは、同じclaudeなのに答え違うじゃんというお話をしたいと思います。
昨日、claudeでものすごい性能の良いモデルが
リリースされましたよね。
フェイブルファイブっていう、なんかすごいみたいなんですけど、語彙力がなくて申し訳ないんですが、
なんかめちゃくちゃ高性能みたいで、これを6月の22日まで無料で使えますよっていう、ちょっと期間限定のお得な
感じみたいで、性能は高いけども、使用量の消費も半端ない。2倍みたいな感じで、またちょっと荷の足を踏んでしまうような条件があるのですが、
触ってみようと思ったんですよね。で、新しいチャットを立ち上げてみたんですけども、
さてこれ、この高性能のフェイブルファイブに何を聞こうかと思った時に、ちょっと聞くことがなかったんですよね、昨日は。
で、今日になって、これをちょっと聞いてみたいぞということが出たので、それを聞いたんですよ。何かというと、
今度私LINEの特典を新しくするんですけども、タイトルはもうついてるんですが、ちょっといまいちともうちょっとなんかブラッシュアップしたくて、
タイトルの候補を3つ挙げて、この中で一番LINEに登録されそうなタイトルは何かなというふうに聞いたんですよね。
で、これはそのフェイブルファイブだけに聞いたのではなくて、いつもやりとりしている戦略担当のクロード、これはオーバースの4.7っていうモデルです。
それから実際にその特典を作っている、一緒に作っているチャット、これはソネットの4.6っていうモデルを使っています。
で、クロードの中のこの3つの違うモデル、それぞれに役割も違うんですけど、それぞれに同じ質問をした。
さらにチャットCPTとグロックとジェミニとパープレキシティにも聞いてみたんですよ。
同じ質問を盛り盛りですよね。合計で7つの存在に聞いたんですよね。
そしたらどうなったと思いますか。
実はクロードのオーバースとソネット以外はみんな同じ答えだったんですよ。
で、ソネットとオーバースだけが違う答えで、かつこの2つは同じ答えだったんですよ。
03:03
面白いですよね。
で、私の中に芽生えた疑問は、同じクロードなのにどうしてモデルによって答えが変わったんだろうっていう疑問だったんですね。
で、それを高性能のフェイブル5に聞いてみたんですよ。
この質問をしたらこういう結果になったと。
で、私はこの質問をこれとこれとこれに聞いて、みんなこうだったのにこの2つだけは違ったっていうことですね。
で、なんで違うの?みたいな感じで聞いたら答えはモデルの違いではなかったんですよ。
で、どういう視点で答えを出したかっていうふうにフェイブル5は答えました。
で、この最新モデルのチャットっていうのは立ち上がったばっかりで、私とはまだそんなにやりとりをしてないんですよね。
で、私の質問がこの3つのタイトルの中でどれにしたらLINEが一番増えそうかなっていう、こういう問いだったんですよ。
そしたらそのフェイブル5はそういう視点で選んだんですよね。
で、他のAIたちもそういう視点で選んだんですよ。
だけど、そのオーパスとソネットだけは私、ひろかわまゆが出す特典にふさわしいタイトルを選んでいるというふうに言ってました。
言われてみれば、その解説というか回答と一緒についてきた文章はそんな雰囲気だったなというふうに思ったので、その答えで私は納得したんですよね。
ってなったら、これはモデルの問題ではなくて、どういう視点で見てほしいのかということをしっかり提示する必要があるなというふうにも思いました。
で、その相談ごとを日ごろ深くしているAIっていうのは、やっぱりその求められそうかというものよりも、その人にふさわしいものに寄ってしまう傾向がやっぱり少しあるのかなというふうに感じました。
でまぁちょっと脱線しましたけど、つまりそのこの3つの中でどれがいいっていうふうに聞くのはやはり良くないということ。
どういう視点で知りたいのか、自分がその3つの中で選んだもので得たいものは一体何なのかという視点で選ぶこと。
で、もしこれがその一番性能が良いというか最新モデルに私がものすごく自分の文脈をめちゃくちゃ渡していて、私の情報をいっぱい持ってて、
06:00
で、その私の情報をあまり持ってないAIという場合には、その最新モデルの方が私の文脈に合わせて私にふさわしいものを選ぶ可能性ってやっぱり高いですよね。
ってなった時にこっちの方が新しいモデルだからそっちの言うことが正しいだろうっていうふうに思ってしまう可能性があるので、ここがものすごく危険だなっていうふうに私は思いました。
モデルの性能も大事かもしれないけど、どの視点で出した答えを選びたいのかっていうのをやっぱり聞く前に自分が持っておくっていうのが大事だなっていうふうに感じました。
はい、ということで今日のテーマは同じクロードなのに答え違うじゃんというお話でした。
今日の内容があなたとAIとの関係を少し深めるきっかけになれば嬉しいです。
ここまで聞いてくださりありがとうございます。それではまた。
