Claude Fable 5の概要とMITOSからの進化
アンソロピックのfable5が発売されました。地元でかなり話題になってきておりますけれども、私も公式情報をいろいろ調べてみたりとか自分で実際に使ってみていろいろ分かってきたことがあったので今日はその感想も踏まえて話していきたいとおもいます。
まずはじめにfable5とは何者かという話から整理していくんですが、正式名称はCloud Fable5ですね。
オーパスの上位モデルになっております。なので、ハイク、ソネット、オーパス、フェブルとなっておりますが、このフェブル5が出る前に話題になっていたモデルがMITOSですね。
MITOSも同じようにオーパス越えの上位モデルと言われておりまして、ただこれ全員は使えなかったんですね。
4月からリリースされていたんですが、MITOS PREVIEWという名前で、プロジェクトグラスウィングというプロジェクトの中だけで使われていました。
なんでこういうプロジェクトの中だけで使われていたかというと、非常に賢いと、賢すぎるが上にいい部分で使えればいいんですけれども、
例えばセキュリティの脆弱性を見つける機能がすごく高いっていうのがあるので、それを悪用する人が使ってしまうと、まだ公開されていない脆弱性を見つけて、それを使って何か攻撃をしてお金を稼ぐとか悪いことをするみたいなことができてしまうので、
このプロジェクトグラスウィングに所属している信頼される企業にだけ公開して使ってもらうみたいなことをやっておりました。
今回はこのMITOSのモデルに対して脆弱性があるところを探してみたいな依頼をした場合は、それに対してフェブルが回答するのではなくて、そこの1個手前にAIの分類機判定機能があってこれは危ないと、
この質問は何か場合によっては悪意がある可能性があるというものは従事に分類機でオーパスに振り分けられて、オーパスから回答が入ってくるというような調整がされたモデルとなっております。
このフェブルを使う時のターゲット、どういった時に使うかというところで言うと、人間でやった場合大体1日とか1週間とか1ヶ月とかそれぐらい長期のタスクをやるときに非常に有効だというふうにされていますので、そういった用途で使ってみるといいんじゃないかなというふうに思います。
ベンチマークスコアとコストの比較
ではですね、実際のベンチマークスコアをまず見ていきたいと思うんですが、私がいつも気に入って見ているカーサーベンチ3.1で見ていこうと思いますけれども、
まず既存のクロードのモデルと比較していきますが、フェブル5のHIGHとオーパスの4.8で比較すると、ベンチマークスコアはフェブル5が70.6、一方でオーパス4.8が58.4と12.2ポイントの差が出てきております。
これは今までの他のモデルに比べても圧倒的な性能が出ているので、これはすごいなという状況ですね。
コストなんですが、このベンチマーク1発走らせるのにいくらかかったかという観点ですが、フェブル5は10.81ドル、一方でオーパス4.8は4.41ドルなので約2.5倍ですね。
かなりお金もかかります。性能が高い分お金がかかりますという状況です。
それで単純にAPIの価格を比較すると、フェブル5とオーパス4.8というのは2倍の単価があります。
実際のベンチマークのスコアで見ると2.5倍お金がかかっているというところなので、単純に価格が2倍になってますよだけではなくて、実際の実利用で言うともっとかかるんじゃないかというところが示唆されますね。
この辺り注意ポイントだと思います。
エフォート設定とコストパフォーマンスの意外な事実
意外な点、これ面白いなと思ったところは、フェブル5のエフォートがローとオーパス4.8のマックスですね。
一番エフォートが高いのを比較すると、なんとフェブル5のローの方がベンチマークスコアが高いですね。
フェブル5は64.2%に対してオーパス4.8のマックスは63.8%なので、これは非常に面白いかなと思います。
それで加えて価格を見ると、オーパスのエフォートハイで回すよりもフェブルでローで回した方が価格も安いですよね。
なので今まで例えばオーパスでやってうまくいかないなってなって、じゃあマックスでやってみようってやるのであれば、
むしろフェブル5のローでやった方がいい性能が出る可能性があるというところを頭に入れておくと使い分けうまくできるんじゃないかなと思います。
安全性、データ保持、および導入上の注意点
では次のトピックについて話していきます。安全性とデータ保持の話ですね。
まず1個目ですが、先ほども話したフェブル5は非常に賢い。ただ賢すぎるが故に悪用されるリスクがあるということで、
特定の医療域の質問に対しては自動的にオーパス4.8にフォールバックされるという機能が実装されています。
どのような領域かというと、サイバー攻撃、あとはバイオロジーですね。
バイオロジー、科学兵器みたいなところの質問、それから上流攻撃ですね。
このフェブル5を教師データとして使って上流したモデルをいろんな他のAIベンチャーが使っているんじゃないかという話がありますが、
そういったものを防ぐと、そういったものは自動的にオーパスにフォールバックされるというふうに書かれています。
公式によると、このように自動的にオーパス4.8にフォールバックされる率というのは5%未満と言われているので、
そこまで気にする必要はないと思うんですが、例えば善意を持ってセキュリティ対策をしたいみたいな時とかも、
このフェブル5が使えないという場合があるかなというふうに思っておりますので、
このあたりはちょっと残念ではあるんですが、善意の場合と悪意の場合って単純に判断できないので、
これはまあ致し方がないかなと、この世の中の安全性を確保するために仕方がない妥協点だなというふうに感じております。
もう一個、これは企業に導入する場合は非常に大きい話だと思うんですが、30日間のデータ保持が必須となります。
今までのモデルであれば、そもそもデータは保持されません。もちろん学習にも使われませんっていう規約だったんですが、
このフェブル5を使う場合は、プロンプトと出力の全文が30日間保持されるようになります。
ただしですね、この保持されるデータというのは学習には使われないということが明言されているので、
このあたりは安心なんですが、そもそもデータがどこか外の会社に置かれている30日間ではありますが、
置かれているっていうのを許可できないという会社もあると思いますので、このあたりは社内調整が必要な部分ですね。
現在の利用対象者と今後の提供形態（クレジット制移行）
では今の段階でどういう人が使えているかというと、プロ、マックス、チーム、エンタープライズプランの人が全員使えています。
価格はそもそもサブスクライに含まれているので、実質ノーカウントではあるんですが、
インプットが10ドル、アウトプットが50ドルですね。なので先ほども触れたようにオーパスの2倍コストがかかります。
現状6月22日まで今のサブスクリプションプランの中に同婦同婚されているので、そのプランごとに設定されている上限まで使うことができます。
それで6月22日以降は別途クレジット制と言われていて、どういう風なクレジットになるのかまだ公式のアナウンスはないんですけれども、
今までのようにサブスクの中に同婚されているという状況ではなくなってくるので、
使いたいという方はぜひ6月22日まであと10日ちょっとありますけれども、使い倒してみていただけると良いかなと思います。
使用レビュー1：カンバンボードの実装
では最後に使ってみた感想なんですが、私は2つのシーンで今回フェーブル5を使ってみました。
1つ目はエージェントが常駐した看板ボードみたいなのを作ろうと思っていて、それをやってもらいました。
イメージとしては普通の看板ボードがあって、そこをクリックするとクロードを起動するのかカーサーを起動するのかボタンがあって、
起動するとターミナルがブラウザー上に出てきてエージェントと一緒に作業ができるみたいな看板を作ろうと思ったんですが、
それをフェーブル5でプランニングから依頼をして、やってみた結果プランニングは一発でやってその後実装をやっていくんですが、
普通は5から10回ぐらいはやりとりがあってやっとこれ使えるなってものになるかなというふうに思っていたんですが、
なんとワンショットでできちゃったっていうのが非常に驚きでした。
もうこれで使えるじゃんみたいなレベルまでワンショットで持っていかれちゃったのでこれは非常に驚きでした。
かつこの実装するプランニングは結構すぐ終わったんですが、実装するのはですね、4時間とか5時間とかずっと走りっぱなしでやってくれたので、
このあたりの実装力みたいなところも高いなというふうに感じたところでした。
この看板ボードっていうのは意外と難しくてですね、そもそもブラウザ上にターミナルを描画するっていうのは難しいですし、
実際にはブラウザ上動いているわけではないので裏側で動いていて、それをウェブソケットでリアルタイムに通信しながら画面に描画するみたいな実装になっているんですが、
このあたりもなんなく特に何も指示することなく自分でこういうふうにやった方がいいって判断をしてやってくれたので、非常に賢いなというふうに感じました。
使用レビュー2：VFX動画の生成
もう一個のシーンが動画編集ですね。会社でちょっとした動画編集をやるタスクがあってですね、
これは動画編集というよりかはエフェクトのあるVFXみたいなそういったものを作ろうと思っていたんですが、そもそも自分でこれをやろうと思ったらできないです。
単純に動画編集を切って貼ってはできるんですけど、こういうVFXみたいなエフェクトはそもそも自分じゃできないのでこのフェブル5でやらせてみたんですけれども、
これプロに害虫したら一体いくらかかるんだろうみたいなレベルすごいクオリティのものがこれも一発で出せましたね。
今までもクロードのオーパスとかで同じような動画VFXの動画を作ったことがあるんですが、全然比べ物にならないクオリティでした。
これをざっくりとした肌感でお伝えすると、これを害虫するといくらぐらいかかるだろうなっていうので測ってみると分かりやすいんじゃないかなというふうに思ったんですが、
オーパスで作ってもらった以前作ってもらったものを例えば害虫してお願いするとイメージ20万から50万ぐらいで害虫できるかなというものなんですが、
このフェブル5でできたものは100万円ぐらいかけて依頼しないと出ないんじゃないかなみたいなものが出せたのでこれは本当にすごかったですね。
ちまたではベンチマークの単純に科学習なんじゃないかなという意見もありますが、実際に私が使った限りでいうと明らかにオーパスよりも性能が高いし、しかもスピードも速いんですよね。
なので6月22日までは一応サーブスクリプションの中で使えますけれども、もうずっとフェブル5でやりたいなという印象ですし、
6月22日を超えた場合はクレジット制になる。おそらく非常に高い金額になると思いますが、すごい使いたいなという気持ちではありますね。
一方でおそらくとんでもない金額になるので、現実問題で使えるかというと厳しいところではあるんですが、そういった感想でございます。
まとめと今後の期待（クレジット制移行とサブスク復帰への期待）
公式のアナウンスメントによると6月22日以降は一旦クレジット制になるんですが、できるだけ早い段階でまたサーブスクの枠の中に戻したいという言及があるので、
まずはこの6月22日まで使い倒すというところと、価格が見合えば6月22日以降もクレジット制で使う。ではおそらく難しいので、それ以降ですね、1日でも早くサーブスクの枠の中に戻ってくるのを期待したいところです。
ということで今回はクロードフェブル5が出たので公式のドキュメントであるとか、ちまたの噂、実際に自分が使ってみてどうだったかみたいな話をしてみました。
ベンチマークスコアもすごく高いんですけれども、私自身実際に使ってみてワンショットで非常に複雑な実装ができたという体験のインパクトが非常に大きかったですね。
一方で30日のデータ保持期間があるとか、6月22日以降は一旦クレジット制になるなど導入の壁もあります。
なのでまた今後の動向に注目していきたいと思いますし、何かアップデートがあればこのDevelop FMでも共有していければなというふうに思っております。
番組紹介とエンディング
ということで最後に番組の紹介をさせてください。
この番組Develop FMはYouTube、Apple Podcast、Spotifyなどで配信しております。
ぜひお好きなプラットフォームからサブスクライブをお願いします。
ご感想、リクエストなどもしございましたら、ハッシュタグDevelop FMで呟いていただくか、概要欄のフォーム、コメント欄よりいただけますと幸いです。
チャンネル登録もぜひよろしくお願いいたします。
では次回の配信でお会いしましょう。ご視聴ありがとうございました。