Claude Opus 5のリリースとFable 5との比較
こんにちは、AI駆動開発部の日常へようこそ。このポッドキャストは、日々AI駆動開発を行う企業家の山本とエンジニアの阿部が、AI駆動開発のリアルを緩く語り合う番組です。
はい、じゃあ本日もよろしくお願いします。
はい、よろしくお願いします。
お願いします。じゃあ、ちょっとだけ遅くはなってしまったんですけれども、
Claude Opus 5が出たので、ちょっとフェーブルと比べてどうかとか、実際に使えるモデルなのかみたいなところを含めて話していけたらいいかなというふうに思っております。よろしくお願いします。
はい。
何かね、一応、ClaudeのOpus 5、面積目上でいうと、フェーブルに一部超えるものもあったりとか、あとハリケーンか何かの、Xとかでもあってたけど、デザインというか仕組みとかは、何だったらフェーブルよりも上手いこと作ってたりみたいな、あったりとかするというような、
一部上がっているどころか結構上がっているんだな、フェーブルより。
たぶんほとんどフェーブルより高いぞぐらいの勢いだと思う。
あ、そうだね。
面積目上はね。
うん、そうだそうだ。
てか何、ハリケーンって何?
いや、なんかハリケーンとかそういうやつをね、作ったのが、何かOpusだとこう、フェーブルだとこう、ソルだとこうな感じで、何か見比べてみたいなのがあって。
あ、竜巻みたいなのをだから、何かフェーブルで作らせたみたいな?
みたいなとか、あとは何かクレーンで木をビルにぶつけて壊すみたいな、何かそういうのを作らせたら、Opusだけがちゃんと作れてたみたいなとか。
あ、そうなんだ。
うん、まあみたいな感じで、何か結構いいよねみたいな感じのことは言われてはいるんですけれども。
はい。
はい。
まあちょっとね、お互い実際使ってみてどう思ってるかみたいなところをシェアし合えたらいいのかなというふうに思ってます。
Opus 5のコンテキストウィンドウ逼迫時の挙動と課題
あと何かあれよね、特徴というかその、ミディアムぐらいがいいみたいな噂も出たりしてるよね。
ああ、いるよね。
うんうんうん。
そう、みたいなのもあったりとかして、マックスにすると逆に何か落ちるみたいな、グラフが出てきたりとか、マックスエクストラハイとかにすると。
何かでも、その話が、まあこれも僕試してないのでわかんないですけど、今までのそのプロンプト、だからOpus4.8とかで使ってたプロンプトって結構AIに対して矯正することも多かったと思うんですけど、
こういうふうにしろみたいな、まあ人間側の意図が強く現れていたりして、それが逆にエフォートを上げることで、Opus5がしっかり読み取った結果劣化するんじゃないかみたいな話も。
なるほどね。
うんうんうん。
確かにそれありそうだな、何か意外とね、スキルとかって破綻してて、性能が上がって史実移住性が上がりすぎた結果、良くなくなるっていうのはあるもんね。
そうそうそうそう。
よくあるよね。
それわかるな。
結構モデル出たら見直さなきゃみたいなのは常々ね、思ってるんで、なんかもしかしたらそれかもしれないし。
はいはいはい。
まあちょっとそんな感じではあるんですけど、だからまあ基本的にはベンチマーク的にも良いよと、で、まあ結構良いモデルなんじゃないかと。
で、しかもフェーブルよりも安いしみたいな。
半額でした。
半額どころじゃないんじゃないかな。
本当に?
うん、確か。
まあみたいな感じではあるんですけれども、まあ僕の感覚的にはフレッシュマンだとまあ結構良いじゃんみたいな雰囲気は感じるんですけど、
なんかフレッシュマンじゃない場合が、なんかフレッシュマンかどうかってコンテキストウィンドウが結構逼迫してる状態だと。
結構なんか判断を間違えてましたとか、なんかそういうことを自分で言ってたりすることが多いんですよね。
うーん。
だいたい50万超えたぐらいからかな、なんか。
なんかまあそれがなんか品質がめっちゃ高い、低い、最終的なアウトプットで言うとサブエージェントがどうにかしてくれてるみたいなとこがあって、
だから最終的なアウトプットの品質にはそんなに影響を受けている感覚はないんですけど、
ただなんかそのコンテキストを逼迫したタイミングでオーケストレーター側がミスっちゃってましたみたいな、てへみたいな。
で、なんかサブエージェントが上手くその分やってくれましたみたいな、言ってるのを見ることが多い。
あー。
僕もね、使っててね、結構、まあこれはコンテキストウィンドウはあまり気にしなかったんですけど、
多分ちょっと爪が甘いというか、ぽろぽろ調査漏れが起きていて、
まあそれこそサブエージェントに指摘されて調査が足りてなかったですとか、
あとはまあ僕がなんか言ってることが少し気になるなと思って質問したら追加調査したらやっぱり違いましたみたいなことが。
で、なんかその辺のなんかコンテキストなのかハルシネーションなのかが弱めではあるのかなっていう感じはしてますよね。
うんうん。
そう、まあちょっともうちょっとね、まあ使っていきたいなーっていう感じはあるんですけど、
まあだからなんか、まあ今んところ僕はだから剣刀とかもできるだけフェーブル使わせずに、
まあここっていうところはフェーブル使うけど、
まあちょっとオーパスとフェーブル比べてどうかなと、
まあちょっとやってはいるんですけど、
まあちょっとなんかそうですね、長時間実行系に弱いモデルなのかなみたいな感覚。
まあなんか一方で僕は、僕も同じようにフェーブルをあまり使わないようにして、
計画も含めてオーパス後でやらせるっていうのをやってるんですけど、
まあ結構なんか、なんて言えばいいんだろうな、語り口調がフェーブルっぽいというか、
使い心地みたいなところで言うとすごいフェーブルっぽい感覚はあって、
しっかりその、なんだろうな、糸をよりこう組んでくれるような感じはしていて、
まあなんか調子いい時はやっぱりいいなっていう感じはしますが、
使ってるうちにあれってちょっと出てくるみたいなのが、
穴みたいな感覚ですよね。
まあ実際なんかフェーブルで立った計画もコーデックスとかに見させたら、
ここが穴ですみたいなのが言われてるから、
まあクロードモデルの穴があるとかそういうのはクロードモデルの特徴ではあるのかもしれないね。
まあそうだね。
見守り機能とモデル選定の悩み
なんか最近コーデックスガチガチすぎてどうなんだろうみたいなところも。
あーね、はいはいはい。
なんか保守的によりすぎるから、
そうだね。
コーデックスのレビュー、なんか厳しすぎないかな説が僕の中でちょっと出てて。
まあまあ基本厳しいよねやっぱり。
うん。
ちょっと過剰よりではある。
うん、そう。
まあだからなんかちょっと難しい。
なんかそれこそメディエーターでさ、今見守り機能みたいなのを作ってさ、
まあいわゆる長時間駆動の実行計画とかもそうだし、
まあいろんな計画立てさせるときもそうだしけど、
まあその見守り機能をするとより上位のエージェントセッションがアドバイスをすると。
変な方向に行ってないかみたいな。
うん。
なんかそれをじゃあコーデックスにやらせたらどうなるんだろうとか。
うん。
なんかその方がいいのかなみたいなのかな。
監視役として。
はいはい。
うん。
なんか誰にやらせるのがいいのかなみたいなちょっと最近悩みどころだね。
まあそうだね。
まあオパス、GPTとかは、
GPTとかは特にね銃箱の隅を突く系が多いから、
監視させると結構ね、きつくなるんじゃないかな。
なんか監視じゃなくても起きてるんですよ、なんか似たようなことが。
というと、今ってクロードコードでテーブルとかオパスGOで作業させてて、
まあレビューをコーデックスにさせる。
うん。
まあコーデックスのクロードプラグインを使ってやってるじゃないですか。
なんかコーデックスからの指摘を受けて、
結構なんか元々描いてた方針からガラッと変わっちゃうみたいなのが。
うんうんうん。
いやそうじゃないでしょみたいな。
はいはいはい。
ちょっとそれはなんかすごい視野が狭くなってますよねみたいな指摘をすることがちょいちょいあって、
なんかそれを監視役にさせたら同じようなことが起きそうだなって僕は感じてますね。
いやそうなよね。
なんかスキルを作らせるとかハーネスを作らせる系はもう絶対コーデックスにやらせちゃいけないと思ってるのに。
いやダメですね本当に。
プログラムに寄せすぎるマジで。
うん。がっちり固めてきちゃうから。
もうまさに今僕が話したことはその作業の中で起きてたんで。
はいはいはいはい。
固すぎるとね、なかなかこの辺のもうちょっと自分たちのAIとしてのね、なんか自信を持ってくれよって思うよね。
そうだよね。なんか自分のその思考力はね、信じてないかのような感じだもんね。
本当にそう。
Fable 5登場による感覚の変化とOpus 5の立ち位置
でもなんやかんやオーパスになって、フェイブルっぽい使い心地で、フェイブルのあの謎の50%の利用枠に換算されずにとりあえず使い続けられるっていうのはなんとなくあるんですけどね。
なんかね、オーパス5すごい良いはずなんですけどね、フェイブルの登場によって僕らの感覚がバグらされてるっていうのもありますよね。
確かに。それももう。
最違が爆上がりしてるんで。
うんうんうんうん。
やっぱフェイブルと比較しちゃう。
ちょっと不憫だなと思う。
かなり不憫よね。
そうだね。
オーパス4.8と比べたらもうすさまじく良くなってるんですよ。
4.8と5で比べると。
はいはいはいはい。
でもやっぱフェイブルと比べちゃうんで、微妙だなって思っちゃうんですよね。
かわいそうだなぁと思って。
確かに。
うん。
いやぁまぁそうやんね。
Claude Sonnet 5の価格と他モデルとの比較
うん。
まぁまぁけど、とはいえ頭が良くなってくることは良いことなんで。
あ、そうそう。
どんどんね。
うん。
ソネットもそうだし、ソネットも5。
ソネット5がね、そんなに魅力的じゃないんですよね。
うーん。
高いしね普通に。
あの、頭の良さ的には。
ソネット5はどれぐらいの、おいくらなんだっけ。
ソネット5は、インプットが100万トークンあたり2ドル。
で、アウトプットが10ドルですね。
はいはいはい。
うーん。
そんなに、そんなに安いわけ?
まぁオーパス5の半分以下ぐらい?
あ、そう。ちょっとね上がったんですよね。あれから。
あ、そうなんだ。
そう。あの、4.7やったっけ?4.8かたち忘れたけど。
うんうんうん。
からちょっと上がって。
もちろん頭も良くなったから、もちろんもちろん良いんですけどっていう感じではあるんだけど。
ちょっとなんか、中華モデルとかと比較しちゃうとね。
あー。確かにね。
最近は、ディープシークV4プロとかもそうだし、キミケイとかもね、だいぶ頭いいんですから。
ディープシークV4プロは、安さだともうピカイチ?
ピカイチですね。
まぁけど、頭の良さはやっぱちょっと劣ってる。一段劣ってるっていう感じ。ベンチマーク的にはって感じなんですけど。
まぁけど、ソネットに求めてたのって別にそういうことだと思うよね。
そうそうそうそう。
ディープシークV4プロ、まぁベンチマークとかかなり下がっちゃうけど、一定使えるよねみたいなレベルで考えると、
ディープシークはね、インプットが0.4ドル100万トークあたりで、アウトプットが0.87ドルなんで、ソネットと比べるとお話にならないぐらいね。
10分の1とかなんでアウトプットと。
そうなんですね。
っていうのがあるので、もちろん画像とかファイルとかも読み込めるとか、そういう良さはあるけど。
ちなみに君系は3ドルの15ドルなんで、ソネットの1.5倍ぐらい高いみたいなイメージかな。
はいはいはい。
なんですけど、ベンチマークで言うと、
ベンチマーク的には、君系の方が高いね。
なんか全体的に5ポイントずつぐらい高いって感じ。
まあでもそう考えたら、あとあるよね、GPTの5.6ルナとかは100万トークンでインプット1ドルのアウトプット6ドルだから、これもソネットよりも安くて、画像とかの処理もいろいろできるから。
コンテキストウィンドウがちょっと狭いからっていうのがあるかもしれないけど。
うん。確かにね、その辺の方がソネットとほぼ一緒、同格ぐらいか。
まあそう考えると安いね。
いやけどコンテキストウィンドウも、コンテキストウィンドウ100万トークンじゃないか。
上がったんだっけ?上がったのか。
たぶん1Mって書いてるから100万な気がするな。
でもなんかコーデックスで使ってると上がってる感じしないよね。
APIでは上がってた。
そうだね、ルナも100万だね。だから結構いいね、ルナ。
結構ルナいいかもしれない。
Opus 5の現状と今後の展望
これ前提として今あれかもしれない。
今OpenRouterで見てるけど、OpenRouterだと今OpenAIが半額で出してるっていうのもあるけど。
その分トレーニングに使いますっていうやつやね。
まあそんな感じでちょっとオパスは引き続き、今のところちょっとコンテキストをひっ迫していくと微妙なところも多いし。
フェーブルと比べるとちょっとなぁみたいな感じはあるものの、とはいえ進化してくれることはありがたいことですよと。
そうですね。
まあちょっと日々感謝をしてやっていけたらと思います。
はい。
はい、じゃあありがとうございました。
ありがとうございました。
本日もAI駆動開発部の日常をお聞きいただきありがとうございました。いかがでしたでしょうか。
今回はクロードのオパス5のモデルについて、実際に阿部ちゃんも僕も使ってみた初感をシェアさせていただきました。
こんな感じでいろんなモデルですね。使ってみて、実際に使った使用感についてシェアしたりしているので、このポッドキャスト気に入ってくれた方は、いいねやフォロー、高評価ぜひお願いいたします。
それではまた次回もお楽しみください。バイバイ。
![[7月7日:速報回]Fable5復活！AI開発は今後どう変わる？(ep.84)](https://image.listen.style/img/HfvMYG1zUsSMyar5ZPt1A-hPjxvD3iQWccrfClXMkFc/resize:fill:80:80/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfZXBpc29kZS80NDQ2NDQzNy80NDQ2NDQzNy0xNzgzMzc0MTg5ODA4LTBiYzAzZTUwMmY5MmEuanBn.avif)
![[7月21日:速報回]Fable 5が実質解禁！Fable相当のKimi K3は1/3コスト。NVIDIA CEOにも会ってきた(ep.88)](https://image.listen.style/img/PTacokME-6ED8Ca1m7bycXDg-w8xAhBe4o6JrD5xMTI/resize:fill:80:80/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfZXBpc29kZS80NDQ2NDQzNy80NDQ2NDQzNy0xNzg0NTg5MDk3OTEyLWY0YmE5ZDIwODhhNmUuanBn.avif)
