では早速話していきましょう。
まず直近で何が起きたのか、一旦整理したいと思います。
9月22日、オープンAIとアンソロピックが同じ日に新しいモデルを発表しました。
オープンAIからはGPT-6 SolとGPT-6 Luna、アンソロピックからはClaude Opus 5.5、最新モデルが両者から同じ日に出てきたというわけです。
後で詳しく話すんですけど、両者ともこのAIの利用価格を下げてきています。
なので今回の発表は性能競争という側面もあるんですけど、コスト競争の色も強い発表だったなと感じました。
ではまずオープンAIからいきましょうか。
オープンAIのモデル、以前も話したんですけど天体にちなんだ名前をつけています。
モデルの小さい順から月を意味するLuna、地球を意味するTerra、そして太陽を意味するSol、そして最上位モデルの星を意味するAstra。
GPT-6シリーズでは9月の頭にまず最上位モデルのAstraが出て、今回SolとLunaが続いたという形です。
公式の説明を引用するとGPT-6SolとLunaはGPT-6Astraの成果を土台にして、その強みの多くをより早く、より安いモデルに持ち込んだものと説明しています。
なので役割分担としてはSolは日常の中でも要求の高い仕事向け、例えばコーディングや複数のステップをこなすAIエージェントのような使い方、
そしてLunaは大量に処理するタスク向け、文書の要約や情報の抽出、あとは分類、質疑応答、こういったどちらかというと軽量なタスク、大量にさばくような用途に向いています。
今回一番のニュースは価格です。Solが以前のモデルに比べてちょうど半分の金額で利用できるようになっています。
同じくLunaに関してもGPT 5.6 Lunaの時に比べて半額以下になっています。
精度についても触れておくと、オープンAIの内部評価ではGPT 6 Solは前の世代のGPT 5.6Solに比べてAIの間違いがおよそ半分に減ったと報告しています。
そしてアストラレベルの信頼性に遥かに低いコストで近づいているモデルとも説明されています。
ベンチマークも公開されていて、GPT 6 Solがクロードオーパス5やクロードフェイブル5.1を上回ったと紹介しています。
これはオープンAIの公開の情報です。
ただここを一つ注意点なんですけど、今回このオープンAIが比較しているモデルはオーパス5であって、同じ日に出たオーパス5.5ではありません。
ここはちょっと注意する必要があります。
アンソロピックの前のモデルに比べて今回新しく発表したGPT 6 Solは遥かに良い性能ですよという話です。
じゃあこのGPT 6 SolやLunaは誰が使えるのかというと、ChatGPTの有料プランで利用できます。
あとはAPI経由の利用です。
1点補足するとGPT 6 Lunaは無料プランでもChatGPTのデスクトップアプリからこちらであれば利用できます。
では次にアンソロピックの新しいモデルも紹介します。
直近でアンソロピックからはクロードオーパス5.5が発表されました。
アンソロピックのモデルについても改めておさらいすると、小さい順からハイク、ソネット、オーパス、そして最上位のフェイブル。
アンソロピックは歌や詩にちなんだモデルの名前をつけています。
今回はこのオーパスが5から5.5にバージョンアップしましたという話です。
アンソロピックによるとクロード5.5ファミリーの第一弾ということでクロードオーパス5.5をリリースしています。
公式の説明を引用するとクロードオーパス5.5はほとんどの仕事でクロードフェイブル5.1と同等の性能を発揮すると報告されています。
前のモデルのオーパス5と比べて典型的なワークフローで40%のコストが下がると。
デフォルト設定での出力速度はオーパス5よりも30%以上早いと報告されています。
あとは先行テスターからの報告として同じタスクをオーパス5の約半分のターン数、半分の時間、半分のコストで完了したという報告もあります。
端的に言ってコストも安いし、そして前のモデルに比べて素早くタスクを完了してくれると。
つまりクロードの最上位モデルであるフェイブル、このフェイブル並みの性能を安く、そして早く使えるようになりましたよというのが今回の発表です。
そしてベンチマークも見ていきましょう。こちらはアンソロピックが公開しているベンチマークです。
コーディング作業をAIエージェントに処理してもらうベンチマーク、オーパス5.5は66.4%のスコア、フェイブル5.1が55.8%
つまり今回発表されたオーパス5.5、こちらは最上位モデルのフェイブルよりも良い結果が出ている、そういった報告もあります。
あとは性能以外の変化として、オーパス5.5は話し方が変わったと、専門用語を使いにくくなり、重要な情報をメッセージの冒頭に置くようになった、冗長さも減ったと説明されています。
じゃあこのオーパス、誰が使えるのかというと、クロードの有料プランとAPI経由での利用となります。残念ながら無料プランでは使えないモデルです。
ちなみに次のモデルであるソネット5.5とハイク5.5、こちらも数週間以内に出すと予告されています。
なので10月12日は出てくるかなと予想しています。
はい、ここまでは各社の公式の発表を見てきました。
ただ公式の発表はどうしても自社に有利な数字が並んでしまいます。
例えばオープンAIは今回の新しいモデルクロードオーパス5よりも性能は良いですよと紹介しています。
なのでここで外部の評価についても見ていきたいと思います。
今回は2つ、アーティフィシャルアナリシスとチャットボットアリーナで見ていきます。
この番組でもたびたび登場していますけど、どちらもAIモデルの比較ランキングを公開しているサイトです。
チャットボットアリーナは今はアリーナというように呼ばれています。
ではまずアーティフィシャルアナリシスから。
結論から言うと、クロードオーパス5.5が1位に輝いています。
興味深いのが、クロードオーパス5.5がオープンAIの最上位モデルのASTRA、
あとアンソロピック自身の最上位モデルのFABLE 5.1、
この両方を上回ったというような結果が出ています。
ここはちょっとインパクトがありました。
じゃあGPT-6 SOLとLUNAはどうかというと、アーティフィシャルアナリシスのコメントを引用すると、
SOLとLUNAのインテリジェンスインデックスのベンチマークでは、
GPT-5.6世代と同じ水準に留まっていると。
その代わり価格が半分になったので、コスト効率の面では評価されています。
なのでオープンAIの今回の発表、賢さは横ばい、だけど安さで勝負、このようにも読み取れます。
では次にアリーナの結果を見ていきます。
こちらは人間が2つのAIの回答を見比べて、どっちが良いのか投票する形式のランキングです。
9月25日更新のテキスト部門のランキングでは、1位はクロードオーパス5.5でした。
GPT-6 SOL、LUNAはこのチャットボットアリーナのランキングでは、オーパス5.5よりも下のランクに沈んでいます。
ただここも一つ注意点があって、オーパスもSOLもLUNAも9月25日にランキングに追加されたばかりです。
なので投票数がまだ少ないのでスコアの誤差というのは大きいです。
ランキングはこれから動く可能性は十分あります。
一旦情報をまとめます。
現時点においては、アーティフィシャルアナリシスでもアリーナでもクロードオーパス5.5がランキング上位です。
実際に私もこのモデルをそれぞれ試してみました。
具体的に言うと、クロードコードの環境とコーデックスの環境で触ってみました。
端的にまとめると、そんなに大きな違いはないかなと感じました。
もうこれはタスクによるかなと。
例えばレポートに書いている内容が誤っていないかどうか、ファクトチェックを依頼しました。
ファクトチェックのタスクに関しては、GPT SOLの方が誤りを拾ってくれる回数は多かったように感じました。
あとは200ぐらいのファイルから特定の情報を探すタスク。
これはオーパス5.5もGPT 6 SOLも同じ精度で実行してくれました。
若干GPT 6 SOLの方がタスク完了までの時間がちょっと早かったかなというような感じでした。
あとはプロジェクトの概要を読み込んで、そこから改善案を出すようなタスク。
これは両者変わらずかなといった感じでした。
どちらも同じ改善案を提案してきました。
あとは後で紹介するモーショングラフィックス。
こちらを作成するタスクでは、クロードオーパス5.5の方が好ましい結果でした。
こんな感じで、あるタスクではGPTの方が良いように感じると。
でも他のタスクではクロードの方が良いように感じると。
このように全てのタスクにおいてチャットGPTの方が上、クロードの方が上、このようには感じませんでした。
もう本当にタスク次第といった感じです。
なのでアーティフィシャルアナリシスやアリーナの結果ではオーパス5.5の方が上にランクインされてますけど
実際に自分が使用する環境では、全てのタスクにおいてオーパス5.5の方が上ということにはならないと思います。
これは私だけではなく、おそらく皆さんの環境でもそうだと思います。
はい、では次に今度はアンソロピークが発表したモデルを使うときの最適化であったりベストプラクティスについて紹介します。
こちらはアンソロピークの公式ブログで発表された内容で面白い内容だったので紹介します。
概要欄にリンクを貼っておきます。
結構実践的な内容だったのでポイントをいくつか紹介すると、
まずモデルを変える前に思考の深さを調整するのがお勧めですよという話がありました。
これどういうことかというと、例えばクロードコードやクロードコワークを使ってAIエージェントで作業を進めていると
この時にクロードオーパスで解決できないタスクがあったとオーパスのモデルで
例えばアプリの開発をしていてバグに遭遇してオーパスに依頼をしたけどオーパスでは解決できなかったと
でこういった時私今までオーパスよりも上のモデルフェーブルにモデルを上げてバグを解決してくださいみたいな
このように頼んでいたんですけどアンソロピークが言うには上位のモデルに変えるのではなくて
それよりも前に思考の深さをより深く設定して試してみることを推奨しています。
つまり思考の深さがミディアムだったとしますでハイとかエキストラハイのような思考の深さを深めると
これはちょっと私も実践していなかった内容なので面白いと思いました
で今回はアプリ開発のバグのエラーそういったものを例にとってますけどもちろん他のタスクでも使えます
例えば数十数百からなる書類から特定の情報を探したい情報を横断的に検索したい
でもクロードソネットのモデルではなかなか達成できなかったと
じゃあ安易に上のモデルに上げるのではなくてそれよりも先に思考の深さを上げて対応に当たるとこんな感じです
あとはアンソロピックのブログではモデルの使い分けについても言及されていました
これも興味深かったので共有したいと思います
モデルの使い分けで言うとまずオーパス
オーパスは普段のコーディングやレビューデバッグなど直接監視するメインの作業で使うことが推奨されています
で次にフェイブル
フェイブルではオーパスとあとは思考の深さがハイの設定でも解決しない高難度の問題や放置型のタスクで使うことが推奨されています
そしてソネットと俳句
こちらは検索やログ解析あとはファイル特定このようなサブエージェント用で使うと
コードを書く以外のようなタスクサブエージェントのようなタスクで使うことが推奨されています
メインのコーディングや編集作業はソネットや俳句を使うのではなくオーパスで実装を進めていくと
なのでコーディング系の作業を進める場合はオーパスをメインにやっていくのがいいかなと思いました
でサブエージェント系の周辺の細かいタスクはソネットや俳句で拾っていくとこんな感じです