00:01
こんにちは、いっかくです。 今日はですね、Claude Codeが馬鹿になったんじゃないか問題というのを話したいと思っております。
最近なんですけど、XはYouTubeでですね、Claude Codeが馬鹿になったとか、Opus4.7になってから明らかに質が落ちたとか、Codexに乗り換えたって言ってる人結構見かけますよね。
で、実はですね、これ気になってて、ちょっと調べたんですよ。 私はそこまでそうかなと思っていたんですよ、正直。
そうしたら、なるほどこういうことかというのが分かってきましたので、今日はそのお話をできたらなと思っております。
先にですね、結論っぽい話をしておくとですね、アンソロピックはClaude Codeに一時期本当に質が落ちていましたっていうのを認めております。
4月23日にエンジニアリングブログっていうのがあって、そこでポストモテも出していて、6週間にわたり品質低下があったことを認めています。
具体的にはですね、3つのバグ変更が重なっていました。
3月4日なんですけど、推論レベルっていうのをハイからミディアムに下げた、これを4月7日に戻しています。
それから3月26日に、アイドレジのシンキングクリアにバグ。
毎ターン記憶を消してしまう挙動になっていった。
ちょっと細かすぎるんで説明を省きます。
それから4月16日に冗長性を減らすためのシステムプロンプトを追加。
これ4日後にロールバックしています。
こういうことが一応確かに原因としてありましたよっていうことを言っています。
それからデータで裏付けたエンジニアもいて、6,852セッションで分析した記事ではですね、
思考の長さが73%縮んでいたとかですね、APIリトライが最大80倍になっていたとのことです。
なのでですね、悪くなったと感じていた人の感覚はほぼ正しかったと。
これは私たちの体感の話ではなく、本当にそうだったということです。
でもですね、コーデックスに乗り換えるべきかどうかっていうところなんですけどもね、
ここから、あるレジットの調査ではですね、500人以上の開発者の65%が
実は臨時中使いでですね、コーデックスを選んでいますと。
ところがですね、同じ調整、どちらのAIが書いたかを防げた状態でコードを見比べてもらうとですね、
67%がクロードコードのほうがきれいだという評価していると。
きれいなコードっていうのは、読みやすくて整理されていて、後から直しやすいコードというイメージですね。
使いやすいっていうのとですね、アウトプットとかきれいっていうのはずれていると。
コーデックスのほうは速くて軽くてサクサク動くと。
でも出てくるコードの質を冷静に見比べてみると、こうクロードのほうがきれいだったということのようです。
03:02
次にですね、モデルの単体の話とシステム全体の話を分けてみるっていうところがあります。
これ私がですね、結構重要だなと思っている視点があります。
世の中でですね、コーデックスVSクロードっていうときにですね、モデル単体の性能で比較されやすいんですよね。
GPT 5.5 VS OPAS 4.7みたいな。
少しですね、補足しておくとですね、モデルっていうのはAIの頭脳部分のことを言います。
言語モデルとか言いますよね。
テキストを投げるとですね、文脈を読んで返事をしてくれる、中核のエンジンみたいなものだと思ってもらえるといいかなと思います。
ただですね、私たちは実際に使っているのはエンジン単体じゃないんですよ。
例えば車もエンジンだけで走らないんじゃないですか。
ハンドルやブレーキやナビがついていて、初めて車として使えるのと同じで、
モデルの周りにいろんな仕組みがくっついて、初めてクロードをコードとして動くようになっています。
なのでそのシステム全体としての性能ってモデル単体の良し悪しだけで決まらないと。
むしろ周りの作り、つまりハーネスと呼ばれる仕組みの方が実際の使い勝手を大きく左右すると。
ハーネスの話は別の音声で喋っているので、もしご興味があったらそちらを聞いていただけたらと思います。
なのでここをですね、混ぜて考えるとですね、オーパスの4.7とGPT 5.5でこっちが勝った負けたみたいに単純な比較に流れがちになる。
ハーネスというのはそのクロードをコードで言うとですね、
そのモデル以外の部分、例えばスキル、その特定の作業手順を体系化して登録できる仕組みのこと。
それからメモリーというのは過去のセッションから学んだことを映像化する。
それからサブエージェントっていうんですけど、その並列でビッツサスクを走らせる仕組みのことを言います。
それからフックスっていうのがあって自動的にその実行される何らかの設定のことを言います。
それからMCP連携、この前なんかご説明しましたけど、その外部ツールとの統合のこと。
これらをひっくるめて評価するとクロードコードってかなり厚いという意味できるやつ。
コーデックスも独自のハーネスっていうのを持っているんですけど、
スキルやメモリーみたいなエコシステムっていうのは厚めでですね、
今のところクロードコードの方が一番良いお当てかなというふうに思っております。
一番大事なポイントなんですけども、
失敗が試算化されるかどうかっていうところですね。
例えば今日私クロードコードを使っていてですね、結構いろいろクロードが失敗するわけですよ。
スクリプトを書いて動作確認OKと言ったのに実際はできてなかったという感じですね。
それから記事対象にGitHub漏洩、この前要請出しましたけど、
GitHub漏洩だと全然意味がわかんないよって言ったりとかですね。
あとはApple Podcastのエンハンススピーチってあるじゃないですか、
06:04
放送してくれと。
あれを上げたりするとですね、エンハンスした音声がですね、
ボリュームが小さすぎて聞こえないとかですね。
結構こういうのがあってですね、どうなっとんねんみたいなことを私は言ってるわけです。
で、こういう失敗が起きるためにですね、
私はそのメモリーっていうところに次のセッションで気をつけるべきことって記録してるんですよ。
そうすると次のセッションのクロードですが最初からその情報を見てるんですよ。
で、同じ失敗を繰り返さないっていうことなんですよ。
つまりですね、失敗は一個一個試算になっていくんです。
これでモデル単体の性能が多少上下してもですね、ほとんど影響を受けない仕組みなんですよ。
スキルとメモリーに作業の知識が積み上がっていけば、
モデル世代の小さな変動はですね、ノイズにしかならないということです。
結局ですね、誰が悪くなったと感じるのかっていうところなんですよね。
逆にスキルとメモリーを使わずに毎回まっさらな状態でですね、
コードを書いて頼む使い方とかをしてるとですね、
結構モデル単体の品質っていうか直撃するかなと思いますね。
で、Xとか品質低下をなぎいてらっしゃる方っていうのはもしかしたんですけど、
こういうケースになってるなのかなというふうに想像しております。
そういう使い方だったらコーデックスの方が早くて、精度が高くて軽快に感じるだろうなと。
ただ一方で長時間の作業とかドメインとかが継続的な仕事とか、
あとさえ組織のナレージを蓄積しながら使い回す使い方だったら、
クロードコードのハーネスってのは効いてくるのかなというふうに思っております。
今日まとめますとですね、クロードが悪くなったっていうのはこれ事実ですと、
アンソロピックを認めて修正するんです。
ただしですね、モデル単体ではなくそのハーネス込みで見るとですね、
クロードコードの優位性っていうのは健在だなと思っております。
それからハイブリッド運用って言って、
例えばこれ私のようなエンジニアの使い方になるかなと思うんですけど、
例えばクロードにプログラミングさせて、その後コーデックスでレビューとかして、
そういうふうにハイブリッドで使うっていうのが開発者の落ち着きどころになってくる。
今ほとんど二刀流ってことですね。
それから自分の使い方はですね、スキルやメモリーで体系化している人ほどですね、
モデル変動の影響を受けにくいので、あまり大した影響はないということです。
それから皆さんコーデックスをお使いになっている方いらっしゃるんですけれども、
一興ってわけじゃなくて全然用途で積み上げるような時代になってきていますということです。
私自身スキルとメモリー、作業ノウハウを積み上げる運用をしていてですね、
これがあるから今のところ、あんまり私はコーデックスから離れるつもりはないかなというふうに思っています。
私はコーデックスとクロードコード、今二刀流に使っています。
09:02
ただですね、コーデックスがどんどん進化してきてですね、
スキル的な仕組みやメモリー的な機能を実装してきています。
今のニューイっていうのはですね、永続的なものではないというのも事実です。
これからどう進化していくのかなというのを非常に楽しみに見ております。
今日もありがとうございました。
この番組でですね、AIを使ってみて感じてみたちょっとした気づきを毎日5分でお届けしております。
よかったらフォローしてゆるく聞き続けていただけると嬉しいです。
以上でございます。
今日もありがとうございました。