確かにそうだね。あのー、それで言うと確かに時間というよりかは、なんかここで止まらなくてもよかったんじゃないっていうタイミングでやっぱり止まっちゃったりする。
ちなみに俺は全くなくて。
なんかね、見ててそんな印象を勝手に受けてる。
うん、まあ3時間とか。
そんなに動く?
動く。
マジで?
まあ俺寝る前に回したりすると、あのーそうだね、たまにまあ見ながら、様子見ながらみたいな感じで、2,3時間とか普通に動くよ。
そうなんだ。いやなんか、でなんかその長く動かせるようになるっていうことはいろいろメリットあるなって思ってるんですよ。
なんか、クロードとかは30時間でコーデックスは7時間自立駆動しますみたいな。
コンテキストウィンドウ食いつぶさないの?みたいな。
そうそう、だから結局俺の場合は時間でというよりはコンテキストウィンドウの問題で、コンテキストウィンドウが圧迫し始めたら、俺の方でキリの良いところで止めるみたいな感じだから。
止めるんだ。
だからどっちかというと、なんだろう、これクロードコード使ってるかコーデックス使ってるかにもよって、
クロードコード使ってる場合はできるだけサブエージェントに渡すっていう、あくまでも親エージェントはオーケストラでいうところの指揮者をになってもらうっていうのをちゃんと指示出しする
みたいなことを絶対するようにしてて、それでコンテキストウィンドウの問題はできるだけ排除していきたいなっていうのが俺にはあって、
コーデックスはあるけど一方で、その辺がサブエージェントの機能とかないからさ。
そうだよね。
だから結局俺の場合は時間の問題というよりはコンテキストウィンドウの問題なのかなーみたいな感じかもしれない。
確かに。
うん。
だから長時間動かせるようになるっていうことはそのコンテキストをうまく使いこなせるっていうことにも直結するから、
なんかもうちょっとこの辺、どういう工夫してるのか、まあ今もちょっと軽く教えてもらったけど、聞けたら嬉しいなーっていうふうに思ってました。
だからか、なんかアベちゃん、コーディングしてる、俺よりコーディングしてるじゃん。
たぶんね、そうだね。
その割に、なんかこのLLMにコーディングさせるっていうことに対しての努力が足りないなって思ってた。
努力が足りない。
努力っていうか試行錯誤が足りないなって思ってたけど、
俺はね、基本的にコンテキストウィンドウとかが圧迫されるから、なんか明確に弊害があるけど、
アベちゃんの今のその10分、20分で終わっちゃうんだよねとか、
途中でまあ、いやここで聞くなよみたいなところで聞いて1回ストップされるとかみたいなのがあると、
コンテキストウィンドウの問題とかってあんま起きないのかもね、そのワンショットでっていう意味で。
あの、クロードは結構その調査のフェーズが、まあコーディックスもそうなんだけど、調査のフェーズが長かったりすると、
コンテキストウィンドウの問題が出るんだけど、じゃあ問題解決して新しいセッションで、なんか実装し直してもらえますとか、
いうタイミングにおいては、基本的にクロードコードとかだと、まあ60%残ってる。
コンテ、コーディックスとかも80%とか残ってる。
そんな感じなんだ。
結構残るんよ。
なんか俺あれを、1個の計画、まあ俺の場合は今01の開発してるからっていうのはあるけど、
基本的に1個のタスクをすべて完遂することは、タスクっていうのはすごい大きい開発のタスクを完遂することはコンテキストウィンドウの問題でできないんよ。
だからワンステップやってもらったらほぼ20%ぐらいになってて、
だからそれを1回エスケープ2回押してさ、過去のヒストリーに戻って、でステップ1をやった手で、
他の作業者にステップ1をやってもらいました。だからステップ2から始めてくださいみたいな感じで、
事前のインプットはワンショットでまず計画書の一番初めで操作させて、ある程度コンテキストを与えてるって状態まで持っていって、そこでレディーの状態にしとく。
でステップをこう踏んで進めていって、ステップがある程度完了、例えば3ステップまでコンテキストウィンドウの問題とかにぶち当たらず終わりました。
でここで次やったらリセット入るなって思ったらそこで止めるんよ。でエスケープ2回押してステップ3まで他の作業者にやってもらってるから、
それをまずチェックしてもらって問題ないかどうかチェックしてもらいます。問題ないことを確認できたらもう1回エスケープ2回押して戻る。
そのレディーの状態に戻る。でレディーの状態から3のところまでは完全に実装済みなので4から進めてくださいみたいな感じでお願いすると、
基本的にはその一番初めの計画を認知するっていうところはレディーの前に。
スタンバイのフェーズを1個設けてて。 一番最初にだから今回のその計画とかどういうことやるのかってもうもちろん最初にやるんだけど
緻密に結構インプットしておいて、でステップが1から5とかあるときに1ステップ終わったらあれかセッションを履歴で戻って
また何でしょう何でしょう開始のところからやり直す。で他の人がやったてにして混乱させないようにして
でそうする。でちなみに設計フェーズは完全に切り分かれてて、設計書を作るっていうのは全く別のセッションでやってて
でそれで1回フルフラットな状態で。 設計をするために無駄にコンテキストがいっぱい溜まるはずなんで
設計書が完全に出来上がったら2、3回ぐらい他のモデルたちにレビューしてもらうじゃん。 である程度これだよねっていう風になったタイミングで
全く新しいセッションを立ち上げて、まず理解してくれとっていうフェーズを挟んでそこでオンレディの状態で今のステップ
さっき言ったステップが始まるみたいな。 なるほど理解してねっていうところも含めてのオンレディにその最初の認識するっていうステップ挟んでるんだ。
そうそうそうそう。 確かになそれはね僕もなんか似たようなことはやってるけどそこまで明示にできてなかった気がする。
でちなみにクロードコードを使う場合はあのタスクの依存関係とか結構大事なんで なぜならサブエージェントで4並列とか8並列
8並列くらいまで確かサブエージェントで動くから だからタスクの依存関係の整理までまずやっといて
で指示の中にあの適宜サブエージェントに依頼するかつ タスクの依存関係的に並行で実行していいものは並行で
並列で処理するようにしてもらうみたいな感じにしてするとすごい効率が上がる なるほどね
ちょっとこれ聞いてる方向けの話にはなるんですけど クロードコードもコーデックスもあれだよねセッションの履歴を戻ることで
もともとコンテキストウィンドウが例えば60%まで減ってたやつが 会話を2ステップ3ステップ履歴戻ることで80%まで回復したりとか
そういう機能が エスケープ2回押したらその会話履歴の中のどこに戻るみたいなことができる
別セッションのヒストリーみたいなんじゃなくて その1パイントセッションの中のヒストリーみたいなのを見てる
だからAIは履歴全体を見てるから元に戻れば戻った分圧縮できるというか 普通に過去の時点に戻っただけだから
ただ過去に戻ったタイミングにおいての未来のセッションは全部切れるので 戻るときはちょっと注意しないといけない
ちゃんとここまでやったんですよっていうのもだからセットで教えて それをステップ1はもうやったから確認して
ステップ2に進んでくださいって言ったらコンテキストウィンドウはほとんど消去しないまま
例えば実装の中でさこの実装をやってもらいました でその後に
この実装に対して聞きたいみたいなのあるじゃん
その時はほら俺はアスクコマンド作ってるからアスクコマンドして アスクコマンドして自分の得たい情報を知ったらまたエスケープに変えてその聞く前に戻る
あー確かにそれもいいね そうすると無駄にコンテキストを加わなくていいから
だから俺めっちゃ多分コンテキスト気にしながらあのLLMと 会話してるからなんかその感覚が阿部ちゃんからはなんか見ないなって思ってた
あんまり気にしないだから多分ね困ってなかったんだよね 困ってないんやと思うけどそれはタスクの性質上かもしれないし
もしかしたら阿部ちゃんのもともとの課題である 自分の使い方的に大きくある意味だから
AIの恩恵を享受しきれてない状態なのかもしれないしそれはどっちかわからんけど
タスクの性質は要因としてあるかなと思ってて 調査も結局調査してもらったやつを僕は確認したいっていうので
1回止めてもらわないと逆に困るみたいなタイミングもあったり あとは開発規模が回収とか調整とかそんなに大きくならないから
気にならないっていうのはあるんだけどやっぱりでも何でしょう 複数のタスクとかを例えば同時並行である程度やってもらえるようになったりとか
あとは大きなタスクを何でしょう 小さな複数のタスクをまとめて1個の大きなタスクにしてドカッとやるとか
なんかもうちょっと使い方あるんじゃないかなっていうのが悩みだったから
なるほどな けどなんかその阿部ちゃんの多分やって欲しいこと
おそらくやけどちっちゃいタスクであってももうちょっとやってほしいみたいなのがあるんだろうなと思ってて
それテストを書くとかテストを実際にしてもらうとか そこはなんか
プロンプトというか設計者なのかなって思った プロンプトでそれをやりきるのは正直あんまりなんか微妙かなって思ってて
なぜならプロンプトを与えすぎてもそれはそれで あんまりオーバーすぎてなんか回らないじゃん
だしそれをスラッシュコマンドにしても汎用化しきれることはないと思うから なんか俺のイメージで言うと
プロンプトと設計書を使い分けて設計書の中に まあ設計書と別に計画書を作ってもいいけど
なんか計画書テンプレートみたいなのをなんか阿部ちゃんの普段 あのやってほしいってか基本的に多分既存のプロジェクト開発回収って
開発する前に要件定義して 要件定義したものをもとに計画書を立てて計画を立ててで開発
でその後にテストを行ってで実際にドキュメント化するみたいなとか なんかそういう多分順序が基本的に決まってて
この順序っていうのを阿部ちゃんにとってフィットする計画書の なんかテンプレートみたいなのをまず作ってこのテンプレートに沿ってあの
設計書を作ります この設計書をもとにこの計画書テンプレートをもとに計画書を立ててくれって言って
でプロンプトにはこの計画書を見て こういう振る舞いをしなさいみたいなのをすると
最後までいきそうだなって思った まあ確かにまああれだよねまあ要件定義書みたいなものも作ってなんか1個の
大きな仕様みたいに固めたらそれをブレイクダウンというか あのどういう順序でやっていくかっていう
あのタスクの実行計画書みたいなのを作ってそれをやってもらう そうそう俺いつもそうしてディレクトリーもう
ドックス配下にディレクトリーそのプロジェクト そのタスクのプロジェクトのディレクトリー切ってで設計書要件定義書と計画書は分離している
で各ステップなんか大きすぎる場合はさらにその要件定義書の各ステップにブレイクダウン したすべての詳細な設計書をまず作ってもらって
その上で始めるみたいな結構資料数が多くなる そうなんかサマリー的なものと計画と実行計画とそのそれぞれの実行計画の
それ読み込んでやってもらってもたまにフェーズ2とかで ここの今これは詰め切れてないだけなのかな
複雑なので停止しますとか なんかなったことない
そうなんだ それは2段階にタスク分解することで
多分そのフェーズが1,2,3,4ってある中のちょっと龍田が荒い部分も細かくされるから AIは迷うことなくただただひたすら突き進むことができたりするのかな
なのかなぁ あんまないかもしれない
なるほどね 僕はねたまに止まっちゃうんだよ なんかそこがあるかもしれないあの僕が最初言ってたロングランクしてくれないっていうところ
複雑すぎて止まるみたいな なのかななんか
ちょうど昨日とかは変更量が多いので なんかその残タスクとしてドキュメントにまとめるっていう対応をしますって切り替えたんですよ
ちょっと待ってよみたいな
それ最近のそのコーデックスナーフ問題とかそっちの方なんだよもしかしたら
あーまぁそっちもあるかも なんかねコーデックスが最近ナーフされたんじゃないかって
Xでもねちらほら言われててね まぁこの間2ヶ月前ぐらいかなクロードでもあったような話で
結構バリバリやってたのに急にスペック落ちたなみたいな
けどオープンAIのシステムプロンプとおそらく内部の作り的にはオープンAIの方が無駄なことをさせないような
あの 指示を多分細かく書いているはずなんで
指示なのか何なのかわかんないけどモデルの作り上の問題なのか何なのかわかんないけど
そういう性質あるじゃん結局
オープンAIのチャットGPTの方がやっぱ端的に出す
で多くのことをやらないだからまあ傾向としてはもともとあったよねその大きすぎるから一旦やりませんみたいなとか
逆にクロードはその辺オーバーブルマリーじゃないけどしっかり全部出し切るというか
なんだったら余分なことまでやっちゃうみたいななんかそういうなんだろう性質の違い みたいなもともとあったから
まあけどとはいえなんか指示されたことはやるイメージだけどね
計画の中身もざっくりしてたりするとやっぱり迷って止まるとか
まあタスクの性質によるよね俺もだからそこまでやる時もあるしそこまでやらなくていいなぁみたいな時もあるし
それはなんかその感覚は俺より絶対阿部ちゃんの方が高いはずで
イメージはなんで俺がその大きいか小さいかなんでイメージできてるのかよくわかんないぐらいの感じじゃん正直
まあそうだねこれは重そうだなこの開発は重そうだなって普通感じない
やってないとわかんないはず
多分阿部ちゃんの方が絶対精度高いはずだから
逆に僕が過度にAIに期待しすぎてるのかもしれないね
こんぐらいだったらまあできるでしょうみたいな
こんぐらいのタスクだったらまあそんな苦ないかな
まあ自分があんまり苦に感じないタスクとなんでしょう
AIが本当に苦に感じるタスクっていうのをあんままだ切り分けできてないのかもしれない
なんかそれで言うともしかしたら俺がその途中で終わっちゃうとか
阿部ちゃんのその意図しない動き振る舞いをLLMがした時に
どっちかというとあれかも俺が気にしてないだけで俺止めてるかもしれない今思ったけど
一回なんか予期しない予期しないというかなんか初手ぐらいなんか初めの動きぐらい初動の動作ぐらいで
なんかこいつ俺の思ってるなんかベストな動きしてないなみたいな時がたまにあって
その時は俺もう全部リセットするまあそれが中盤ぐらいであってもリセットするよね
全部消すコードの編集も全部消すでもう一回何もやってない状態からで
で俺がモヤっとしたポイントを指示書にもう一度書いて
なるほど指示書の精度がだから何でしょう
まあそれも時と場合によると思うけど止めてやり直す時っていうのはどんどん指示書の精度が上がっていく
そう上がっているだから俺がなんかモヤっとしたいやこんな振る舞いやめろよっていう時は
あのもう一回指示書に重要な事項として書く書いて上でやるから
だからなんか俺はそれを気にせずにやってただけで
実は同じことがあるのかもしれない
いやでもそれすごいわかる気がするけどそんなにちゃんと意識的にやってなかったかも
あの特にまあこれどうかなコーデックスで結構強い傾向かなと思ってるのが
一回コーデックスが判断したことってあんまり曲げれないっていう感覚があるんですよ
それ言うよね俺全くその感覚がないのはセッションを全部切ってるから
そうそう多分切ってるから僕の場合はなんかそのアジャストしようとするんだよね
多分ちょっと違う方向行ってるな
あーなるほどね
これって今作業ここまでやってもらってるけど
でもこれはこういう風にやるべきなんじゃないか
なんかすっごいザラザラこういやそれはみたいな
わかったわかったそれなんでかというと多分あれだね
俺はさこのエピソードの一番初めの方に話した
コンテキストめっちゃ気にするから
その一個方向転換を嫌なんよね
そのセッション内で方向転換が一個でもしてると
なんか無駄な知識というか無駄なコンテキストが圧迫されてるとかすごい気持ち悪いから
ゼロベースでそれを至上に盛り込んでやるっていう
あーなるほどね
そうするとめちゃめちゃ精度上がるから
だからか阿部ちゃんが言ってるのずっと理解してなかったけど
阿部ちゃんはそのセッションの中でやりくりしようとしてるんだ
最近やっぱなんかあんまり軌道修正って難しいんだろうなっていうのを理解してきたから
止めることもあるしやり直すこともあるんだけど
その時にもちろん改めて指示書に盛り込むっていうのは
自然とやってたけどなんかすごい意識的に何でしょう
ニオコードだなみたいな感覚だけなのか
これって規約的にこうじゃないみたいな
確かに規約的にこうじゃないって思ったものに関しては
こうだよねみたいな
ここにはこうあるべきだよねとか
ここではこう書くべきだよねみたいなのは
プロンプトにはagent.mdとかに組み込んだりとか
そういうのがトロトロやってるんだけど
新しい実装とかでファイルがそもそも増えるとか
ディレクトリが増えるっていうタイミングでは
まだこうちゃんとこうあるべき論が
どっちかというと試行錯誤してたりもするから
なかなかできてなかったりするかなっていうのはあるかもしれない
なんかそれでさ
俺ちょっと別のエピソード話したいと思ってたんやけど
そうなんなんだ
ことがあって
最近WindsurfがさSWE1.5っていう
agentモデルを出したんですよね
デビンのチームがね出した
そうそうそうそう
結構さうちとかでリアクトルーターV7を使って
プロジェクト開発していくみたいな
リアクトのフレームワークのやつだよね
最新すぎて知識がないからわかんないみたいな
その一個前のバージョン
リミックスを統合される前のバージョンの書き方をしちゃったりとか
なぜかNext.jsの書き方をしちゃったりとかみたいな感じで
結構困ってたよね
コンテキスト7でどうにかやるみたいな前提としてあったけれども
その知識的な最新知識どこまで持ってるか問題っていうのは
払拭もしかしたらできないかもしれないけど
ある程度コーディングエージェントとして
コーデックスの方がおそらくコードに特化してエージェントが作られてて
クローゾの方がおそらく汎用化エージェントとして作られてるエージェントを
だから資料作りとか上手いのかなみたいな気がしてて
むしろアンソロピックは明言してるじゃん
汎用化エージェントですと
コード以外でも使えるよっていうのを明言してるから
おそらくそういう違いが
コーデックスに関してはコーデックスっていう
コードっていう名を冠してるから
まさにコーディングエージェントとしてやりたいんだろうなみたいなとか
みたいなのを感じるんですけど
それをよりSWE1.5ってやつは
Devinのチームがベストプラクティスとか
しっかりとチューニングして教育した
っていう前提のモデルらしくて
じゃああれか
コーデックスのモデルと似てるというか
思想としては似てるんじゃないかな
オープンAIの会社員の方が
どれくらいそこに対してチューニングをかけてるかっていうのは
正直僕たちは知るよしもないっていう感じではあるんですけれども
とはいえ
そういうのを実際に公式で言ってるんよね
これ結構期待大なんじゃないかなって思って
だから阿部ちゃん的に言う
ちょっとしたエンジニア的諸差
それは言語化に至らないまでも
みたいなところも感覚的に
いやこれダメだよねみたいな
エンジニア的にみたいな
そういうのがちゃんと詰め込まれてる
それはありがたいね
事前にエンジニアとしての諸差とか感覚っていうのを
理解してくれていると
やっぱりここに書くべきじゃないじゃんとか
その実は絶対違うでしょみたいなのが起きにくいから
いいかなって思って
それはありそうだね
コーデックスがクロードと明確に個性が違う理由の一つは
やっぱりコード特化してるからっていうのはあるかなと思ってて
書き味も全然違うんですよ
安心感あるよね
余計なこともあまりしない
余計っていうのは
例えば例外って言って
プログラムがうまく動かなかった時に
エラーをちゃんと補足して
プログラムが停止しないようにキャッチしたりするんですけど
クロードコードはめちゃくちゃその例外処理を書こうとするんですよ
それちょうどね SW1.5の説明にもあって
ちょうど書いてた
無駄にトライキャッチが多くなったりすることを防ぎますみたいな
防いでるって感じ
一応クロードに和訳してもらったあれで言うと
SWE1.5はWindsurfで実際に行う作業を反映した
多様で実世界のコーディングシナリオで学習されていると
私たちは単にテストに合格するコードではなくて
クリーンで保守性の高いコードを書くことを
モデルに教えることを注力しました
これにより冗長な出力が減り
不必要なトライキャッチブロックが少なくなり
ベストプラクティスに従ったソリューションが得られます
シニアエンジニアやオープンソースのメンテナーと協力し
多くの言語やフレームワークに渡る高品質な例から
モデルが学習できるようになりました