00:00
こんにちは。現場のAI業務改善ラジオの大地です。 今回はエージェントスキルを育てる具体的な方法というテーマでお話しします。
エージェントスキルは作って終わりではありません。 何度も使って改善し育てていくものです。
アンセロピック公式のスキル作成のベストプラクティスでも、 スキルの改善は推測ではなく、実際の利用観察に基づいて行うと明記されています。
僕もスキルを定期的に改善しているのですが、 その改善方法を最近見直しました。
きっかけはカーソルのエンジニアのローレン・タンさんのポッドキャストです。 彼女はカーソル入社5ヶ月で3000件以上のPRを出し、直近1ヶ月だけでも1000件以上のPRをマージしています。
PRというのはアプリの機能追加や修正の単位で、 1PRで1つの修正をしているようなイメージです。
つまりローレン・タンさんは1ヶ月で1000件以上のアプリの機能改善や修正をしているということになります。
彼女はポッドキャストの中でスキル自体を評価する仕組みも作っていると話していました。
具体的にはスキルごとにその成果物の品質を評価する客観的な指標をいくつか用意します。
その指標に対してテストを行い、テストの点数が良くなるようにどんどん改善していくといった感じです。
僕のスキルの改善方法は少し違っています。
スキルを5回ほど実行するたびに次のような指示をしています。
○○のスキルを成果物の品質、トークン効率、実行時間の観点で改善点を優先度の高い順にドキュメントにまとめて、
ドキュメントにはAIエージェントが対応しやすい流度のPR分割計画も含めて、
この指示をクロードコードやコードXなどにすると、
過去のスキル実行時のログや成果物の改善過程を調べて、
改善点を優先度が高い順にドキュメントにまとめてくれます。
そしてドキュメントには適切なPR分割計画も含まれるので、
実際に改善を実施するときにはドキュメントのPR一番を対応してのような形で指示をすることができます。
実際この方法でこの動画を作成しているスキルも改善して、
実行時間が改善前の3分の2、トークン消費を半分にすることができました。
僕がローレンタンさんのようにスキルの評価基準を作らず、
シンプルなプロンプトだけで改善している理由は運用を楽にしたいからです。
スキルごとにそのスキルを客観的に評価する指標を用意すれば、
スキルを改善するたびにそのテスト項目も直さなければなりません。
そしてAIモデル自体の性能が上がった場合や、
AIを切り替えたときもそのAIの性能に合わせてテストも調整する必要があります。
一方で先ほどのようなシンプルなプロンプトなら、
どんなテストをして改善点を見つければいいか、
AIエージェントがその都度考えてくれます。
そしてAI自体の切り替えやAIの性能が上がっても、
シンプルな指示なのでそのまま使い回すことができます。
そして5回スキルを使うまではこの改善作業を実施しないのにも理由があります。
改善のもとになるスキルの実行回数が1,2回程度だと、
その1,2回に最適化されすぎた改善点が上がってくるからです。
5回スキルを実行してから改善点を探してもらえば、
AIエージェントはその5回を一通り見て、
汎用的に使える改善点だけを上げてくれます。
03:00
今回の内容をまとめます。
スキルは1回作って終わりではなく、
使いながら改善し育てていくものです。
僕の改善の方法はスキルを5回使ったら、
○○のスキルを成果物の品質、トークン効率、実行時間の観点で
改善点を優先度の高い順にドキュメントにまとめて、
ドキュメントにはAIエージェントが対応しやすい流度のPR分割計画も含めてと指示することです。
そしてこのドキュメントの中のPR計画を一つずつAIに対応していってもらいます。
スキルを5回使ってから改善点を上げてもらうことで、
特定の回に最適化されすぎた改善点ではなく、
汎用的に使える改善点を上げてくれるようになります。
あなたも今回紹介したプロンプトでスキルの改善を実際に試してみてください。
成果物の品質やトークン効率、実行時間をかなり改善できるはずです。
概要欄にも今回の内容を解説した記事を貼っておきます。
最後に一つお知らせです。
AIで自分専用アプリを作り、運用・回収ができるまでを個別サポートするプログラムをやっています。
先着5名までモニター価格なので、興味がある人は概要欄のリンクから見てみてください。
それでは今日はこのへんで。
