00:08
こんにちは、超実践AI論の大地です。 今回は、Claudeコードの公式コマンドで、
スキルが現在のモデルに最適化されているかを簡単に検査する、というテーマでお話しします。
よく使い込まれたエージェントスキルは、これまで何度も何度も使いながら改善して、
さまざまな指示や検証が書き足されていると思います。 でも、そのスキルの一行一行の全てが、
今のAIモデルにとって本当に必要な指示だと言い切れるでしょうか。
また、逆に、本当はスキルに明確な手順を書くべきなのに、それが書かれていないことで、
AIがその場で必要な情報を探し回り、自分で考え、トークンや時間を浪費しているパターンもあります。
良いエージェントスキルとは、今のAIモデルにとって、無駄な指示はゼロで、かつ必要な手順は網羅されているものです。
AIモデルの性能が上がれば、モデルにとって最適なスキルの内容も当然変化します。
ただ、スキルの内容を一文一文精査して、消したり足したりをしながら検証を繰り返し、
この指示はAIモデルにとっては必要なので残す、逆にこの部分は手順が足りないので指示を書き出す、
といったことを手作業でやるのは大変すぎます。
このスキルの評価作業を楽にできるのが、クロードコード公式のスキルクリエイターです。
スキルクリエイターはクロードコードにデフォルトで入っていて、スキルを作ったり直したりするときは自動で使われています。
でも実は、このスキルクリエイターにスキルを評価する機能も入っています。
使い方は簡単で〇〇のスキルをスキルクリエイターを使って評価してと頼むだけです。
するとクロードコードは全く同じ指示をスキルありの場合とスキルなしの場合でサブエージェントを使って同時に実行し、その結果を評価します。
結果を評価するときは、AIがこの項目は達成できている、この項目は達成できていないといった具合に、
客観的な検査項目を自分で作って検証します。
そしてこの検査項目と実行時間、トークン消費をスキルありの場合とスキルなしの場合で比べて評価するというわけです。
スキルありの場合となしの場合を比べることで、先ほど話したような本当にその指示は今のAIモデルにとって必要なのか、
逆に必要な指示なのにそれが書かれていないためにAIモデルが自分で考えてしまっているところはないかといったことがわかります。
僕も実際にこのスキルクリエイターの評価機能を使って自分のスキルを検証してみました。
試したのは収録した音声からYouTube動画を作成するスキルです。
そのスキルでは今まさに見てもらっているこの動画も作っています。
結果として僕の動画作成スキルには改善点がかなりありました。
特にスライド画像の作成や成果物の検証工程で、プログラムにすべきところをプログラムにしていないために
AIがスキルを実行するたびに毎回自分でプログラムを書いて検証しているところがいくつもありました。
03:02
そのためにスキルの実行時間を20分ほど延び、さらに毎回数万トークンを無駄に費やしていました。
スキルクリエイターの評価結果はレポートとして出力されるだけでいきなり修正はされません。
なので僕はこのレポートをドキュメントにまとめてもらい、そのドキュメントの中から一つずつAIに指示して対応してもらいました。
このスキルクリエイターの評価機能には一つ注意点があります。それはトークンを大量に消費することです。
スキルありの場合となしの場合を並列で実行し、さらに各評価項目について厳密な検証をした上で評価レポートも作成するので、
スキル1回の実行に比べて少なくとも倍以上のトークンを消費します。
なのでこのスキルクリエイターの評価機能を使うときは、トークンに余裕があるときがおすすめです。
あなたもぜひこのクロードコード公式のスキルクリエイターの機能を使って、自分がよく使っているスキルを一つ評価してみてください。
評価の方法は簡単で〇〇のスキルをスキルクリエイターを使って評価してと頼むだけです。
かなりたくさんの改善点が見つけられると思います。
概要欄にも今回の内容を解説した記事を貼っておきます。
最後に一つお知らせです。
現在、公式LINEの友達追加特典で無料30分相談を受け付け中です。
顔出し不要のオンラインでAI活用のお困りごとに応えます。
概要欄のリンクからお申し込みください。
それでは今日はこの辺で。