00:08
こんにちは、超実践AI論の大地です。 今回は、OpenClaw製作者のテスト監査スキルで、自社のテストを30%削減した、というテーマでお話しします。
AIがアプリを作るとき、AIはアプリのテストもやたらめったら大量に書けます。 バグを見つけて直したら、そのバグを再発させないためのテスト。
機能の修正をしたら、その機能に関する新しい観点のテスト。 といった感じで、AIがコードを書く度にテストもどんどんどんどん増えていきます。
ですが、テストは多ければ多いほどいいのでしょうか。 また、テストが全部通っていれば安心なのでしょうか。答えはNOです。
まず、テストにおいて最も重要な点は、機能が壊れたときに気づけるか、です。 この点さえ守れていれば、テストが多かろうが少なかろうがどちらでもよいです。
今回紹介するテスト監査のスキルは、この壊れたときに気づけるか、というテストの価値を最大限重視して設計されています。
無駄なテストはどんどん削り、逆に削ると壊れたときに見逃してしまうテストは残します。
このスキルの製作者は、現在はオープンAIの開発チームに参加しているピーター・シタインバーガーさんです。
彼は半年くらい前に、オープンクローの開発者として一躍有名になりました。
オープンクローとは、自分の仕事を丸ごと任せられる、万能な秘書のようなAIエージェントです。
その人気ぶりやすさまじく、半年前はオープンクローを常時稼働させるためにマックミニを買う人が続出して、シナウスになったほどでした。
そんな彼が作ったテストスキルなら、実践的なものに違いないと思い、僕も試してみることにしました。
実際、僕がこのスキルを使って自分のプロジェクトを監査させると、テストから無駄なコードを約3割も削ってくれました。
しかも、ただ闇雲に削ったのではなく、実際に本番の行動にバグを埋め込んで検証し、そのテストがないとバグを見逃すようなものはちゃんと残してくれました。
テストはたくさんあればあるほど、その管理コストもかかります。
テストが多いほど、実行には時間がかかりますし、テストが大量にあると、AIがちょっとコードを直すだけで、その関連のテストをすべて見直さなければなりません。
なので、トークン消費も増えます。
ここからは、このピーター・シタインバーガーさんのテスト監査スキルが、実際にどのような監査をしているのかを軽く解説します。
まずは台帳を用意して、すべてのテストに対して、残す、直す、まとめる、消すのいずれかのラベルとその根拠を1行ずつ書きます。
あとは、この台帳に対して、さまざまな観点で順序立てて、そのテストは機能が壊れたときに本当に気づくきっかけになるかということを検証していくわけです。
詳細なテスト監査の手順は、かなり専門的な内容になるので、詳しく知りたければ、AIにスキルの内容を直接聞くのが早いと思います。
このテスト監査のスキルはGitHubで公開されているので、誰でも使うことができます。
ただ、このテスト監査スキルはオープンクロー専用に作られているので、個人で使うときは自分のプロジェクト用に最適化しなければなりません。
03:05
僕はこのスキルの導入と最適化をクロードコードに任せました。
具体的にはスキルのリンクを渡して、このスキルをプロジェクトのスキルとして導入して、
ただし、このスキルはオープンクロー用に作られているので、このプロジェクトの構成に沿って最適化して、そして内容を日本語にしてくださいと指示しました。
これでテスト監査スキルはすぐに使える状態になり、実際に使ってみると、僕のテストコードを約30%削減してくれたというわけです。
このテスト監査スキルは、必要に応じて自動で呼ばれるようになっています。
例えば、AAがテストコードを書くときや、このテストは必要ですか?といったテストに関する質問をしたときなどで、テスト監査スキルが自動で呼ばれて使われます。
なので、スキル導入後に書かれるテストは、すべてこのテスト監査スキルで最適化された状態になります。
既存のテストを直すときは、何々のテストを借り込んで?という指示をすると、特定の領域のテストを丸ごと監査して直してくれます。
例えば、データベースに関するテスト、フロントエンド、つまり画面に関するテスト、認証認可に関するテストといった感じで、一つの領域を1回の監査でまとめてみて直してくれます。
フロントエンド、データベース、認証認可など、複数の領域をまとめて監査させるのはお勧めしません。
数の領域を複数の観点で一気に見るのは、AIでも難しくミスにつながる可能性があります。
また、コンテキストウィンドウ、つまりAIの記憶領域がいっぱいになって、これもミスの原因になります。
今回の内容をまとめます。
テストの価値は、コードが壊れたときにそれに気づけるかというただ一点のみです。
テストが多すぎると管理コストがかさみ、少なすぎると壊れたときに見逃します。
なので、ピーター・シタインバーガーさんのテスト監査スキルを入れると、壊れたときに気づけるかというテストの最も重要な観点で、テストの選別をすることができます。
導入は、スキルのリンクをAIに渡して、自分のプロジェクトに合わせて最適化してもらい、ついでに日本語化もさせるだけです。
一度導入すれば、それ以降のテストは自動でスキルによって最適化されるようになります。
既存のテストも〇〇の領域を刈り込みして、という指示で、認証・認可・データベース・フロントエンドといった領域ごとに監査させることができます。
あなたもぜひ、このテスト監査スキルを自分のプロジェクトに導入して、一つの領域のテストを刈り込みしてみてください。
無駄なテストは大量に削除して運用コストを減らし、本当に必要なテストだけを残してくれるはずです。
概要欄にも、今回の内容を解説した記事を貼っておきます。
最後に一つお知らせです。
点票作成・受発中管理・請求書などの業務は、AIで自動化してコストを削減できます。
ITエンジニア歴10年の僕が現場の課題を聞き、システム開発から運用まで対応可能です。
相談は無料なので、概要欄のリンクからお問い合わせください。
AIを実務で使いこなせるようになりたい、といったご要望にも対応可能です。
それでは今日はこの辺で。
