AIの聞き返しを設計する基準
AIに、これくらい文脈で察してよってイライラした経験、あなたにも絶対あるはずですよね。
本当にそうですね。よくわかります。
今日はですね、あるITエンジニアの記録とか、最先端のAIシステムのガイドラインなんかをまとめて深掘りしていきます。
はい。今回のミッションは、AIが的外れな結果を出したり、逆に細かすぎる質問で作業を止めてしまうっていう問題を防ぐ、聞き返しの仕組み化ですね。これを解き明かしていきます。
なるほど。これを知れば、明日からのAIとの働き方が劇的に変わりますからね。ぜひ最後までお付き合いください。
実はですね、AIが変なことを聞いてくるのって、多くの場合、AIの能力不足ではなくて、私たちの依頼方法に原因があるんですよ。
え、依頼方法ですか?
はい。資料から見えてくるのは、AIに対して何をどう聞かせるべきかの基準を、人間側が事前にコントロールするっていう戦略なんです。
その基準ってどう作るんでしょうか?よくAIに頼むと、自分で検索すればわかるようなことまでいちいち聞いてきて、
ありますね。
結局自分で調べたほうが早かったじゃん、なんてことありますよね。
そうなんですよ。そこが第一関門でして、例えばオープンAIのコーデックスのガイドラインでは、調べればわかる事実は聞かせないというふうに明確にルール化しているんですよ。
へー、事実を聞かせないんですね。
ええ、AIに質問を許すのは、人間にしか決められない好みとかトレードオフが発生する時だけなんです。
なるほど。
しかも、互いに配達的な2から4個の選択肢と推奨案をセットにして聞くように縛りをかけるんですよ。
ああ、それって新入社員にお使いを頼む感覚と同じですね。
と言いますと?
お店の場所は自分で調べさせて、コーヒーの銘柄はAとBどちらにしますか?私のおすすめはAですってだけ聞かせるみたいな。
まさにその通りです。ただまあ、もう一つ厄介な問題がありまして。
はい、何でしょう?
会話が長くなると、AIが過去の没案に引きずられて混乱することってありませんか?
仕様書と新しいセッションで記憶を整理する
ありますあります。さっきの条件は無しでって言ったのになぜか反映されてたりしてイラッとしますよ。
そうですよね。それを防ぐのが記憶のリセットなんです。クロードコードの手法がすごく参考になるんですが。
ほう、どんな手法ですか?
いきなりコードを書かせないんですよ。まずはAIにインタビューさせて仕様書を作らせます。
そして実際の作業は完全に新しいセッションで始めるんです。
ああ、不要な前提条件とか迷いのプロセスを一旦捨てて、確定した仕様書だけを読ませるわけですね。すごく合理的だ。
はい。質問のルールと記憶の整理はこれで完璧です。
権限承認と安全性・効率のトレードオフ
いやでもAIからの確認が整理されると、今度は人間側が無意識に全部、はいはいって承認ボタンを押しちゃいませんか?
ああ、確かにそうですね。
気づいたらとんでもない操作を許可していた。
っていう事故ですね。実際にそのリスクは大きいです。だからこそシステムごとの安全設計が重要になってくるんですよ。
なるほど。
例えば、マナスというシステムはチャット欄での自由な質問とシステムに権限を与える承認のUIを明確に分けているんです。適当にはいを押せないようにしているんですね。
それは安心ですね。でも資料の中にジェンスパークというシステムの話もありましたよね?
はい、ありました。取り消しにくい操作に対して、人間が何も答えないと拒否として扱う仕組みです。
これって安全かもしれないですけど、自分がご飯に行っている間に確認待ちが発生して、作業が完全にストップしちゃいませんか?
おっしゃる通りで、そのトレードオフは絶対に発生しちゃうんですよ。安全側に倒せば倒すほど効率は落ちてしまいますから。
ですよね。
だからこそ、最初からチャット欄にAPIキーなどの秘密情報を欠かせないといったオープンクローのような明確な境界線を引くことが求められるんです。
あー、権限の範囲をあらかじめ限定しておけば、作業が止まるリスクも減らせるからですね?
そういうことです。
権限を限定して聞き返すルールを決める。
聞き返し対応カードとAIへの依存
ちょっと待ってください。ということは、もしAIから、「これってどこにありますか?」みたいな初歩的な質問が返ってきたら、それってAIが愚かなんじゃなくて、自分の最初の指示が甘かったという証拠なんですね?
まさにその通りです。そこにお気づきになったのは非常に大きいです。
うわー、耳が痛いですね。
人間側の指示が完璧であれば、AIはアンティグラビティというシステムのようにいきなり作業を始めるのではなくて、まず人間がレビュー可能な計画書をちゃんと出してくるはずなんですよ。
なるほど。人間が手取り足取りをし得るマイクロマネージャーから上がってきた計画書を承認するエグゼクティブの立場に変わるわけですね?
そこで著者が提案している実践的な解決策が、聞き返し対応カードというものなんです。
聞き返し対応カードですか?
はい。依頼文の先頭に調べる範囲や質問形式を事前指定するテンプレートを貼り付けるんです。
へー、例えばどんなふうにですか?
例えば、ハーミスというエージェントのように、質問は一度にまとめて推奨案を先頭に置いて聞くことと最初に宣言しておくんです。
それだけで無駄なラリーが一気に減るわけですね。
リスナーのあなたも、今日からAIに指示を出す際、調べてわかることは聞かず、選択式で推奨をつけて聞くことという一行をぜひ足してみてください。
そうですね。それだけでイライラや後戻りの手間が劇的に減るはずですよ。指示出しの工夫一つで、AIは本当に優秀なパートナーになりますから。
本当ですね。でも最後に一つ、ちょっと怖い想像をしてしまったんですが。
何でしょう?
もし将来、AIがあなたの好みを完璧に学習して、一切何も聞き返さずに全てを推奨で自動処理するようになったら、
はい。
私たちは自分で決断するっていう能力すら手放してしまうんでしょうか?
いろいろと考えさせられますね。
