AIエージェントと意図のすれ違い
こんにちは。最新A.I.情報を誰にでも分かりやすくお届けする、A.R. Labsのお時間です。
カイさん、ちょっと聞いてください。最近、A.I.エージェントにメールの下書きとか事務処理の文章を頼むことが多いんですけど、
動くには動くんですが、なんか思っていたのと違うものが出来上がってくるんです。 ちゃんと指示したはずなのに、どこかずれていて、結局やり直しになって逆に手間が増えている気がするんですけど、
これってどういうことなんですか? リンさん、それはお困りですね。実は以前に私もA.I.に作業を丸投げして、
取引先から、ここをA.I.で作ったでしょって指摘されて、すごく恥ずかしい思いをしたことがあるんです。動いているように見えるものほど、中身が違っていると危ないんですよね。
そうなんです。動いているからパッと見は大丈夫に見えるのがまた厄介で。 ところでカイさん、そもそもA.I.エージェントって具体的にどういう仕組みなんですか?
うちの公務店の事務仕事でも、もっと自動でいろいろやってくれそうですけど、どこまで任せていいのかわからなくて。
A.I.エージェントというのは、文章で頼むと、メールの下書きやプログラム作りなどの作業を自分で進めてくれるA.I.のことですね。
ただ、できることより先に限界を言っておきますと、自動で動いてくれるからといって、こちらの糸を完璧に組み取ってくれるわけではないんです。
なるほど。文章からプログラムを作ってくれるのは便利ですけど、油断できないんですね。
スマートコントラクトを作る前の確認質問
今回のニュースでも、お金を動かすような大事なプログラムをA.I.に作らせる話が出ていましたよね。
はい。それがスマートコントラクトと呼ばれるブロックチェーン上でお金を動かすプログラムですね。
これは一度公開してしまうと、後から直すことができないものなんです。
え?公開したら直せないんですか?
うちの公務店で言ったら、お施主さんに引き渡しが終わった後に、やっぱり柱が一本足りませんでしたって言っているようなものじゃないですか。
そんなの怖すぎて絶対に任せられないですよ。ブロックチェーンってよくわからないですし、本当に大丈夫なんですか?
まさにその通りで。だからこそ、公開する前に頼んだ通りに動くかをどう確かめるかが重要になるんです。
研究では、すでに動いている正しいプログラムと、AIが作ったプログラムに同じ取引をさせて、どれだけ動きが一致するかを測るという方法で調べられています。
なるほど。AIの感想を採点するんじゃなくて、実際の取引をもう一回再現して動きが合うかを数えるわけですね。
それなら、実物や数字で確かめるのが好きな私でも、なんだか納得できます。
AIが作ったものを別のAIにチェックさせるような方法ではダメだったんですか?
そこがポイントなんです。
AIの意見や一般的な分析ツールでは、明らかな間違いを見逃してしまうことが分かっているんです。
私の現場でも、最後は必ず自分で数字や文章の抜け漏れがないかを確認するのを慎重にしていますから、機械任せにはできないということです。
機械任せにはできないってことですね。
それで、どうやったらその頼んだ通りかをちゃんと確かめられるんでしたっけ?
後から見直して直す方が大変そうですけど。
確認質問を仕事に応用する
そこが今回の研究の面白いところで、作った後に見直したり直したりするより、作る前にAIが依頼者へ短い質問をして要望を確かめる方がずっと効果があったそうなんです。
これは3つのAIモデルで同じ傾向が確認されています。
えー、作る前に質問させるんですか?後から直せばいいんじゃないかって思っちゃいますけど、質問が増えたら逆に手間が増えるだけになりませんか?現実的にそんなにうまくいくものなんですか?
質問といっても短いチェックリスト程度のもので、AIが勝手に黙って書き直すんじゃなくて、食い違いを依頼者に返す仕組みなんです。
自動でセキュリティを直そうとすると、かえって頼んだ動きを壊してしまうこともあるので、この先に聞かせるというやり方が重要なんですよ。
なるほど。AIが勝手に判断して間違った方向に進むより、作業を始める前に、ここはどういうことですか?って短く聞き返してくれた方が、結果的に手戻りがなくなって楽になりそうですね。
その通りですね。よく選んだ少数の質問で、短い説明から抜けた内容の多くを取り戻せるという結果が出ています。
この考え方は、コードを作る場面だけに限りません。
私の仕事で言うなら、見積もりや経費処理の依頼を出すときも、ただ丸投げするんじゃなくて、AIに先に確認の質問をさせるような手順を組んでみると良さそうですね。
なんだか、わからないなりに自分の仕事に応用できそうな気がしてきました。
素晴らしい着眼点ですね。最初は小さな依頼で試してみて、最後は自分でしっかりと抜け漏れを確認する。その姿勢が大切です。
今回の研究結果のように、書き直す前にまず聞くという手順を意識していきたいですね。
さて、お次は今日の一言ニュースのコーナーですね。
NVIDIAの物理世界シミュレーション
一言ニュースの一番目です。
NVIDIAがロボットや自動運転などの物理的な世界を扱うAI向けに、シミュレーションの作り方と動かし方をまとめた解説を出したという話題です。
私の仕事や暮らしに引き寄せると、このシミュレーション技術で毎日はどう変わるんですか?
実際に走らせにくい場面をシミュレーションであらかじめ用意できるので、ロボットや自動運転の試験が進めやすくなります。
ただ、身近な暮らしでの変化はまだ先のお話ですね。
テストが安全にできるようになるのはすごいですけど、すぐに身近で実感できるわけではないんですね。
指摘後の修正能力でAIを評価する
一言ニュースの二番目です。
AIが間違えた後、指摘を受けて直せるかどうかで性能を図る新しい評価方法が提案されたという研究です。
カイさん、AIを選ぶときは最初の正解率だけじゃなくて、指摘した後に直せるかも見た方がいいってことですか?
その通りですね。
AIモデルの順位が従来とは変わることがあるので、どんな指摘を返すかも含めて使うだわが工夫するところになります。
最初から完璧な答えを期待するんじゃなくて、やりとりしながら直していけるかが大事なんですね。
判断の難しさに応じたAI活用
一言ニュースの三番目です。
簡単な判断は即答し、難しい判断だけAIにじっくり考えさせることで、時間と計算の無駄を減らす方法が提案されたというニュースです。
公務店の事務作業でも、何でもかんでもAIに時間をかけさせずに使い分けた方が効率がいいんでしょうか?
はい。AIを業務に組み込むとき、全部に時間をかけず、迷う判断にだけ考えさせる設計にすることがスピードと費用の節約につながります。
メリハリをつけてAIを使わせるのがこれからの賢いやり方なんですね。
作業前のすり合わせを重視する
今日のお話全体を通して、AIに仕事を頼むときは後から直すことばかり考えるのではなく、
作業を始める前の段階でしっかりと要望をすり合わせたり、必要な質問をさせたりすることが大切だということがよくわかりましたね。
番組のフォローや評価、感想のコメントはお使いのポッドキャストアプリからぜひお願いします。
概要欄には今日の話題をもっと詳しく書いたノートの記事と番組の文字起こしへのリンクもありますので、そちらも覗いてみてくださいね。
皆さんから届いたコメントは、毎週チームで全部読ませていただいて、これからの放送にしっかりと活かしています。
たくさんのメッセージをありがとうございます。
それでは皆さん、バイバイ!