XY問題とAIの目的理解
こんにちは。最新AI情報を誰にでも分かりやすくお届けする、AIR LABSのお時間です。
ねえ、かい、ちょっと聞いてよ。この間、カップケーキを作った時に、上のクリームがだんだん垂れてきちゃってさ、どうにかして固くする方法を必死で調べてたわけ。
でも、後からわかったんだけど、本当の原因はケーキがまだ温かかったことだったのね。
こういうふうにやり方を勘違いしたまま質問しちゃったことってない?
AIに聞く時も、こんなふうに質問がずれてると、ちゃんと本当の困りごとに気づいて導いてくれるのかなって思ってさ。
りんさん、それはなかなか悩ましい状況ですね。
実は、私たちが何かを達成したいXと思った時に、ついこのやり方Yでいけるはずだと思い込んで、そのYのやり方ばかりを尋ねてしまう現象があって、それをXY問題と呼ぶんです。
今日のテーマは、まさにその質問がずれている時にAIがどう答えるかを図る新しいテスト、XYベンチについてです。
それって、うちの仕事でも本当によくある。こういう見積書を作ってって手段だけ指定されて頼まれるけど、よく聞くと本当の目的は別のところにあったりしてさ、そのXY問題ってさっきのクリームの話だとどうなるの?
クリームの例で整理すると、きれいにクリームを乗せたいというのがXの目的で、クリームを固くしようとするのがYのやり方ですね。
私も現場でうっかり手段だけを伝えてしまい、後からそうじゃないんだよと困ったことが何度もあります。
このXYベンチというテストはですね、プログラミングや料理、家の修理といった日常の作業にまたがる実際の質問を8,115問も集めて作られた問題集なんです。
8,115問ってすごい数だね。そのテストって具体的にどうやってAIの答えを採点するの?
AIの回答結果と使い方
例えば掃除機の吸引力が弱いときを考えてみてください。
AIが強力な新型掃除機の買い替えを長々と進めて、肝心のホースの詰まりを確認することは最後に一言触れるだけだったら、役に立つ情報が入っていても中心がずれていますよね。
このテストでは答えに情報が入っているか、どちらを中心にしているか、そして思い込みに気づかせているかという3つの見方でAIを測るんです。
なるほどね。で、そのテストの結果はどうだったの?有名なAIならちゃんと本当の目的に気づいてくれるんでしょう?
それがですね、テストしてみると、AIは元の質問であるYの答えを出す傾向が強くて、本当の目的にしっかり焦点を当てた答えになったのはおよそ4割にとどまったんです。
人間の回答と比べても、本当の目的へ導く力はまだ弱いという結果が出ています。
え、半分以上は元の質問に引っ張られちゃうわけ?それってさ、AIの答えを信じてそのまま作業したら、すっごく遠回りさせられちゃうってことじゃない?
数字で言うと、10回質問したら、本当の目的が中心になったのは4回前後ということになりますね。
ただ、これは1回だけのやりとりでのテスト結果ですし、AIの性能そのものが悪いというよりは、私たちの聞き方にも左右されるところです。
それに、面白い発見もあってですね、AIは2つの答えを見比べて選ぶ場面なら、本当の目的に合う方を7割から8割の確率で正しく選べるんです。
ちょっと待って、わかっているのに自分で書くと中心がずれちゃうってこと?
それって新人スタッフが頭では理解しているのに、いざ自分で書類を作ると手順ばかり気にして肝心の目的が見えなくなっちゃうのと、なんか似てるね。
仕事で目的を伝える方法
まさにその通りですね。選ぶ力と自分で書く力には差があるようです。
目的をあらかじめ伝えても改善は部分的で、人間の回答水準にはまだ及ばないこともわかっています。
だからこそ、私たち人間の使い方が大事になってくるんです。
で、うちの仕事のどこが楽になるのって話なんだけどさ、メールの下書きや見積もりを頼むときも、ただこれを作ってじゃなくて、こういう目的で困っているって一言をちゃんと添えてあげればいいってこと?
わかる範囲からちょっと試してみようかな。
その通りですね。私も以前、AIに仕事を丸投げして失敗した2回経験がありますが、最後は自分が数字や内容に抜けがないかを確かめるのが大切です。
AIに聞くときは、やり方だけではなく、何に困っているかをしっかり添えること。
AIに聞くときは、やり方より先に本当に困っていることを伝えようということですね。
そっか、クリームの話で言えば、まだ暖かいのが原因なんですって最初に書いておけば、AIもちゃんとしたアドバイスをくれたはずだもんね。
AIに聞くときは、やり方より先に本当に困っていることを伝えようと。
さて、お次は今日の一言ニュースのコーナーですね。
Gemini 4 Hydrogenの効率化
一言ニュースの一番目です。
Google DeepMindが発表した、速さと効率を重視した新しいAI、Gemini4 Hydrogenについてです。
カイ、新しいAIが出るために何がどう変わるのか気になっちゃうんだけど、私たちの仕事にはどう関係してくるの?
難しい判断をする大きなモデルと、素早く実行するモデルを自動で切り替えるオーケストレーターという機能が、
Googleアンティグラビティで発表されていて、コストを抑えながら作業を進められるのが特徴です。
今後の仕事用AIでも、こうした効率化の流れが広がっていきそうですね。
自動で切り替えてくれるなら、余計な手間が減って助かりそうだな。
AI安全性テストの作り方
一言ニュースの二番目です。
エンスロピックが公開した、AIの安全性を測るテストをしっかり作るための推奨事項についてです。
このAIは安全ですってよく聞くけど、それってどうやって確かめればいいのかしら?
AIの安全性の主張は、その元になったテストの質で決まるとされています。
質問の形式や選択肢の並び順でも結果が変わるため、
安全だという発表を見たときは、どんなテストで測ったのかに目を向けることが大切です。
ただの数字だけじゃなくて、どんなテストをしたかも見るようにするね。
実験機器を動かすAI
一言ニュースの三番目です。
アーカイブに投稿された、AIが考えるだけでなく、
実験用の機器も自分で操作して排水処理の実験を進める研究についてです。
画面の中だけじゃなくて、AIが機械を動かして実験するなんて、工場の現場みたいですごいね。
私たちの仕事にもすぐ来るのかな?
身近な仕事の現場に届くのはまだ先ですが、
AIが実際の機器を動かして試行錯誤する流れが、研究の現場から少しずつ進んでいます。
技術の向かう方向性として知っておくと良さそうです。
ロボットが自分で考えて試す時代が着実に近づいているんだね。
まとめとエンディング
今日は、質問がずれていても、
AIが本当の目的に気づいて導いてくれるかという話題と、最新のAIニュースをお届けしました。
番組の感想やお使いのポッドキャストアプリからの評価、コメントをぜひお寄せください。
毎週チームで大切に読ませていただいています。
概要欄に、今日の話題をもっと詳しく書いたノートの記事と文字起こしへのリンクもありますので、ぜひ覗いてみてくださいね。
それでは、バイバーイ!
