AIへの指示の重要性
皆さんこんにちは、矢野哲平です。この番組は、耳で学ぶAIをコンセプトに、初心者・中級者向けにAIを分かりやすく解説する番組です。
今回のテーマは、AIに大事なことは2回伝える、について話していきます。
はい、ということで今日は、久しぶりにAIへの指示について話していきます。
今日話す内容は、2025年の12月、えっとちょうど先月、Googleから発表された論文に基づく内容となります。
AIへの指示を2回繰り返すと、回答精度が上がる、という研究結果となります。
簡単に使えて、そして効果もあるということで、今回エピソードで話そうと思います。
今日話すポイントは主に3つです。
1つ目に、AIへの指示を2回繰り返すことの効果、論文の内容について。
2つ目に、なぜ指示を2回繰り返すことで、回答精度が上がるのか、その理由について。
そして3点目に、今回の件に関連して、AIへの指示の順番の重要性、これら3つを中心に話していきます。
はい、では早速話していきましょう。
2025年の12月に、Googleリサーチから次のような論文が発表されました。
プロンプト反復は非推論型LLMを向上させる。
ちょっと難しいタイトルなんですけど、簡単に言うと、プロンプト、つまりAIへの指示を2回繰り返すことで、AIの性能が向上した、という内容です。
具体的にどのような内容かというと、もうそのままです。
AIへの指示をコピペして2回繰り返すだけです。
例えば、ニュースタイトルからそのニュースをカテゴリーごとに分類するようなタスク、これをAIにやらせるとします。
例えば、オープンAI新モデル発表というニュースタイトルは、テクノロジーのカテゴリーに分類すると。
日経平均株価最高値を更新、このようなニュースタイトルは経済のカテゴリーに分類する、このようなタスクをAIにやらせるとします。
この時、AIの指示はこんな感じになると思います。
次のニュースタイトルをスポーツ、政治、テクノロジー、経済のいずれかに分類してください。
そして、ニュースタイトルを貼り付ける。
今回、論文で紹介されているアプローチを採用すると、シンプルに2回繰り返す形になります。
次のニュースタイトルをいずれかに分類してください。ニュースタイトルを貼り付け。
次のニュースタイトルをいずれかに分類してください。ニュースタイトルを貼り付け。
何も難しいことはやっていません。シンプルにAIへの指示を2回繰り返しただけです。
こんなことで、本当に精度が上がるのかと疑問に思う方も多いと思います。
ただ、実験結果ではかなり良い結果が報告されています。
実験に使われたモデルも結構幅広く使っていて、
GoogleのGemini、OpenAIのChatGPT、あとはアンソロピックのCloud、あとはDeepSeekなどが使われています。
なので、このアプローチというのはChatGPTだけに通用するテクニックとか、そういったものではなくて、
多くのAIで汎用的に使えるアプローチであると。
で、様々なAIモデルを使って実験した結果、かなり有効な結果を得られたと報告されています。
確か47勝0敗でしたかね。
とにかく1回だけの指示と2回繰り返した指示、これらを比較した場合に、
2回繰り返した方が多くのタスクで良い結果を得られたと。
じゃあなぜこういった繰り返しのアプローチが効果的なのかというと、
これは生成AIが指示を処理する順番、これが関係しています。
ちょっとここ詳しく掘り下げます。
以前ポッドキャストでも話したと思うんですけど、
AIへの指示の順番について。
ちょっといきなりなんですけど、この辺の解像度を上げるために、
ちょっと今から問題を出したいと思います。いきますね。
次のAIへの指示はどちらが適切でしょうか。
A、次の英語を日本語に翻訳してください。
そして英語のテキストを貼り付ける。
B、先に英語のテキストを貼り付けて、
この英語を日本語に翻訳してください。
AとB、どちらの指示の方が良いでしょうか。
ちょっともう一回言いますね。
A、次の英語を日本語に翻訳してください。
そして英語のテキストを貼り付ける。
Bは、先に英語のテキストを貼り付けて、
この英語を日本語に翻訳してください。
違いは、先に英語のテキストを貼り付けているか、
後に貼り付けているからです。
で、これ答えを言うと、Aが良いAIの指示と言われています。
先に、次の英語を日本語に翻訳してくださいと明示をして、
後に英語のテキストを貼り付けると。
じゃあなぜBの方が良くないと言われるのでしょうか。
先に英語のテキストを貼り付けて、
この英語を日本語に翻訳してください。
このような指示です。
後で具体的な指示を言うパターンです。
なぜAの方が良くてBの方が悪いのか。
これは、生成AIが指示を処理する順番が関係しています。
生成AIは指示を前から順番に処理するという特性があります。
指示の順番の重要性
Bのように先に英語のテキストを提示されても、
AIはその英語のテキストをどのように処理すればいいのか、
処理の最初の段階ではまだ分かっていません。
この英語を日本語に翻訳すればいいのか、
この英語をスペイン語に翻訳すればいいのか、
なんならこの英語の文字数をカウントしてほしいのか、
まだ指示の最初の段階では分かっていないわけです。
ここら辺は正直言うと、今のAIは性能がかなり高いので、
AとBどちらのケースでも精度高く翻訳タスクは行ってくれます。
ただ厳密に言うと、AIへの指示を作る場合は、
この処理の順番というのも意識する必要があります。
これは人間に置き換えてもイメージしやすいと思います。
例えば、会社で上司からいきなり英語の資料を渡されたとします。
矢野君、はいと。
でも、私は受け取った時点で、
その英語の資料をどのように処理すればいいのか、
その時点ではまだ分からないですよね。
英語の資料をパッと渡されて、
矢野君、この英語の資料、来週までに翻訳してレポートを作成しておいてくれと。
そう言われると、後で分かるわけですけど、
指示の出し方としては、先に何をしてほしいのかというのは、
明示してもらった方がスマートです。
矢野君、今から渡すこの英語資料を、来週までに翻訳してレポートを作成してくれよと。
そして英語の資料を渡すと。
話を本題に戻すと、
AIへの指示を2回繰り返すということは、
AIが2回目の指示を読む時には、
すでに1回目の指示は背景情報として知っていることになります。
つまり、1回目の指示を受けた時に、
AIは全体図を把握することができます。
そのため、1回目の指示が2回目の指示を正しく理解するためのガイドとして作用するというわけです。
これもまた人間で置き換えるとイメージしやすいと思います。
例えば、そうですね。
一度も読んだことがない初見の試験問題を解く場面を想像してみてください。
まず、問題の内容を理解するのに時間がかかると思います。
それよりも、一度ざっとした読みをしてから、
もう一度同じ問題を読みながら解くと。
こうした方が、問題に対する理解度に差が出てくると思います。
なぜなら、問題文の2回目を読む時には、
すでにどこに何が書いてあるかというのは、頭の中に入っているからです。
このアプローチの面白いところは、既存のAIへの指示を簡単に改善できるということです。
例えば、私がニュースタイトルからタグ付けを自動的に行うタスクをAIにやらせるとします。
ニュースタイトルからChatGPTのタグをつけるべきか、
ジェミニのタグをつけるべきか。
こうしたAIへの指示を改良したいなと考えた時に、
シンプルに既存の指示をコピペして、2回ペタッと貼り付けるだけで、
精度の向上が見込めると、かなり導入もしやすくて、かつ効果的なので、
ちょっとこのタスク、もっと精度を上げたいなという時に、
シンプルに試せるので便利だと思います。
ただ、いくつか注意点はあります。
この2回繰り返すアプローチは非推論モデルに効果的とされています。
つまり、推論モデルではあまり効果は得られなかったと。
ちょっとここ掘り下げて説明します。
ここで言う推論モデルというのは、
AIが思考を重ねて回答を生成するモデルとなります。
例えば、ChatGPTやジェミニでは、
チャット画面で思考モードを選択することができます。
AIに思考をさせて回答するシンキングモード。
また、AIに思考させずに瞬時に回答するモード。
大きく分けてこの2つがあります。
この思考モード、シンキングモードを使っている場合は、
この指示を2回繰り返すアプローチはあまり効果的ではないと報告されています。
こうした推論モデルというのは、回答を生成する過程で、
ユーザーからの指示を自ら反数したりしています。
なので、こうしたプロセスがこの2回の繰り返しに相当するものとして
機能しているのではないかと。
そのため、推論モデルでは、
AIの指示を繰り返す効果
この2回繰り返しのアプローチはあまり効果がないのではないかと論文で述べられています。
あとは、2回以上指示を繰り返すことについても言及されています。
AIへの指示、2回繰り返したら効果が上がったと。
じゃあ指示を3回、4回、5回繰り返すと、もっと効果が上がるのかっていうと、
実際はそうではないようです。
論文では最大3回まで実験が行われたんですけど、
同じ指示を3回繰り返した場合は、2回繰り返した場合と比べて、
タスクによって精度が上がるものもあったと確かに。
でも、タスクによっては精度がさほど変わらなかったものがあると報告されています。
2回繰り返すよりも3回繰り返した方が大幅に性能が上がったと報告されているタスクは、
次のようなタスクとなります。
50人の名前のリストから特定の順番を当てるというものです。
50人の名前のリストから〇〇さんはリストの何番目にいますかと。
このようなタスクです。
こういったタスクって結構AI苦手なんですよね。
〇〇の情報は何行目に記載されていますかとか、〇〇の情報は何番目にありますかとか。
ただ、こうしたタスクでは2回指示を繰り返すよりも3回繰り返した方が、
大幅に上回る回答精度を記録したと報告されています。
ただし、すべてのタスクで2回よりも3回繰り返した方が無条件に精度が上がるかというとそうではないようです。
大体は2回繰り返すと同程度、もしくはちょっとだけ精度が上がるような結果に終わったようです。
以上が、AIへの指示を2回繰り返すと効果が上がると報告された論文の内容となります。
実験と結果
戦略はいたってシンプルです。
AIへの指示をコピーして貼り付けるだけ。
これだけで回答精度が上がるなら試してみる価値はあると思います。
AIの自動化やローカルLLMなど、コストやマシン性能の関係で比較的小さなAIモデルを使っている人は結構このテクニック面白いと思います。
コストの関係であまり大きなモデルを使えないと。
でもできるだけAIのタスクは精度高く処理をしてほしいと。
こうした時にシンプルにAIへの指示を2回繰り返すだけで回答精度が上がるのであれば試す価値はあると思います。
私も実際にいくつかのタスクで試してみました。
ちなみに今の最新モデルだとあまりに性能が良すぎて比較が難しいので、あえて小型のモデルで試しました。
まず要約のタスク。長文のテキストを貼り付けて、このテキストから筆者の主張や重要なポイントを抽出してくださいと。
それをリスト形式で3つにまとめてくださいと。
このようなタスクで1回指示した場合と2回繰り返して指示した場合で比較をしてみました。
要約のタスクに関しては正直そこまで差はないかなと感じました。
次に文章構成のタスクで試してみました。文章の誤字脱字や誤りを指摘するようなタスクです。
文章構成のタスクに関してはこれは明らかに精度に差が出ました。
一度の指示よりも2回繰り返した方が精度高く文章構成を行ってくれました。
で、あとは分類のタスクも試してみました。ニュースの内容をジャンルごとに分類すると。このようなタスクです。
これもやっぱり1回指示した場合よりも2回繰り返して指示した場合の方が精度が高かったです。
なので試してみた感想としては例えばアイデア出しであったり文章から改めて文章を生成するような要約のタスク
そういったなんて言えばいいんでしょうかクリエイティブなタスクと言えばいいんでしょうか
そういったタスクはあまり精度は変わらないのかなという印象です。
で、そういったものではなくて文章構成のような文章から特定の情報を抽出する
そういったタスクでは効果が高いのかなと思いました。
実際に実験でも50のリストからこの特定のワードは何番目にありますかと
そういったタスクで特に強みを発揮すると述べられていました。
なので情報抽出とかあとは分類系そういったタスクで強みを発揮するかなと思いました。
テキスト全体を参照させてそこから何かしらの情報を見つける抽出する
そういったタスクで試してみてはいかがでしょうか。
実際は同じ指示をコピペで2回ペタッと貼り付けるだけなので
誰でも簡単に導入できるのでぜひチェックしてみてください。
はい、それでは今日のポイントをまとめます。
1つ目にAIの指示は2回繰り返すことで回答精度が上がります。
2つ目、やり方は非常に簡単です。
AIへの指示をコピーしてもう一度貼り付けるだけでOKです。
最後3点目、注意点としてこのアプローチは非推論モデルで効果があります。
AIが思考を重ねて回答を生成する推論モデルではあまり効果がなかったと
そのような報告もされています。
今回紹介した論文へのリンクは概要欄に貼っておきますので
興味のある方はこちらもチェックしてみてください。
はい、今日はこの辺ということで本日もお付き合いいただきありがとうございました。
番組ではこのように耳で学べるAIを毎週発信しています。
通勤中や家事の合間にAI情報をキャッチアップできます。
毎週水曜朝に更新していますのでぜひフォローをお願いします。
そしておすすめの生成AIツールをまとめた資料も配布しています。
興味のある方はこちらもぜひ概要欄にリンクを貼っておきます。
お相手は耳で学ぶAIの矢野てっぺいでした。
また次の配信でお会いしましょう。
