00:01
皆さん、こんにちは。The Signal Shift by A.I.R. Labs。 今週もSpotifyやApple Podcastなどで配信を開始しています。
この番組は、日々のAI最先端トレンドの変化のシグナルを読み解き、 私たちのビジネスや日常にどう影響するかを分かりやすくお届けする番組です。
10月12日、朝の配信号の今回は、 人間の解釈の多様性とAIエージェントの効率化について深く掘り下げていきますね。
カイさん、今日もよろしくお願いします。
こんにちは。本日は最新の学術論文から3つのシグナルを取り上げます。
単一の正解を前提としない考え方、AIエージェントが立てた計画の直し方、 そしてエージェントの記憶の整理の仕方です。
特に最後の話題は、効果が出る場面と出ない場面の両方が報告されていますので、 その点も含めて見ていきましょう。
最初の話題は、人間中心のAIにおける曖昧さの需要についてですね。
これまでのAIは一つの正解を出すのが当たり前でしたが、何が新しくなったんでしょうか?
はい。アーカイブに公開された論文、 Who's Ground Truth? EmbracingAmbiguity in Human-Centered AIでは、
従来の機械学習が単一の確かな正解データ、 つまりグラウンド・トゥルースが存在するという前提で作られてきた点を指摘しています。
人によってラベルがばらつく場合も、多数決などで一つにまとめるか ノイズとして扱うのが一般的でした。
この論文はその見方を改めようという提起です。
ばらつきを全部ノイズとして扱ってはいけないというのはわかります。
でも、本当にただの間違いと意味のある違いはどう区別するんですか?
そこがこの論文の肝です。
ソースは、同じ入力に対して複数の解釈が同時に最もらしく成り立つ場合があると述べています。
そして、そうした意味のある曖昧さと単なるアノテーション、 つまりラベル付け作業のノイズ等を区別した上で、
妥当な人間の判断が広がる範囲、 つまり解釈の空間そのものをモデル化することを求めています。
さらに、これはデータの作り方だけの話ではなく、
AIをどう表現し、学習させ、評価し、 展開し、統治するか、という全段階に関わると位置づけています。
一つの答えに丸めてしまうと、人の知覚や判断、 経験の多様性についての情報が最初の段階で捨てられてしまうからです。
アンケートの平均値だけを見るんじゃなくて、 意見が割れていること自体に意味があると捉えるようなものですね。
これって、実務の現場ではどう影響するんでしょうか?
初期の見解として、これは位置づけ論文、 つまり方向性を提案する論文で、
03:01
具体的な性能数値が示されたものではありません。
ただ、この考え方に立てば、人によって判断が分かれる領域で、
AIが一つの答えを押し付けず、複数の妥当な解釈を扱える設計に近づきます。
そうなると、精度だけでなく、どの解釈をどこまで拾えているかを見る評価の観点が必要になってきます。
評価の観点が変わると、例えば採用や審査のような、 人の判断が分かれる場面でAIを使っている担当者は困りそうですね。
正解率が高いからと説明できなくなりますし。
そうですね。まず、そうした場面を運用する担当者は、
どの解釈の幅を許容するのかを自分たちで決めて説明する必要が出てきます。
次に、評価をする側も単一の正解との一致率だけでは測れなくなります。
結論として、多様な解釈を扱うAIを導入するなら、
導入前に解釈が分かれて良い範囲と、単なるラベルの誤りとして直すべき範囲の線引きを組織として決めておくことが現実的な第一歩になります。
続いて二つ目の話題は、エージェント計画の修正に関するプラン&パッチですね。
長期的なタスクをこなすAIの計画づくりに、どんな変化が起きているのでしょうか。
アーカイブの論文、プラン&パッチ、Diffusion Language Models for Agentic Planning で提案された手法です。
長いタスクを実行するAIエージェントは、環境の変化や予期せぬエラーで計画が崩れることがあります。
その時、計画全体を作り直すのではなく、影響を受けた部分だけを作り直し、前後のステップはそのまま保つ枠組みです。
最初から作り直さない方が効率がいいのはわかりますが、具体的にどう違うんですか?拡散言語モデルというのも初めて聞きました。
通常の言語モデルは、前から順に一語ずつ文章を書いていきます。これを自己回帰型と呼びます。
一方、この論文で使う拡散言語モデルは、伏せ字になった複数の箇所を同時に埋めて文章を作れます。
そのため、計画の途中の一部分だけを伏せ字にして、前後のステップを固定したまま、そこだけを書き直すという使い方ができます。
ソースによると、タスク固有の訓練をしていないナチュラルプランというベンチマークで、計画の修復成功率は拡散型が53.7%、自己回帰型が27.0%とほぼ2倍でした。
比較したのは、Dream Reasoner 8BとQuen3 8Bです。
全体のスケジュールを1から引き直すんじゃなくて、例えば、出張計画の日程だけすっと差し替えるような手際の良さですね。処理スピードの面ではどうなんですか?
初期の見解として、2つの結果を分けてみる必要があります。修復の成功率が上がったのは、先ほどの訓練なしの設定です。
06:08
ALFワールドとTextCraftというエージェント向けのベンチマークで、タスク固有の訓練をした後は、計画生成の成功率は両者で同程度でした。
その一方で、拡散型は計画生成の平均遅延を自己回帰型より39から46%減らしています。
つまり、修復の精度と生成の速さという別々の利点が報告されていると捉えるのが正確です。
局所的に直せるのは便利ですが、勝手に部分修正された結果、全体の目的からズレてしまうリスクはないのでしょうか?
その懸念は重要です。ただし、ソースにはこのズレを検証した結果は示されていないので、ここは私の見立てです。
例えば、途中の手順を直した結果、後ろの手順が前提としていた条件が変わってしまうことが考えられます。
そのため、修復の度に直した部分が元の目的と整合しているかを確認する手順を、人が見る形でも良いので運用に組み込んでおくことが現実的な備えになります。
そして三つ目の話題は、ツール使用エージェントのための科学的コンテキスト管理ですね。
コンテキストというのは、AIが作業中に手元に持っている情報のことでしたよね?
はい。AIが一度に読み込んでいる情報の範囲のことです。
アーカイブの論文、「エージェントコントロールド・フォーゲッティング for Tool-UsingAgents – Reversible Context Curation in Practice」では、
ツールを使うエージェントが受け取った結果のうち、不要になったものをエージェント自身が選んで短いメモに置き換えます。
元のデータは、後から復元できるアーカイブに保管しておく仕組みです。
なぜそんなことをするんですか?仕組みとしてはどういう設計になっているんでしょうか?
出発点は、ツールから返ってくる結果が、元のデータ量に比べて本当に役立つ部分がずっと小さいことが多いという課題です。
使わない部分を持ち回ると、AIが読む文字量の単位であるトークンが増え、API利用量もかさみます。
設計上は、メモに置き換えるのは元の位置のままで、原本は正確に残します。
まとめて退避させる操作と、明示的に復元する操作を用意して、タスク固有のモデル訓練は不要です。
一方で、ユーザーの指示とAI自身のメッセージは、この操作の対象から外して守ります。
決して良いのは道具の出力だけで、会話の筋道は残すという前提です。
長い議事録をようやくメモにして、原本は倉庫にしまい、必要なら取り出すようなものですね。
実際、どのくらい効果があったんですか?
初期の見解として、効果は事例によって大きく分かれました。
09:02
オープンテレメトリーのデバッグを探索的に行った事例では、累積の入力トークンが約50%減り、
推定のAPIコストは約4.38ドルに対して、1.28から1.44ドルでした。
ただし、リクエスト数は増え、所要時間は17%長くなっています。
また、アプリ開発の別の事例では、コンテキストもコストも節約できませんでした。
さらに、以前の別の継続事例では、コンテキストは減ったものの、手作業で評価した品質が低くなったとされています。
節約できる場合もあれば、時間が伸びたり、品質が下がったり、効果がなかったりもするんですね。
それだと導入の判断が難しそうです。
そうですね。ソースもワークロードへの依存、つまり仕事の種類によって結果が変わることを中心的な論点としています。
コストが膨らみやすい、結果の出力が多くて雑多なツール利用では試す価値がありますが、
時間と品質への影響も同時に図る必要があります。
結論として、全面導入より前に、自社の典型的な作業でコスト、所要時間、品質の3点を比べる小さな検証から始めるのが妥当です。
3つの話題を通してAIを使うときは、1つの答えや1つの手法を前提にせず、場面ごとの条件を見極めることが大事だと感じました。
正直、記憶を整理しても効果が出ない事例があるという点には驚きました。
それでは、本日のビジネスアクションを2点お伝えします。
1点目は、AIの導入や評価で単一の正解率だけでなく、人の判断が分かれる範囲をどう扱うかを事前に決めておくこと。
2点目は、エージェントの計画修復やコンテキスト管理を試すときは、コストだけでなく、所要時間と品質も自社の作業で比べてから判断することです。
どちらも、これからのAI運用で見落とせない点ですね。
番組のフォローや評価、コメントやフィードバックは、お使いのポッドキャストアプリからお願いいたします。
皆さんからいただいたご感想は、今後の番組作りの参考にさせていただきます。
それではまた次回のシグナルでお会いしましょう。バイバイ。
