00:02
皆さん、こんにちは。最先端のトレンドを読み解く番組、The Signal Shift by A.I.R. Labs へようこそ。
この番組はSpotifyやApple Podcastなどで絶賛配信中です。
ナビゲーターのKaiです。そして、リスナーの代弁者であるLinと一緒に、日々刻々と変化するAIの最先端トレンドと大きな変化のシグナルを読み解き、
ビジネスや日常にどう影響するか、初心者にでも分かりやすくお届けしていきます。
本日の10月5日、朝の配信号では、AIエージェントの確実性や合成データの未来について深掘りしていきますね。
Kai、早速最初のシグナルをお願いします。
最初のトピックは、AIエージェントの実行状態と信頼性のギャップについてですね。一体どんなことが起きたんでしょうか。
マイクロソフトとハギングフェイスが公開したThinkingBoxというAIエージェントの評価環境の話です。
例えば、配送が止まっている顧客の問い合わせで、エージェントは手順通りにツールを9回呼び出し、返金ポリシーも正しく読みました。
ところが、最後にチケットを解決済みにしてしまい、本来必要だった保留という状態になっていなかったんです。
ツールの呼び出し記録だけ見れば正しく見えるのに、データベースの状態は食い違っていました。
画面上では解決しましたって出てても、裏のデータベースは正しい状態になってなかったってことですか。
それって普通のチェックでは見つけにくそうですよね。
そこがポイントです。最終的な返答や有効なツール呼び出しは、あくまで成果を間接的に示す代理指標にすぎません。
本当に成果を決めるのは、終了後にデータベースに残った記録です。
実際、12のモデルでの121,680回の試行のうち、79,853回が状態の検査に失敗しました。
その67.24%は、エラーなく終了し、データを変更するツールも呼んでいたんです。
さらに失敗の約5分の4は、推論の誤りではなく、ツールのエラーや空の検索結果からうまく立て直せない、といったツール処理の問題でした。
そのため、この評価では507の業務タスクをそれぞれ20回、毎回まっさらな環境で独立に試して一貫性を図る設計になっています。
それって、見た目だけ優秀なアルバイトが、実は肝心な長暮付けを忘れて帰っちゃったみたいな怖さがありますよね。
ここで大事なのが、指標の違いです。
Pass at 1は、1回試して成功する確率のことです。
一方、20÷20は、同じタスクを20回独立に試して、20回とも成功したタスクの数です。
Pass at 1が高くても、20回の一貫性を見ると差が開きます。
03:01
単発のスコアのうち、20回の繰り返しでも残る割合は、GPT-6 Astraで78%、クロードオーパス5.5とクロードオーパス5で71%でした。
一方、GLM5.1などは約8%しか残りません。
実務で記録を触らせるなら、1回の成功より繰り返しの安定性を見るべきだということです。
単発のテストで合格したからって、安心して実務に投入すると、裏でデータがめちゃくちゃになっているリスクがありますね。
どう対策していけばいいんでしょう?
ソースでは、まず終了時のデータベースの状態を確認することが挙げられています。
AIの要約ではなく、実際の記録を見るわけです。
次に、ツールやシステムのエラーを分類して、立て直せるものだけを再試行の対象にします。
さらに、エージェントが使えるツールを業務に必要な範囲に絞ること、取り消しにくい変更には人間の承認を入れることも挙げられています。
そして、20分の20の達成率は合比の判定ではなく、設計の入力として扱うとされています。
ただし、これらの対策でどれだけ改善するかは、この評価ではまだ図っていないそうです。
まず、状態を確認して、エラーの扱いと権限も設計するんですね。
続いて2つ目のトピックは、エンタープライズ向けの合成データ生成についてですね。
サービスナウが発表したオートシンスデータという仕組みです。
対象のモデルの失敗と、より強力な教師モデルの成功を手がかりに、
現場の環境に合わせた学習用の新しいタスクを作り、検証した上で追加学習に使います。
実験では、約2000件のデータを約18時間で生成し、
それで小さめのモデルであるジェンマを追加学習させました。
AIが自分で自分の苦手な問題を見つけて、練習問題を作っちゃうみたいなイメージですか?
少し違います。AIが自分で自分を改善するわけではなく、
強い教師モデルの成功例を見せて学ばせる教師やり微調整、つまりSFTです。
タスクの生成も、評価で見つかった失敗パターンを整理した使用カードに基づいて行われます。
生成された各タスクには条件が3つあります。
環境の中で実行可能であること、実際に頼まれそうな現実的な内容であること、
そして今のモデルがまだ安定して解けない難しさがあることです。
さらに成功を判定する検証期にも条件があります。
間違った結果は確実に落とす健全性と、正しい別解もきちんと通す完全性です。
選定の基準も具体的で、対象モデルが3回中1回以下しか解けず、
教師が3回中2回以上解けるタスクが選ばれます。
06:00
汎用的なデータじゃなくて、うちの会社のシステム特有の癖に合わせてAIを特訓できるのはすごく助かりますね。
データの量だけでなく質の管理が肝になります。
ソースでは検証済みの基本サンプルから編集を増やす段階を設けています。
その編集からさらに編集を作ることは禁止されていて、これは生成を重ねるうちのズレを抑えるためです。
また、実行できないタスクや報酬を誤って与える検証期を通さない関門も用意されています。
データを作る手間が自動化されるのはいいですけど、実際にどれくらい効果があったんですか?
データがあります。ハイブリッドという環境でパスアットワン、つまり1回で成功する割合が平均7.2ポイント上がりました。
相対では35%の改善で、検証の成功率も63.01%から68.55%に上がっています。
参照モデルとの差の59%を埋めた計算です。
もう一つのITSMという環境でも、18.77%から27.18%に上がりました。
ただ、ITSMは約2000件の生成に66時間かかっていて、教師モデルが大きかったことなどが理由とされています。
つまり、効果は2つの環境で確認された一方、生成にかかる時間は条件で大きく変わるというのが現時点での結論です。
2つの環境で効果が出たんですね。
それでは3つ目のトピック、推論時に別の思考の断片を継ぎきする手法についても教えてください。
最新の論文の検証です。
AIに同じ数学の問題を複数の思考の流れで並列に解かせるとき、流れ同士が似てしまう問題があります。
その対策として、プロセス報酬モデル、つまり途中の各ステップを採点するモデルが評価の低い流れを打ち切るときに、
その高評価の前半部分を、まだ考えている別の流れに例として貼り付ける手法があります。
この論文は、クエン2.5、7Bインストラクト、そして数学ベンチマークのマス500の500問、3回の思考で検証しましたが、
普通に独立して並列で解かせた場合と統計的に区別できませんでした。
料理の途中で、別の鍋の具材だけ足しても味がまとまらない、みたいな感じですか?
その例えで言うと、具材を足す相手の鍋がすでに完成していたり、もうすぐ出来上がる状態だったり、
非加減の変化がなく、変わりようがなかったりしたんです。論文では、停滞したと判断して継ぎ切した322回を分類しました。
本当に苦戦していた流れに継ぎ切できたのは14%だけで、残りはすでに正解済み、完了間近、採点が横ばいの状態の流れでした。
09:04
さらにランダムに選んで継ぎ切しても、2.4倍の頻度で同じ程度の結果でした。
つまり、狙い方のまずさだけが原因ではないということです。
部分的にいいとこ取りをしようとしても、そもそも助けが必要な相手に届いてなかったってことですね。
はい。この結果は、3つの言語モデル、6つのベンチマーク、別の採点モデルでも再現しました。
さらに、効果がないことを統計的に確かめる透過性検定で、12のケース全てで同等と確認されています。
ただし、論文はあくまで今回の動作点での結果だと範囲を限定しています。
効果がないという結果をどう確かめたのかが大事なんですね。
そうです。この論文の貢献は、効果がないことをきちんと示すための透過性検定のテンプレートを提示した点です。
ちなみに、結果を見てから最適に選べたと仮定した上限でも、改善はわずか0.13ポイントでした。
新しい手法を評価するときは、独立した並列のような基準との比較やランダムな対象が重要だとわかります。
今回のエピソードは、見た目の成功と実際の記録のズレに驚きましたし、効果を確かめる大切さにも納得しました。
本日の配信から実践できるビジネスアクションは2点あります。
1点目は、自社のAIエージェントの評価で、返答や画面上の成功ではなく、
終了時のデータベースの状態を検証し、同じタスクを繰り返し試して安定性を確認することです。
2点目は、AIの改善施策を評価で見つかった失敗パターンに基づいて設計し、
導入前に基準となる手法やランダムな対象と比べて本当に効果があるかを確かめることです。
ぜひ、明日からの実務に取り入れてみてくださいね。
番組の感想やコメントは、SpotifyやApple Podcastでの番組フォローや評価、
そしてコメント欄からぜひお知らせください。
すべてのフィードバックはチームで丁寧に目を通しています。
それでは、また次回のシグナルでお会いしましょう。
バイバイ。
