00:01
こんにちは、リスナーのみなさん。 The Signal Shift by A.I.R. Labs へようこそ。ナビゲーターのリンです。
同じくカイです。この番組はSpotifyやApple Podcastなどで配信中の AI の最先端トレンドと大きな変化のシグナルを読み解くポッドキャストです。
日々刻々と変わるAIの動きが私たちのビジネスや日常にどう影響するのかを、 初心者の視点からも分かりやすくお届けしていますね。
本日の10月10日朝の配信号では、AIが計画を立てるときの探索の小メモリ化、 シミュレーションによる企業データの合成、
そして、AIにお店の運営を任せて実力を図る評価環境という3つのシグナルを取り上げます。
最初のトピックは、計画作りの探索で必要なメモリを大きく減らす学習手法についてですね。 カイ、これは一体どんなニュースなんですか?
はい。AIが目標に至る手順、つまりプランを探すとき、 従来は通った状態を大量に記憶する必要がありました。
この研究は、言語モデルを使って探索の進め方を決めるルール群を学習し、 メモリ使用量を物体の数に対して多項式で収まる範囲に抑えたまま、
プランを見つけられるようにするものです。 メモリを抑えながら探索するっていうのは具体的にどういうことなんですか?
従来のヒューリスティック探索、つまり経験則を頼りにした探索は、 その経験則がほぼ完璧でも指数的に多くの状態を保存し得るという問題がありました。
そこでこの研究は、ルールの集まりを学習します。 論文ではインデックス付きポリシーと呼ばれていて、
レジスタという小さな置き場所に対象物を持ち、 それを手がかりに次の動きを決めるルール群のことです。
ここに候補を一つ選んで、うまくいかなければそこに戻る分岐点を記録する選択ルールを加えます。
さらに、無限に動き続けないことを構造的終端と呼んで保証すると、 どの実行も物体の数の多項式の長さで終わると示されました。
その結果、訪問済みの状態の一覧を持たなくても、 状態空間がどれだけ大きくても多項式のメモリでプランを見つけられます。
なるほど、巨大な迷路で通った道を全部メモするんじゃなくて、 賢いルールだけを覚えて進むようなイメージですね。
実際の成果はどうなんでしょう。 はい、学習したポリシーを使うと、
IPC2023ラーニングトラックとオートスケールアジャイルというテスト群の1,890タスクのうち1,709を解き、
既存のラマ、BFWS、レビトロンより多く解けたと報告されています。 しかも、そのほとんどが1秒100メガバイト以内で済んだそうです。
03:06
ただし、これは研究のベンチマーク上の結果で、 手元の業務システムでそのまま動くという意味ではありません。
でも、メモリを減らした分、どこかにシワ寄せはないんですか? あります。シワ寄せは時間に出ます。
論文によれば、時間コストは選択進度、 つまり実行中に本当に選ぶ場面が何回あるかに対して指数的に増えます。
そのため、このポリシーで解ける問題の種類はNPに含まれ、 選択進度が一定ならPに含まれるという整理になります。
だから、学習では選択進度を小さく保つことも重視されています。 メモリの壁を選択の少ないルール設計という別の条件に置き換えた研究だと言えます。
続いて2つ目のトピックは、シミュレーションを通じた企業データの合成ですね。 カイ、これはどういう仕組みなんですか?
シンセシススルーシミュレーション、略してSTSという手法です。
模擬的な企業システムの中で、AIエージェント、 つまり道具を呼び出して作業をするAIが、ルールを共生するAPIに対して操作を実行します。
その操作の結果として、構造的に矛盾のない企業データを生成します。
しかも、データベースのスキーマ、 つまりデータの設計図を使わずに行える点が特徴です。
データを作るのに、どうしてわざわざシミュレーション環境を通す必要があるんですか?
企業システムのデータやスキーマには、 ホームや事業上の制約があって、AIの学習や評価に使いにくいという事情があります。
表形式のデータ合成という代替手段もありますが、 データの構造的な妥当性、つまり矛盾のない形になっているか、
と、スキーマが手に入るかどうかに限界があります。
逆に手順書ベースの方法は、分布の忠実度、 つまり本物のデータの偏りに近いかどうかが弱くなりがちです。
SDSでは、有効かどうかを決めるのがデータを生み出す環境そのものなので、 妥当性は構造上守られます。
その上で、分布の再現は別に取り組めます。
機密データそのものを使わなくても、教習所の模擬コースみたいに、 ルールが守られた仮想の練習場でデータを作れるということですね。
はい。しかも、このフレームワーク全体と10個の環境、 生成されたデータセットが、SAPによってオープンソースで公開されています。
こうした公開物があれば、他の研究者や開発者も、 同じ環境でエージェントの訓練や評価を試せます。
でも、仮想環境で作ったデータが、 現実の複雑な偏りまで再現できているのかは気になります。
そこはどう確かめているんですか?
論文では、汎用のエージェントであるジェネラリスト・ポピュレーターが、 10環境全てでデータベースのスキーマにアクセスせずに、
06:06
周辺分布の忠実度で平均0.88、 制約の充足率で100%を達成したと報告されています。
比較では、統計的な合成手法は、 元になるシードデータが必要なため、
10環境のうち7つで使えませんでした。
また、スキーマを使えるエージェントでも、 航空会社の環境では密接に結びついた作業の組み立てが脆く、
82%の実行が失敗したそうです。
ただ、0.88は完全一致ではないので、 現実の偏りの再現にはまだ伸びしろがあります。
そして3つ目のトピックは、AIにオンラインストアの運営を任せて実力を図る ストアベンチですね。
貝、これはどんな環境なんですか?
ストアベンチは、実際の運用レベルのバックエンドを備えた、 アパレルの中規模オンラインストアの模擬環境です。
AIエージェントが店を運営して、不確実な状況での長期的な計画と 経済的な判断力を試されます。
ここで言うライブとは、ライブ配信ではなく、 時間とともに状況が動き続けるという意味です。
これまでのテストとは何がそんなに違うんですか?
従来のエージェント向けテストの多くは静的で、 エージェントが動いたときだけ世界が進みました。
報酬も最後の合費判定だけで、 合格ラインも恣意的に決められていました。
ストアベンチでは、顧客が1日中注文し、 仕入れ先が価格を改定したり供給に失敗したりし、
市場ショックも警告が部分的にしかない、 あるいは全くないまま起こります。
AIは人間のオペレーターと同じ29種類のツールを使います。
操作予算によって、模擬時間は行動の数で決まります。
そのため、モデルの応答の遅さは結果に影響しませんし、 同じ行動列なら完全に再現できます。
合格ラインはスクリプト化した基準ポリシーで強制され、
報酬ハッキング、つまり抜け道で点を稼ぐ手口への対策も入っています。
ルールが公平で、再現もできるテストなんですね。
それで実際の結果はどうだったんですか?
評価した最先端の大規模言語モデル7つのうち、
どのモデルもスクリプト化された スマートトリアージポリシーに平均では及びませんでした。
最良のDeepSeek V4 Proでもタスクとシードの組み合わせの合格率は49%で、
ヒューリスティックは97%です。
人間の専門家と比べても全モデルを上回るという結果でした。
人間の専門家の方が上ということは、今のAIに店を丸ごと任せるのはまだ早いのでしょうか?
ただ、人間との差はどれくらいなんでしょう?
09:00
人間の専門家の平均総合スコアは0.708、最良のモデル側は0.700と差はごくわずかです。
ですので、人間に大きく劣るというより、ほぼ並んでいる水準です。
さらに1年分の長期シミュレーションでは、多くのモデルが大きく改善しました。
QN3.5-27という別のモデルをGRPOという後学習で、わずか5つのタスクだけで訓練すると、
未学習のタスクでの平均総合スコアが0.136から0.373に上がっています。
この結果から、現状は簡単な経験則にも届かないものの、訓練で伸びる余地は見えていると読めます。
どのトピックも、AIが計画やデータ、実務の評価をどう変え得るかという変化につながっていますね。
それでは、今回の内容から考えられるビジネスアクションを2つお伝えします。
1つ目は、業務の自動化を検討するとき、全履歴を持つ設計だけでなく、選択の回数を抑えたルール設計という視点も比べてみることです。
2つ目は、AIに任せる業務を検討するとき、機密データを直接使えない場合に、シミュレーション環境での検証を選択肢に加えることです。
また、実際の運用を想定した再現できる評価で、人間や基準ポリシーとの差を確かめておくことも大切です。
番組のフォローや評価、コメントもSpotifyやApple Podcastからよろしくお願いします。
次回以降も、AIの評価環境やエージェントの動きに関するシグナルを、機会があれば取り上げられたらいいなと思っています。
それでは、バイバイ。
