成功動画では測れないロボットの実力
こんにちは、ugoの松井です。ugo Robotics Radioは、ugoで働いている社員や各領域のプロフェッショナルをゲストに迎えながら、
ロボット開発のリアル、最新の技術動向、事業や組織の経営論など、幅広くお届けするチャンネルです。
本日のTech Trendでは、成功率だけではわからない、ロボット基盤モデルの実力をどう測るかについて取り上げたいと思います。
ロボット基盤モデルの性能は、何をどう測ればわかるのでしょうか。
タスクの成功率は大切な指標ですが、それだけで実力の全体がわかるわけではないですよね。
初めての環境への対応力、安全性、処理の速さ、こうした能力をどんな条件で確かめればよいのか、
そしてシミュレーションと実機のテストをどう組み合わせるのか。
今回は、ロボット基盤モデルの評価に必要な視点と方法を、研究の動向とともに整理していきたいと思います。
では、ここからは、AIナレーターの2人よりご紹介させていただきます。
最近、YouTubeとかSNSで、ロボットが見事な手つきでTシャツをたたんだりする動画、よく見かけますよね。
本当に増えましたよね。初めて見るような道具を使って複雑な梱包作業をスムーズにこなすような映像とか。
そうそう、それです。あれを見ると、なんというか、もうまるで魔法みたいだなって純粋に驚いてしまうんです。
わかります。ただ、そこにはちょっとした落とし穴があるんですよ。
落とし穴ですか?
はい。例えば、その完璧に動いているロボットが、部屋の電球の色を少し変えたりとか、カメラの位置を数センチずらしただけで、急にフリーズして全く動けなくなってしまったら、どう思いますか?
へー、たった数センチずれただけでですか?それはちょっと実用的とは言えないですよね。
そうなんですよ。実はそれ、今のロボット工学の最前線で起きているリアルな問題なんです。
SNSでバズるような一発勝負の成功動画と、ロボットの本当の実力との間には、まだかなり大きな乖離がありまして。
なるほど。だからこそ疑問に思うんです。
YouTubeで一度成功したからといって、そのロボットが本当に賢いと言えるのか。もしかして、たまたまその部屋の環境を丸暗記していただけなんじゃないかって。
まさにそこが、現在の研究者たちが直面している最大の壁ですね。
ええ。賢いロボット基盤モデルを、私たちは一体どうやって評価、つまりテストすればいいのか。
そこで、今回の融合ロボティックスラジオのテックトレンドコーナーではですね、この問題に切り込んでいきます。
興味深いテーマですね。
はい。2021年から2026年にかけて発表された膨大な研究資料やデータの海に潜って、ロボット基盤モデルのベンチマーク手法と評価のトレンドを徹底的に深掘りしていこうと思います。
よろしくお願いします。評価手法の進化は本当に目まぐるしいですからね。
専門用語がたくさん出てきそうだな、と身構えているリスナーのあなたも安心してください。
明日、誰かに話したくなるような身近な例え話で、私たちがどんどん噛み砕いていきますので。
一緒に紐解いていきましょう。
分布シフトとベンチマークの進化
さて、バズっている動画をそのまま信じられないなら、どうやって本当の賢さを評価するのか。
これを理解するには、まず昔のロボットがどうやってテストされていたのかを振り返る必要がありそうですね。
そうですね。少し前までの評価方法って実は非常にシンプルだったんです。
シンプルと言いますと?
例えば、目の前にある赤いコップをつかめといったような、あらかじめ指定された基地のタスクができたかどうか、その日の成功率だけを見ていたんですよね。
できたかできなかったか、ゼロか100か、みたいな世界だったんですね。
はい。ただ今は状況が根本から変わってしまいました。
何が変わったんですか?
データの規模です。
オープンXエンボディーメントのような巨大なデータセットが登場して、世界中から100万件を超えるようなロボットの動作軌跡が集約されるようになったんです。
100万件ですか。それはすごい数ですね。
ええ。学習に使うデータの規模が桁違いに膨れ上がった結果、テストに求められる要件も全く違うものになってしまったんですよ。
100万件のデータで学習するってことは、ちょっと料理に例えて考えてみたんですけど。
料理ですか。
昔のテストは、自分の家のキッチンでいつものフライパンを使っていつものオムレツを作るようなものですよね。自分の家なら簡単です。
まさに基地のタスクですね。
でも今のテストは、初めて訪れた他人のキッチンで見たこともない調理器具を渡されて、しかも変な色の照明の下でもいつもと同じおいしいオムレツを作れるか。そういうことが問われているってことですか。
非常に的確な例えです。私たちが分布シフトと呼んでいる課題の本質がまさにそれなんですよ。
分布シフトですか。
はい。未知の物体や初めての配置、異なる照明条件、あるいはロボットの体そのものが別のハードウェアに変わったとしてもちゃんとタスクをこなせるかどうか。
なるほど。単なる丸暗記じゃ通用しないわけですね。
その通りです。ロボットが単にその部屋の状況を記憶しているだけではなくて、環境の変化に耐えうる本当の理解を獲得しているかを測る必要が出てきたわけです。
他人のキッチンでのテストが必要になった。となると研究者たちは当然もっと難しいテストを用意するようになりますよね。現在のテストはどうなっているんですか。
評価手法はここ数年で急速に進化しました。例えば2021年に発表されたキャルビンというベンチマークがありまして。
カルビンですね。
はい。これでは未知の言語指示や環境下で長時間の連続したタスクができるかを評価し始めたんです。
長時間の連続タスク。一発芸じゃダメになったんですね。
ええ。さらに2023年のリベロというテストでは、なんと130ものタスクを用意しまして。
テストの抜け道と単一スコアの限界
130個もですか。
そうなんです。ロボットが学んだ知識を全く別のタスクにどうやって応用、つまり転移させるかを測る枠組みが提示されました。
ちょっと待ってください。もしそのリベロみたいな超難関テストで高得点を叩き出したロボット基盤モデルがあるなら、今頃私たちの家とか工場で完璧に働いているはずですよね。
普通はそう思いますよね。
でも実際には街でそんな万能なロボットは見かけないじゃないですか。ってことはそのテスト自体に何か致命的な欠陥、罠みたいなものがあるってことですか。
そこに気づくとは鋭いですね。実は2026年に行われたベンチマーク監査の研究で非常にショッキングな事実が判明したんです。
ショッキングな事実、気になります。
パラメータ数がわずか0.09Bという超小型のモデルが、あのリベロで最高レベルの点数を叩き出してしまったんですよ。
えー、0.09Bって今の巨大なAIモデルからすると極端に言えば最新のスマートトースターくらいの処理能力しかないですよね。そんな小さなモデルが130のタスクをクリアしたんですか。
そうなんです。言語を理解する機能すら持っていないのに最高得点を出してしまった。どうやってたと思いますか。
えー、全然想像もつかないです。どうやったんですか。
実はロボットとしての本当の動きを理解したわけではなくて、特定のショートカット、つまり抜け道を見つけたんです。
抜け道。
はい。
例えば、カメラに映る背景のわずかなピクセルの色の変化とタスク成功のデータが偶然結びついているのを発見してしまった。
ね、じゃあただその画像パターンに反応して正解のフラグを立てていただけってことですか。
まさにその通りです。テストの穴をついた一種のカンニングみたいなものですね。
うわー、それじゃあテストの意味が全くないじゃないですか。
えー、さらに深刻な報告もありまして、標準的なテスト環境では90%の成功率を誇る優秀なモデルがカメラの位置をほんの少しずらしたり照明を変えたりしただけで成功率が0%にまで急転直下してしまうケースもある
んです。
90%から0%ですか。ちょっとカメラがずれただけで全く動けなくなるなんて実用化を考えたら怖すぎますよ。
本当にそうですね。今のAIの世界、特に言語モデルの方ではMMLUという有名な共通テストがあって、とりあえずこれさえ高得点ならある程度賢いと言える基準があるんです。
人間でいうセンター試験みたいなものですね。
ええ。しかしロボットの世界には現在そのようなこれさえクリアすれば大丈夫という単一の標準ベンチマークが存在しないという衝撃の事実があるわけです。
なるほど。単純なテストの点数だけじゃ、カンニングしているだけのモデルとか環境変化に極端に弱いモデルを見抜けないわけですね。
そうなんです。だからこそ評価の方法そのものを根本から変えなければならない時期に来ています。
単一スコアが信用できないなら、研究者たちは今どうやってこの問題を解決して評価のトレンドを変えようとしているんですか?
大きな流れとして2つのアプローチがあります。1つ目は診断型プロファイルへの移行ですね。
診断型プロファイルですか?
はい。eベンチのような新しいテストでは、単一の総合点数を出すのをやめました。
その代わり、精密な操作能力や記憶力、未知の環境への対応力といった具合に、能力の軸を細かく分解して、レーダーチャートのような成績表を出すようにしたんです。
ああ、なるほど。それって車を買う時と同じですね。
どう言いますと?
ただ、総合80点の車ですって言われても怖くて買えないじゃないですか。
衝突安全性は100点だけど燃費は20点ですみたいな具体的な内訳が分からないと判断できないですよね。
まさにそういうことです。数学はAだけど体育はEみたいに細分化された通知表になったんですね。
ロボットも同じように得意不得意の解像度を上げているんだ。それはすごく納得です。じゃあもう一つのトレンドは何ですか?
シミュレーションと実機、試行回数の問題
2つ目の流れがシム・トゥ・リアル、つまりシミュレーションと現実の融合です。
シミュレーションと現実?
シンプラーやリアルといったテストではまず仮想空間のシミュレーションでテストを行います。
そしてその結果が現実世界で動かした時の性能とちゃんと相関しているか一致しているかを厳密に測るんです。
仮想空間での結果が現実とリンクしているかを見るわけですね。
さらにロボ道場というプロジェクトでは仮想空間での42のタスクと現実での18のタスクを完全に一体化させて評価するようになりました。
シミュレーションを現実の代わりに使うってことですよね。それってもしかして飛行機のパイロットの訓練と同じですか?
パイロットの訓練ですか?
フライトシミュレーターで何度も墜落してしまうようなパイロットに絶対に本物の何十億円もする飛行機は操縦させないじゃないですか。
仮想空間でのテストを現実の代理として機能させているってことですよね。
その視点は本質をついていますね。
物理的なロボットを使って現実世界で何万回もテストを行うのは時間やコストの面で非現実的ですから、
だからこそ信頼できるシミュレーションを現実のプロ機種として機能させることが不可欠なんです。
テストの質がどんどん進化しているのはよくわかりました。
でも仮想空間がどれだけ進化してもやっぱりロボットって物理的な体を持っているからこその特有の弱点みたいなものってあるんじゃないですか。
実はそこが現在の評価システムにおける最大のボトルネック、致命的な弱点になっています。
ボトルネックですか。
はい。先ほど学習データの規模が100万件レベルに急拡大したと言いましたよね。
でも肝心の評価の規模が全く追いついていないんです。
どういうことですか。
驚くべきことに最新の論文の中にも、実機で10回テストして8回成功しましたという結果だけでこれが最先端だとアピールするものがあるんですよ。
え、ちょっと待ってください。
100万件のデータで勉強したのにテストはたったの10問ですか。
そうなんです。統計学の観点から見るとこれは非常に危険なんですよね。
確かにたまたま運良く成功しただけかもしれないですよね。
仮に本当の実力としては50%しか成功しないモデルがあったとします。
でもたった10回や20回の試行回数であれば偶然8回成功してしまうような統計的ノイズの誤差が容易に発生してしまうんです。
なるほど。それじゃいや数ポイントの差で私たちのモデルが新記録を達成したなんて語るのは無意味に近いですね。
おっしゃる通りです。数回のテスト結果で一騎一遊するのは科学的な評価とは言えません。
えっとじゃあ私たちがよくニュースで見る〇〇社の最新ロボットが新記録みたいなのって企業間でどうやって比較しているんですか。本当に一番すごいロボットってどれなんでしょう。
結論から言うと現在のところ企業間の単純な横並びの比較はほぼ不可能です。
不可能なんですか。
はい。各社でアプローチもテストの前提条件も全く違うからです。
例えばGoogle DeepMindは物理的なタスクの成功率と意味的な安全性の評価を完全に切り分けています。
意味的な安全性って具体的にはどういうことですか。
ASIVベンチマークなどがそうなんですが、例えば人間に危害を加えるような危険な指示を出された時にちゃんと拒否できるかといった部分ですね。
なるほどそれは絶対に必要な能力ですね。他の企業はどうなんですか。
NVIDIAはGROOTというプロジェクトで仮想空間のシミュレーションから現実への実装までを一つのエコシステムとして評価しています。
一方でメタはVJPA2などで単なる制御ではなくて物理法則そのものを理解できているかという推論能力を見ていたりします。
テスト用紙も違えば採点基準も違う。しかも使っているロボットの体もハードウェアも違うわけですね。
そうなんです。だから単純なランキングを鵜呑みにしてはいけないんですよ。
いやーバラバラなテスト環境に統計的なノイズ。なんだかすごく混沌としていますね。
7層評価と標準化された評価環境
このカオスな状況を抜け出して私たちが実務で使えるレベルにするための未来の設計図みたいなものはあるんでしょうか。
はい。もちろんあります。今後企業がモデルを選定したり開発したりする際、一つのテストの成功率だけをKPIにするのは危険だというコンセンサスが形成されつつあります。
じゃあどうすればいいんですか。
実務に耐える評価として最低でも7つの層を分離して測るスタックの導入が推奨されているんです。
7つの層ですか。どうやって分けていくんでしょう。
まずベースとなるのが1つ目の基本成功率。そして2つ目の未知の条件への一般化です。
基本のテストと他人のキッチンでのテストですね。
そこに加えてカメラがずれるなどの環境変化に耐える3つ目の節度への眼検性。そして少ないデータから効率よく学べるかという4つ目のデータ効率。
どんどん細かくなっていきますね。
さらに仮想と現実が一致しているかを見る5つ目の仮想と現実の整合性。そして絶対に外せないのが6つ目の安全性です。
最後に処理速度などの7つ目。計算レイテンシーやスループットによる生産性の評価ですね。
なるほど。つまり平均82点の優等生よりも基本成功率は95%だけどカメラがずれると38%に落ちる。
でも人が近づくと確実に安全提示する。そういう具体的なプロフィールを持ったモデルの方が圧倒的に価値が高いんですね。
その通りです。製品を作る側にとっては弱点が明確であればシステム全体でどうカバーするか対策を打てますからね。
すごく納得感があります。
そしてこの混沌とした状況を根本から打破する最大のブレイクスルーになると予想されているのがベンチマークアズアサービスへの移行です。
サービスとしてのベンチマークですか?どういうことでしょう?
これまでは各研究者が自分の研究室で独自のカメラ位置で使い古したロボットハンドを使ってテストをしていました。だから結果がバラバラだったんです。
環境が違いすぎますもんね。
今後はそうではなくてクラウド経由で標準化された物理テスト環境にアクセスして評価する方向へ進んでいくでしょう。
ロボ道場などがすでに遠隔実機評価の取り組みを始めています。
つまりみんなが同じ条件の標準化された他人のキッチンでテストを受けられるようになるわけですね。
それなら画像のピクセルでカンニングするようなごまかしは効かないし、本当の実力がはっきりと比べられるようになりますね。
まさにそれが狙いです。
誰もが同じハードウェア、同じ環境でテストを受けられる試験場が提供されるようになれば、ロボットの評価は劇的に変わるはずです。
フィジカルAIの評価に誰が価値観を与えるか
さてここまで膨大な研究データを徹底的に解剖してきましたがいかがだったでしょうか。
ロボットが研究室の中でブロックを何回つかめたかという単純なテストから、未知の環境で安全に効率よく仕事ができるかへと評価の次元が全く変わってきていることが見えてきましたね。
そうですね。動画の裏側にある真の能力や限界を見極める視点を持つことは、これからのAI時代を生きていく上で非常に重要になります。
リスナーのあなたも、次にSNSですごいロボットの動画を見かけた時、単に魔法みたいだと驚くだけじゃなくて、これは照明が変わってもできるのかなとか、何回の失敗の末の成功なんだろうって一段深い評価者の視点を
持てるはずです。
そうやって問い続けることが技術を正しく理解する第一歩ですからね。
ええ。それでは最後に、今日のディスカッションを踏まえてリスナーのあなた自身に一つ考えてみてほしい問いがあります。
何でしょうか。
今日、ロボットが自ら危険な行動を判断して人間の指示を拒否する意味的な安全性のテスト、アシモブなどの話がありましたよね。
はい、ありましたね。
ここで一つ考えてみてください。ロボットがどんどん賢くなって、何をしないべきかまでテストされるようになった時、そのテストの道徳的な正解を決めるのは一体誰なんでしょうか。
なるほど、それは深い問いですね。
次世代のフィジカルAIを採点するその価値観はどこから来るべきだと思いますか。ぜひあなたなりの答えを探してみてください。
それでは今回の深ぶりはここまでです。
ありがとうございました。
次回の融合ロボティクスレディオもお楽しみに。
いかがだったでしょうか。評価で見つかった弱点は、より良いロボット基盤モデルを作るための手がかりにもなりそうですよね。
苦手な環境や作業を確かめ、必要なデータを集めたり、学習方法を見直したりする。そして改善したモデルを再び評価し、他の能力が落ちていないかも確認する。
こうした繰り返しがモデル作りには欠かせなくなるんじゃないかと思っています。
私たち融合も評価を次の改善の出発点として捉え、現場で役立つロボット基盤モデルの開発につなげていきたいと思います。
今後もフィジカルAIやロボティクス領域の最新の技術動向をご紹介してまいります。
それでは次回もお楽しみに。
