ではここからは、AIナレーターのお二人よりご紹介させていただきます。
言語モデル、例えばチャットGPTみたいなAIがですね、
ここ数年でもう信じられないくらい急激に賢くなったじゃないですか。
本当に劇的な進化でしたよね。
その背景には、やっぱりインターネットっていう果てしなく巨大な図書館の存在があったと思うんですよ。
そうですね。世界中のありとあらゆる文章が読み放題で、そこから地域をガンガン吸収できたわけですから。
そうそうなんです。でも今日皆さんと深掘りしたいのはそこじゃないんですよ。
リスナーのあなたもちょっと想像してみてほしいんですけど、
物理世界で動くロボットが、その自分の体の動かし方を学ぶための図書館って一体どこにあると思いますか。
あーなるほど。結論から言っちゃうとですね、現在のところそんなものはどこにもないというのが現実なんですよね。
どこにもない。
はい。テキストとか画像ならデジタル空間に無数に転がってますよね。
でも物理的な身体感覚のデータっていうのは全く別物なんです。
そうなんですよね。ということで、融合ロボティクスレジオのテックトレンドコーナーへようこそ。
よろしくお願いします。
今日の深掘りのミッションはですね、最新のAI技術の中でも特に厚い領域、ロボット基盤モデル、いわゆるVLAですね。
VLAです。
このVLAを賢しくするためのデータ収集トレンドを解き明かすことです。
非常に重要なテーマですね。ちなみにVLAっていうのは、ビジョン、つまり視覚と、ランゲージ、言語、そしてアクション、行動を統合したモデルのことですよね。
はい、そうです。カメラで見て、あなたからの言葉の指示を理解して、実際にロボットの腕とか体を動かす。
これらを実現するためにロボットが本当に必要としているのって、さっき言ったような図書館のテキストなんかじゃなくて、体育館での膨大な練習記録なんですよ。
まったくその通りです。そしてですね、その練習記録を集めるのがいかに困難か。これが今回のテーマの革新になってきます。
やっぱり難しいんですね。
難しいなんてもんじゃないですよ。ロボットの動作データ、つまりカメラが捉えた映像とか、その瞬間の関節の角度、あとはモーターにどれくらいのトルクがかかっているかといった物理データですね。
はい。
こういうのは、誰かが実際にロボットを動かして記録しない限り、この世界に一倍とも生まれないんです。
誰かが動かさないとゼロと。
ええ。これがロボット開発において、これまでずっと最大のボトルネックだったんです。
インターネットから勝手にスクレーピングしてくるなんて訳にはいかないってことですよね。
そういうことです。
そこで今回私たちが深掘りするソースがですね、最近発表された注目の論文でして、データピラミッドフォーエンボティルマニピレーション、サーベイというものです。
はい。業界でかなり話題になっているサーベイ論文ですね。
世界中の研究チームとか企業が、このデータが存在しないっていう巨大な壁をどうやって突破しようとしているのか。
その最前線にあなたをご案内します。
さて、その体育館の練習記録をですね、一体どうやって集めるのか。
論文の中で提示されているのがデータピラミッドという概念ですよね。
そうですね。この論文ではデータ収集の構造を大きく5つの階層に分類して整理しているんです。
5つですね。
はい。ここで重要なのは、ピラミッドの上に行くほどロボットの身体構造にピッタリ合致しているということです。
ロボットの体に合っている。
専門用語で言うと、ロボットアライメントが高いデータになります。ただこれ、集めるためのコストが跳ね上がるんですよ。
ああ、なるほど。
逆に下へ行くほど安くて大量に集まるんですけど、今度はロボットの身体とのズレが大きくなってしまうんです。
安いけどズレると。
このトレードオフをどう克服するかが現在の業界全体の最大の課題になっています。
じゃあその5つの階層をちょっと上から順に追っていきましょうか。
お願いします。一番上が実機テレオペレーション。これは人間がVRゴーゴルみたいなものをつけて、実際のロボットを遠隔操作して集めるデータですね。
はい。最高品質のデータです。
で、次が海。
出ましたね、海。
これ面白いですよね。ロボットの手先、つまりグリッパーと全く同じ形をした器具を人間が手に持って動かすっていうポータブルな操作データですよね。
ええ、そうです。
そして3つ目が一人称人間動画。これは人間がGoProなんかを頭につけて作業する映像ですね。
ここから下は具体的なアクションの数値は入ってこないですね。
なるほど。で、4つ目がシミュレーション。仮想空間内のデータです。そして一番下がウェブ上にある一般的な画像とかテキストデータということになります。
完璧な解説です。その階層構造が意味しているのって、要するに物理的な再現性のグラデーションなんですよ。
グラデーション。
ええ、一番下のウェブデータは例えばトマトは赤いとかコップは水を注ぐものだみたいな世界のセマンティックな常識は教えてくれます。
はいはい、知識ですね。
でもコップを掴む時の滑りやすさとか重さみたいな物理的なことは教えてくれません。上に行くにつれてより直接的で物理的なアクションのデータになっていくわけです。
あのこれって料理人の修行に例えるとすごくわかりやすいと思うんですけど。
ほう、料理人ですか。
ええ、一番上の実機テレオペレーションは師匠が弟子、つまりロボットの手を握って手取り足取り包丁の角度を教えるような最高級のマンツーマン指導ですよ。
ああ、なるほど。すごくわかりやすいですね。
ですよね。で、その下の海は師匠の包丁を借りて弟子が自宅で素振りをするようなもの。
ええ。
で、次はプロの料理番組をひたすら見ること。その下が料理シュミレーターのゲーム、一番下が料理本を読むことみたいな。
まさにその通りだと思います。
ってことはこれまではずっと一番上の高級なマンツーマン指導だけでロボットを育てようとしていたから、時間もお金も限界が来ていたということですか。
じゃあ、その下の階層を活用し始めたことで、収集できるデータの規模って具体的にどう変わったんですか?
これがもう桁違いの変化が起きてるんですよ。
桁違い。
はい。比較のために、2024年の代表的な実機データセットであるドロイドっていうのを例にあげましょう。
ドロイド、はい。
これ、50人の収集担当者、13の機関、18台の実機ロボットを稼働させて、なんと1年がかりで集めた1台プロジェクトだったんです。
1年がかり、すごい規模ですね。
なのに、それだけのリソースを投入しても、集まったデータってわずか350時間分にしかならなかったんです。
え?たった350時間ですか?
はい。
毎日24時間動かしたとしても、2週間分くらいじゃないですか、それ。
そうなんですよ。ロボットのセッティングとか、故障対応、あとはオペレーターの疲労なんかを考慮すると、実機を使ったデータ収集の物理的な限界がそこにあるんです。
なるほどな。
ところがですね、2026年のシオミーは、さっき説明したピラミッド、第2層の海を使うことで、なんと10万時間を超える事前学習データを集めることに成功したんです。
10万時間?
ええ。ドロイドの約285倍の規模です。
285倍、まさに桁が変わりましたね。
はい。
でもここでもう一つ疑問なんですが、10万時間分の映像とかセンサーデータが集まったとして、それだけじゃロボットは学べないですよね。
と言いますと?
例えば、これは靴を片付けている動きだ、とか、これはドアを開けている動きだ、みたいな言語のラベル付けが必要なはずじゃないですか。
ああ、なるほど。おっしゃる通りです。
10万時間分の動画を人間が目で見てラベルを入力していくなんて、それこそ数十年かかる地獄の作業になりませんか?
はい。手作業であれば完全に不可能ですね。
そこで、しおみーが取ったアプローチがVLM、つまり画像言語モデルを使った自動ラベリングだったんです。
VLMを使ったんですか?
ええ。動画のクリップを数フレームごとに切り出して、それをVLMに入力して、この映像で何をしているかをAI自身に説明させたんですよ。
えーっと、AIに丸投げしたんですか?
まあ、簡単に言うとそういうことになりますね。
AIってよく幻覚、ハルシネーションを起こすじゃないですか。
起こしますね。
間違ったラベル付けをされたら、ロボットがデタラメな動きを覚えてしまって、学習データ自体がゴミになりませんか?品質の担保ってどうやってるんでしょうか?
当然、単純に丸投げしたわけじゃありません。時間的な整合性、テンポラルコンシステンシーをチェックするアルゴリズムを組み込んでるんです。
時間的な整合性?
例えばですね、フレーム1でコップに手を伸ばしている。フレーム3でコップを持ち上げているとラベル付けされたのに、前のフレーム2で窓を拭いているっていうラベルが出た場合、システムはそれを異常値として弾くんです。
あー、なるほど。
さらに、確信度、コンフィデンススコアが一定以下のものは採用しない。こうして厳格なフィルタリングを自動で行う仕組みを構築した結果、10万時間分の処理をわずか2週間で完了させちゃったんです。
2週間?
AIを使ってAIの教科書を自動生成して、さらにその検閲もシステム化してるわけですか。恐ろしいスピードですね。
そして重要なのは全体のアーキテクチャーなんです。シャーミはこの10万時間の海データでロボットに物理世界の基礎を学ばせました。
基礎ですね。
その後、約1万時間の実機データを使って、ロボット自身の身体に合わせる微調整、ファインチューニングを行ったんです。比率にして10対1の構造ですね。
10対1、なるほど。これ予備校に例えるなら、いきなり高額な死亡口対策コースを11万時間も受けさせるんじゃなくて、まずは比較的安価な基礎学力コースを10万時間受けさせる。
そこで物理の基本法則とか物の扱い方を叩き込んでから、最後の1万時間だけ自分の身体に特化した死亡口対策で仕上げるわけですね。
まさにその通りです。
となるとですよ、やっぱり結論は、よしとにかく24時間365日、データを無限に集め続ければいいんだってなりそうですが、どうやらそう単純な話でもないんですよね。
ええ、そこに非常に陥りやすい罠が進んでいるんです。
罠ですか?
はい。リンナによる、模倣学習、ビヘイビアルクローニングの研究が、すごく興味深いデータを示しています。
彼らは、同じ環境、同じ物体を使って、人間のデモンストレーション回数だけをひたすら増やす実験を行ったんです。
同じ条件で回数だけ増やす?
ええ。すると、タスクの成功率は約50回のデモンストレーションで早期に頭打ち、つまり飽和してしまったんです。
50回で?じゃあ、同じ机の上でコップをつかむ動きを100回見せても1000回見せても、50回以降は全く賢くならないってことですか?
そういうことです。
なんでですか?
模倣学習のアルゴリズムって、統計的な平均値を取ろうとする性質があるからなんです。
同じ環境でのバリエーション、つまり分散は、50回もやればほぼ網羅されてしまいますよね。
まあ、そうですね。
それ以上同じデータを足しても、単にその特定の照明の明るさとか、その特定の机の目目に過剰適合、オーバーフィットしてしまうだけで、本質的なもののつかみ方の学習には寄与しなくなるんです。
なるほど。つまり本当に重要なのは、何回やったかではなくて、どれだけ違う状況を経験したかということですね。
まさにその通りです。だからこそ、現在のロボット開発の現場では、データ収集のKPI、評価指標が根本的に変わってきてるんですよ。
どう変わったんですか?
かつての何時間集めたかという指標から、タスクの修理、対象物の形状、背景の環境、照明の条件、といった組み合わせをどれだけ網羅したかを示すカバレージマトリクス、セル網羅率へと転換しているんです。
カバレージマトリクス、つまり組み合わせの網羅率ですね。これ私すごく直感的な例えを思いついたんですけど。
おお、何でしょう?
英単語帳でアップルという単語を200回書き取りしても、覚えられる語彙はアップルの1つだけですよね?
ええ、そうですね。
でも、アップル、バナナ、チェリー、グレープを50回ずつ書けば、語彙は4倍に広がるじゃないですか。
間違いないです。
つまり、データ集めっていうのは単純な足し算じゃなくて、ビンゴカードのマスをいくつ新しく空けられたかって評価すべきだということですよね。すでに空いているマスを何度叩いてもビンゴにはならない。
そのビンゴの例えでさらに補足させてもらうなら、ロボットが直面する物理世界って、次元の呪いと呼ばれるほどマス目が多いんですよ。
マス目が多すぎるんですね。
ええ。タスクが10種類、物体が100種類、環境が10種類あるだけで、掛け合わせるともう1万個のマス目が生まれますから。
ひえー、1万個!
だからこそ、同じマスにチップを積み上げるんじゃなくて、いかに戦略的にまだ空いていないマス目のデータを集めにいくかっていう、多様性の設計がモデルの性能を左右する最大の鍵になるんです。
なるほどな。で、多様な環境でのデータを集めて、ビンゴのマスをたくさん開けて、汎用性の高い賢いロボットができました。で、これで完成とはいかないんですよね。
ええ、いかないんです。
実は今回の論文で私が一番驚いたのがこの後のプロセスなんですよ。現場にロボットを出した後にどうしても起きてしまう失敗。その失敗こそが最終的な進化のトリガーになるという部分です。
データピラミッドの頂点に新しく生まれた、そう、ロボット自身の失敗と人間による修正のデータですね。
はい。
フィジカルインテリジェンス社なんかはこれをリキャップと呼んでいます。
リキャップ。
はい。ここにはロボット学習の根本的なジレンマが関わっているんですよ。人間のプロによる完璧なお手本、成功例だけを学んだロボットって、現場でほんの数ミリのズレが生じた時に致命的な弱さを露呈するんです。
完璧なデータしか見ていないから、失敗からどうリカバリして元に戻すかを知らない訳ですよね。
その通りです。専門用語で強変量シフト、コバリエートシフトと呼ばれる問題ですね。
強変量シフト。
一度予想外のズレが明らかを、ロボットは自分が学習したデータ分布の外に弾き出されてしまって、どうしていいかわからなくなるんです。
その結果、間違った動きが雪だるま式に連鎖して、完全なタスク失敗に陥ってしまう。
これ、教習所での運転の練習と全く同じですよね。
自主席に座って、教官の完璧で滑らかな運転を100時間見続けるよりも、
自分が初めてハンドルを握って車体がふらついた瞬間に、隣から今ハンドルをこっちに戻してって軌道修正される経験の方が、よほど安全な運転が身につくじゃないですか。
いや、まさにその通りです。
その教習所の例えで言うなら、教官がハンドルを奪って修正した瞬間のデータこそが、AIにとって最も価値が高い情報なんですよ。
やっぱりそうなんですね。
具体的にどうシステム化しているかというと、まずロボットに自立行動させます。
そして、ロボットが失敗しかけた瞬間、あるいは失敗した直後に、人間のオペレーターがテレオペレーションで介入して、正しい軌道に修正してタスクを完了させるんです。
人間が助け舟を出すと。
はい。このロボットの誤った予測と、人間の正しい修正の差分、デルタですね。
これこそが、土壇者の信頼性を飛躍的に高める最高品質の学習シグナル、つまりリキャップになるんです。
なるほど。完璧な正解データを集めるフェーズから、現場でのズレをいかに効率よく回収して修正するかのフェーズに移っているんですね。
そういうことです。
そう考えると、現代のロボット開発って、巨大なデータを一度集めて終わりの静的な貯水位置を作ることじゃないんですね。
全く違いますね。
現場の失敗を即座に回収して、モデルを更新して、また現場に戻す。高速で回り続ける、水車のようなデータフライホイールへと進化している。
その認識は非常に重要です。データ収集のパラダイムは、ひたすら集めるから、賢く構造化して循環させるへと完全にシフトしたんですよ。
循環させるですか?
ええ。現場で発生したエラーをどれだけ早く、低コストでリカバリーデータとしてモデルに還元できるか。
このフィードバックループの回転速度こそが、今後のロボット企業の競争力を決定づける最大の要因になるでしょうね。
いやー、本当にエクサイティングな領域ですね。リスナーのあなたも、今日の深掘りを通じてロボットデータの世界の見方がガラッと変わったんじゃないでしょうか。
本当にダイナミックに変化していますからね。
コストとアライメントのトレードオフをハックするデータピラミッド、海とVLMを活用した圧倒的なスケールアップ、量より多様性を重視するビンゴカード的な戦略、そしてリキャップによる失敗からの学習ループ、これらが水車のように回転して未来のロボット基盤モデルを作り上げているんですね。
知識を単に蓄積するだけじゃなくて、自身の限界を理解して失敗さえも成長のアルゴリズムに組み込んでいく、ある意味で非常に洗練された学習システムへと到達しつつあります。