GENIACとVTLAモデルの構想
こんにちは、ugo Robotics Radioです。本日は、フィジカルインテリジェンス部のお二人をお招きして、ugoが先日採択されましたGENIACロボット基盤モデル開発事業について、少しお話ししていきたいと思います。
では、金子さん、小林さん、よろしくお願いします。
よろしくお願いします。
まず、GENIACのロボット基盤モデル事業。弊社は計算省のGENIACプロジェクトで、製造・組み立ての自立化を目指すロボット基盤モデルの開発を着手しております。
このロボット基盤モデル、通常VLAと言われたりしますが、視覚・言語・動作に加えて、触覚の情報も加えたVTLAモデル、ビジョンタクタイル・ランゲージ・アクションのモデルですね。
そのモデルの構築とugoの場を活用して、大規模なデータ収集を進めて、モデル構築をしていくという事業になります。
ロボット視点で行うテレオペデータ収集
では、このロボット基盤モデル構築、まず必要になるのがデータ収集だと思うんですけども、データ収集ってどうやってやってるんですか、金子さん。
データ収集、一般的なのは人間の遠隔操作による収集があります。
それは人間の方にコントローラーを用いて、コントローラーを動かすことで実際にロボットを動かしてデータを取るという手法になります。
こちらはロボットをそのまま動かすので、ロボットのそのままの関節情報を取ることができて、一番高精度で確実な手法となっています。
ただ、高精度なんですけど、必ずロボットが必要になるので、時間とコストがかかるというところがポイントになっています。
あれですよね、ロボットと同じような関節数の形状を持ったパペットみたいなものを操作して、ロボットの作業を連動させてデータを取っていくというものですよね。
確かにロボットを置く場所も必要だし、コントローラーをすぐ近くに置いておいて、その場所で常に人が操縦をしなきゃいけないということで、
データの取れる量の割に場所も時間も人の工数もかかるということで、コストのかかるデータ収集手法ですよね。
そうですね。
そのデータ収集をするときに、結構データの品質って重要だと思うんですけども、この辺りのデータ収集をするときのコツみたいなものとかポイントって何があるんですか?
そうですね。データ収集のポイントとしては、まず自分自身がロボットになったつもりで動くと。
ロボットになったつもりで。
どうしても人間が操作しやすいように取得したデータっていうのは、人間からすれば優しい動きなんですけど、ロボットからしてその動きが優しいかっていうのはまた別の話になってくるので、
ロボットの視点で対象の物体が見えるかとか、ロボットの関節の可動域を考慮してそのアプローチが本当にやりやすいのか、そこを考える必要があります。
私は結構AIの気持ちになってテレオペをしてまして、どうやったらそのタスクが学習されるのかっていうのを特に考慮してます。
具体的には割とタスクってシーケンスで並んでると思うんですけど、どの見た目、どの物体を見つけたら次の動きをして、その動きが終わったっていうのをカメラで見て、またその次の動きをするみたいなシーケンスになってると思うんですけど、
そこをやっぱり人間だとどうしても結構省略してやっちゃうので、まずカメラを見せながら動きもロボットが動かしやすいように動かしてデータ収集するようにしてます。
なるほど、お二人の話面白いですね。金子さんの話はロボットのハードウェアの機構とか制約をイメージしながら自分がロボットになったように動くと。結構肩こりそうですけど。
そう、もうだいぶ足から腰から披露しますね。
小林さんの方はAIのモデルの観点からで、AIがこの連続性を感じやすいようにタスクのつなげ方、アクションのつなげ方っていうのを意識してるっていうのも面白いですね。
そうですね。
他にもあるんですか、ポイントっていうか、データのクオリティを高めるために工夫してることって。
そうですね、クオリティに関してはなるべく再現性を意識してデータを取るっていうところですね。
再現性っていうのは同じようにタスクを行うってことですか。
そうですね、例えば物を撮るにしても物を撮るときに斜め上から撮ったり下から撮ったりみたいな、同じ場所に物があって同じ画角見え方をするのに違うアプローチをしてしまうと、モデルがどうしても混乱してしまって学習が発散してしまうという課題があるので、
同じ見え方、同じ距離感であれば一定の撮り方で統一する。そうすると再現性が高まって、モデル側もあれこれ考える必要がなくて、学習で撮りやすくなるというところがあります。
その一定の動きっていうのが重要なんですね。時間も関係あるんですか、早くやったり遅くやったりするとバラついて。
そうですね、時間も関係ありますね。長すぎても良くないですし、早すぎると実際のロボット側の速度として追従が難しかったり、あとは画像、視覚的な変化量が多すぎてフレーム間のアクションと視覚のズレが大きくなってちょっと矛盾が生じるとかいうところもあるので、
なるべく一定速度で早すぎずっていうところが今のところはポイントかなと思っています。
なんかイメージ、対極拳とかヨガとかピラミスみたいな。
そうですね、はい。テレオペだとそれぐらいがちょうどいいかもしれないですね、はい。
小林さんはどうですか。
VRとコントローラーの使い分け
私はどっちかというとデータ収集しやすい環境をやっぱり作りたいなと思ってて、
今やってるのがリーダー、実機テレオペをする場合はリーダーフォロワー型、ロボットフォロワーとしてロボットとは別にリーダーのアームを用意してそれでテレオペするのと、
それだと毎回リーダーアームを用意して大変なので、私たちはVRのテレオペもしてまして、
実際に人間がVRのヘッドセットとコントローラーを持ってVRのコントローラーを動かすだけで実際にロボットのテレオペができる。
そうすればVRヘッドセットとコントローラーだけあれば収集できるので、リーダーフォロワーよりも結構簡単にデータ収集できるのかなと思っています。
なるほど。ちなみにUgo Novaは今小林さんおっしゃっていただいたVRコントローラーとバイラテラルコントローラーというパペットでコントロールする2つのテレオペ方式があると思うんですけど、
どっちがどういうところに向いててっていうのは何かありますか?
そうですね。VRの方は比較的人間が直感的に操作しやすいので、細かい滑らかさが必要なタスクとかは向いているかなと思います。
逆に正確性が必要なものに関しては、VRだと手先の位置から逆運動角で後処理で解くことになるので、
ロボットの可動域上通ることができないものも出てくるっていうのがあるので、そういった点ではコントローラー型、バイラテラルコントローラーのようなものであればロボットの動きしか再現できないので、そこは確実性があるかなと思います。
そうですよね。確かにVRのコントローラーはその端点というか最終的な空間座標のとこだけしか得ないので、肘の位置とかも自由度が出てしまう。
そうですね。だいぶ推定みたいなところがあるので、確かに。
そこのアルゴリズムの最適化みたいなのが結構難しくて、しかもそれもロボットごとにやっぱりどうしても、標準的なIKのアルゴリズムなんですけど、
やっぱりロボットごとにちょっと肘曲げにくいとかあったりするので、この最適化みたいなのはかなり難しいのかなと思ってます。
なるほど。
実際にもう本当に解けない、IK解けない場所はやっぱりどうしてもあるので、データ収集もちょっとコツがいるというか、そこはキャッチアップが必要という感じですね。
あとはそういうなんか肘の姿勢も含めて学習させないとできないようなタスクになると、狭いところとかそういうところになるとパペットの今のバイラティラルコントローラーの方がより良いデータが取れやすいんでしょうね。
確かにそういうのは向き不向きありますね。
そうですね。
ちなみに全身制御とかする場合ってどっちの方がいいとかってあったりします?
全身制御。全身制御だと足と腕の連動になってくるので、どうしてもコントローラータイプだとそもそも操作が難しいっていうのがあるかなと思います。
なので全身制御に関してはVRもそうですし、ウェアラブル系で人間そのものが動きながら操作するみたいなものが適してるんじゃないかなと思いますね。
VRの手で持つコントローラーだけでは取り切れないってことですね。
そうですね。
データ収集も、データ収集開始とかストップみたいなボタンも必要なんですね。
そういうのを結構たまにフットベタルとか使ってやってたりもしてるんですけど、そういうのもはい、検討したいですね。
今回のジーニアックのロボット基盤モデルでも、実は上半身の動きを取るためにウェアラブルのデバイスをつけて取るっていうこともやりますよね。
組み立てに必要な触覚データ
そこでは加えて触覚情報も取るっていうことになってますけど、そもそもなんで今回触覚情報が必要なんですか?
簡単なピックアンドプレイスみたいなものであれば、掴む感覚とかはおおよそでできはするんですけど、今回プロジェクトでやりたいと思ってるのが、実際のロボットの組み立てになりますので、
より精密な人間がやってるような触覚の情報を加味して、滑らないように入れたり、見えないけど、手触りを元に押し込んだりというのが必要になってくるので、
そうなってくると、やはりVLAのビジョンだけではなく、触覚が必要になってくるというふうに考えてます。
非常に難しそうですね。
めちゃくちゃ難しいと思います。
どうやってやっていこうとしてるんですか?
そうですね、まず触覚が未知なところですので、自社内の組み立てをまず人でやって、それにウェアラブルの触覚も取れるデバイスをつけてデータ収集をして、
そもそも触覚がどういった値で来るのか、ノイズだらけなのか、ある程度滑らかな抑制を持つのかっていうところから判断しながら、
どういうふうにモデルの入力とすればいいのかっていうのを地道に検証しながらやるしかないかなと考えてます。
実際に金子さんはUGOの生産ラインに入って組み立てを体験してきたと伺っておりますが。
そうですね、私と小林さんとやってきて、小林さんの方が適任だと思うのでどうぞ。
ugo Proのカート組み立てとモデルの使い分け
実際にUGOプロのカートの組み立てを私たちで行ってみて、実際にこれがVLAでロボットでできるのかっていうのを実際に試してみました。
結論から言うとかなり難しいというか、やっぱり人間の感覚に結構頼っている部分があって、
ピチッと組み立てとかもはまるような感じじゃなくて、ちょっとそのXYZ全部同士に動かしながらはめないとうまくはまらなかったりだとか、
そういったところがかなり難しそうだなと思ってます。
そこではやっぱり触覚があるなしで全然違ってくるんですか?
はい、それは思います。まず人間だけでも、視覚だけでは判断できない情報を使って組み立てをしているので、
それはロボットで実際にVTLAで動かすときも必ず必要になると思います。
ただそれをどこで使うのかみたいなのが結構重要になりそうで、
実際にデータ収集しているWearable Globeとかでデータ収集するときに、
人間が収集するときに実際に触覚を使っているっていうのを分かりながらデータ収集しないと、
そのデータをデータ収集時にも、
でもどこで触覚が効いているか分からないとうまく学習できないよねってことですよね。
うまく言えますか?
ここから僕が?
難しいな。
そうですね、触覚を単純に取るだけじゃなくて、
実際にデータ収集の段階でどのフェーズで触覚が効いているのかっていうのを意識しながらデータを取って、
そこを考慮してモデルに学習するっていうところが今後重要になってくるかなと考えています。
確かに全部の工程が触覚がいるってわけじゃないですね。
そうですね。
今回お二人がカートの組み立て体験してみて、
ここはルールベースでもいい、ここはVLAでもいい、触覚情報なしでもいい、
ここはやっぱり触覚があって非常に丁寧に作り込んだモデルじゃなきゃダメみたいな、
あおまかには分類できそうな感じはしましたか?
今後のアーキテクチャー検討
そうですね、全部が全部やっぱりVTLAでやる必要はないと思っていて、
例えば単純なプレートの位置合わせぐらいであれば既存のVLAで十分ですし、
逆に位置を合わせた上ではめ込むとか、
深さがあってロボット視点では見えないけど、
穴を合わせながら押し込むみたいなところはどうしても触覚とかが必要になってくるので、
そういったところにフォーカスすればいいのかなと思いました。
そういう複数のモデルをMOEで合わせ込むとかそういう風になるんでしょうね。
そうですね、実際のアーキテクチャーみたいなのも結構検討が必要でして、
松井さんが言ってくれたように既存のVLA、VLMみたいな
繁華性能のある力強いモデルをバックボーンとしてMOEするやり方もあるし、
あとはそうですね、実際に自分たちでもう画像からアクションから触覚からを全部
ニューラルネットワークで学習するという方式もあるし、エンドツーエンドで、
そこらへんは今後アーキテクチャーをちょっと考えていきたいなと思っています。
いろんなアプローチが考えられるので楽しみですね。
そうですね、やりたいことはいっぱいあります。
楽しみです。
皆さんありがとうございました。
今日はジーニアックロボット基盤モデル2の授業についてですね、
UGOがこれから取り組むことについて少しお話をさせていただきました。
採用案内と締めくくり
UGOではフィジカルエアエンジニアデータ収集オペレーターを積極採用中です。
詳細はこのポッドキャストの概要欄をご覧ください。
では本日はフィジカルインテリジェンス部の金子さん小林さんにお話いただきました。
2人ともありがとうございました。
ありがとうございました。