カメラトラッキングの背景
こんばんは。カメショウのVirtual Video Podcast、スタートします。
さあ、今日は同時にちょっとXのスペースもやってみました。
で、えー、あ、いらっしゃいませ、こんばんは、ようこそ、ありがとうございます。
今日はね、クラスターでイベントをやりつつ、スペースもね、始めております。
さあ、毎日月曜日から土曜日、夕方6時半頃から30分ほどやっております。
今日もお疲れを言い合うイベントというのをやっておりまして、大したことはね、やっていないんですけど、
ちょっと私がダラダラと、その日にちょっと感じたことを、ただ喋って、で、クラスターとかメタバースにこれから繰り出す前に、
ちょっとお待ち合わせいただく場としてもいいし、あとはカメショウがね、今日も一日生きていられて、
という生存確認をしてもらえたらと、ちょっと顔を出してね、カメショウのアフロを見に来ていただけたらと、
で、その後ね、パーッといろんなメタバースに、そこからバーッとみんなで繰り出していただけたらなというイベントとなっております。
毎回なんとなくの話したいテーマを設けてやっていきたいと思っております。
今日お話しする内容はですね、今メタバースでカメラトラッキングが熱いという話です。
で、あんまりURLとかいっぱい、ちょっとね、メタバースの都合上、多分大丈夫だと思うんだけど、
いっぱいURLを投稿したらバーンされるかなとか、ちょっと気になったんで、
ちょっと急遽、自分のブログ代わりにしている、メモ代わりのブログみたいなのが宣伝になっちゃって申し訳ないんですけど、
これを特にアカウントがエンゲージしたら儲かるとかっていうのではないので、
ノーションっていうメモ帳、ノート代わりに使っているのにちょっとブログをつい最近始めたばっかりなんで、
とにかくこれでどうこうっていうことではないので、もし参考に程度に気になる方はよかったらチェックいただけたらと思います。
これを元にお話し進めていきますので、ちょっと今貼りますね。
クラスターではこちら、これURL1個ぐらいだったら貼ってもそんなに大丈夫かなと思うので、
この後、皆さんが投稿してくれている内容をちょっと見つつやっていきますので、気になる方は読み上げたりしますんでね。
別にこれ絶対クリックしろっていうものではないので、もしよかったら参考に程度に。
じゃあちょっとしゃべっていきます。
クラスターでは直接、一応関係はあるのかなとか思ってるんですけど、
これはしゃべろうと思ったきっかけは、VRチャットね。
私、時々入るんですけど、VRチャットでデスクトップモードでやると、
今入るともうすぐウェブカメラを使ってトラッキングしますかっていうのが出るんですね。
知らないうちに画面上に自分のアバターが正面を向いている表示が出るんですよ。
これはウェブカメラをつけてなくても出るんですね。
今までデスクトップって自分の姿が見れなかったんですよ。
一人称のみだったんですね。
確か私の認識では見えなかったんですね。
鏡とかが設置されてたり、自分で鏡という機能を出してやるともちろん見れるんですけど、
普通では見れなくて、VTuberさんみたいなような表示になるんですね。
時々VRチャットのゲーム配信しているアカウントが、
YouTubeとTwitchなんかでもよくあって、
そういうのは別の方式を使ってわざわざ自分のアバターを画面上にレイヤー重ねてやったりしている人は見受けられるんですけど、
それがわざわざやらなくても済むというところなんですかね。
それをやってみた時に便利だったのでいいなと思って、
VRチャットというとVRゴーグルがないとそんなに楽しめないんじゃないかとか、
私も最初わからなかったので、パソコンでも十分楽しめるし、
何かやりながら、作業しながらVRチャットを楽しめるという面では、
全然デスクトップでも楽しみ方が色々だからいいですよね。
ちゃんとウェブカメラを接続すると、手を挙げたりしたら反応があるし動くし、
あとは口とかも動くし、便利ですよね。
私はVRゴーグルを持っているんですけど、
頭のゴーグルと両手に持つコントローラーを使って今までやっていたので、
下半身とか全体の体の動きというのは、
分かっている人が見ると3点だけの体の動きが捉えられるというところなんですよね。
クラスターでも同じように入ると動きはつけられるんだけど、
私のアバターは肘が反応しないんですよ。
人によってはちゃんと肘を曲げたりすると肘が曲がるんだけど、
私はコントローラーを持って手を回しても肘は曲がるよね。
操り人形みたいな、手はまっすぐのままただぶん回しているみたいな形になっちゃうんですよね。
座りながらやっているからというのもあるのかもしれないんだけど、
そういうこともあって、体全身の動きができたらいいなというのは憧れだったんですよね。
TDPTについて
他にも試したことがあって、TDPTというサービスがあるんですよね。
それもウェブカメラでトラッキング、体の動きを画像で映像でパソコンに取り込んで、
AIなのかな、私も仕組みは分からないんだけど、動きをアバターに反映させてくれるというものがあるんですよね。
パソコンであればそのままウェブカメラで無料でできるんですが、スマートフォンでもできるんですね。
スマートフォンのカメラは優秀でワイドレンズがついているじゃないですか。
私のはそんなに高価なものではないので、あまりワイドじゃないんですけどね。
でも私が持っているウェブカメラでは旧型なので、バストアップ、首下から頭ぐらいしか映像で取り切れないんですね。
なのでちょっと手を挙げても一瞬反応するんだけど、取り切れていないから手が動いているというのが反映できないんですね。
なのでこのスマートフォンをやってみたんですね。
スマートフォンでTDPTというのは、これ打ちましょうかね。
今もう撮影の準備でいろいろペタペタ貼っちゃってて文字打てない。
TDPTですね。
こういうアプリがあります。
Xでご覧いただいている、ありがとうございます。
ずっと揺れていたいさん、ありがとうございます。
ちょっとコメント欄、ここに貼ればよかったのか。
TDTP、すぐ出るな。
はい、こういうのがあるんですよね。
それも後で情報をちょっと入れときましょうね。
こういうのがあるんですけど、いらっしゃいませ、こんばんは、ありがとうございます。
スマートフォンでやる場合には課金しなきゃいけなくて、
でも600円でフルトラできると思ったらかなり安いですよね。
フルトラ買いで一番、無料でできるものもありますけどね。
ただ、もちろん高価な、あとはインカメラ、
Macとか、あとはウェブカメラで結構高価なやつ持っている人、
ワイドレンズがついているタイプの方であれば、
もうそれで無料でできますのでね。
ただそうするとMacやノートPCを部屋の端から、
自分は端っこの方に立って全身撮るっていうのはかなりありますからね。
ウェブカメラを私が持っているやつは、確かにワイドレンズじゃないんだけど、
USBのコードが結構長かったから、ちょっと離してやってみて、
上半身くらい入ったかな。
そうすると結構動きはしてくれるんですよね。
こういうのは一応実験をやってみたことがあったんですよ。
今回のVRChatでそういう機能が備わったということで、
他のもまたちょっとリサーチしてみたんですね。
それがクラスターの方ではコメント欄に貼った、
私がブログみたいなものをやっているところに貼りました。
URLいっぱい。
それをちょっと見ていただけたらと思うんですけど、
そもそもカメラトラッキングってどういうものかというと、
ウェブカメラを使ってカメラが写す誰かの動きを捉えて、
それをコンピューター処理して、
それがメタバーストのアバターが
リアルの体と同じ動きをさせるということなんですね。
これウェブカメラじゃなくても、
カメラとか詳しい方はもちろん自分が持っているデジカメを
パソコンに接続してコネコネ、
いろいろやっていることができる方はそれでもできます。
だからデジカメの超ワイドのレンズを持っている人は
それでもできます。
わざわざウェブカメラ使わなくてもね。
でもだいたいということもないけど、
結構多くの人はウェブカメラの方がお家にある確率、
また持っているパソコンにカメラが付いているという方の方が
割合的に多いのかなというところで、
こういうふうに今回の話にしました。
今イベントでやっているクラスターの方では、
こんばんはいらっしゃいますようこそ、
ようこそかごさん、
Windowsに、
ようこそいらっしゃいますようこそおつかれさまです。
今日も一日おつかれさまです。
ちょっと待てよ、
いろいろしゃべりながらすると難しいね。
今録画もしながらやっているんだけど。
Windowsに映っているアバターも自分の動きと同じように動くんですか?
Windowsに映っている?
そうですよ。
クラスターの場合には、
ちょっとさっき言った間にかまさなきゃいけないんですね。
クラスターの場合はシステムがちょっと違くて、
さっき言ったTDPTというソフトを使うんですけど、
これがパソコンにソフトを立ち上げて、
パソコンにウェブカメラが付いていれば、
もちろんUSBで付けてもいいんですけど、
クラスター上ではOSCというシステムを使っていて、
そのOSCを使いますという設定にクラスターをして、
その時にどういうシステムを使ってトラッキングしますかと聞かれるので、
その時にさっき言ったTDPTというのを使います。
同じパソコンに入っていてもできます。
例えば今加古さんが質問いただいたみたいに、
同じパソコンにTDPTというソフトを使って、
自分のカメラで加古さん、
加古さんの画像をウェブカメラを使って読み込ませますという設定をあらかじめやっておきます。
クラスターがTDPTというのを使ってトラッキングしますという設定をするんですよね。
そうするとWindowsに入っているカメラで撮っている自分をクラスター上でもできます。
私は試したことがないので上半身ができるかどうかはちょっと分からないです。
スマホとウェブカメラの利用
ただ私はスマホでやってみた時は全身の動きができました。
ただスマホが私がそんなに新しいものじゃないので、
途中で熱暴走、熱くなっちゃって、
これ以上はギブアップとなって止まっちゃったんですね。
これが10分ぐらい過ぎるともうちょっと厳しくなってきちゃって、
使えなくなっちゃったんですね。
なのでもう普段使いはちょっとしていないんですけど、
時々思い出したようにそういうことをやってみたりとかということはしています。
なので今ご質問いただいたみたいに、
Windowsがクラスターに入っていればその動きを反映させることができます。
もしよかったらちょっとやってみてください。
TDPTで検索すれば出てきますんでね。
ただ両方立ち上げるとパソコンによってはちょっと厳しい場合があるかもしれないです。
やっぱりカメラで捉えているのを動きを一生懸命計算して、
映像をやっぱり計算捉えてアバターに反映させるというところで、
かなりやっぱり食うみたいなんですね。
パソコンの性能を。
だから同時ではちょっと厳しいかもしれないです。
そういうのもあって私パソコンでやってみたんですね。
ゲームPCだったら多分できます。
私の方では実際実証済みなので、
Webカメラをつけて、
同じパソコンでクラスターに入って読み取らせてっていうのはできました。
確か。結構前の話なのでね。
いろいろアップデートが入っている間で、
ちょっとそれがうまくいかなくなっちゃっている可能性もあります。
クラスターの場合は一旦ここで置いておきまして、
他のところどうなのかっていうのをちょっとお話し進めていこうと思います。
ロブロックスっていうお子さん結構好き。
ロブロックスのフェイストラッキング
ご家族お子さんをお持ちの方とか、
あとはご親戚やお囲碁さんとか、
いろんな子供が何かやってるの知ってるよという方もいらっしゃるかもしれないんですけれども、
例えば私がこれ結構ちょっと前の情報なんですけれども、
このロブロックスっていうので、
ゲームとかメタバスっていうくくりなんですけども、
ここでもフェイストラッキングはもう結構前からできてるんで、
カメラを接続して、
ちょっと年齢制限がかかっているので、
免許書とかをロブロックス上のアカウントが、
私はこういうものですっていう身分証をちゃんと本人確認を前提にやっとかないとダメなんですけど、
これをやるとそれが認証ができてる人だけは使えるんですね。
しゃべったりもできるんです。
この時に同じくウェブカメラを接続すると、
ここは他の間に何か別のソフトを使わずに、
さっき言ったVRチャットと同じで、
他に何も使わずに直接ロブロックスのアプリでウェブカメラを接続してそのままできるんですね。
ただロブロックスの場合ちょっと動きの方がそんなにいろいろできるわけではないんですけども、
要は首から上だけになります。
ただ私が知っているのはここのとこやってないので、
もう2年前の投稿なんですけれども、
その時は首の傾き、頭部の動きだけができます。
ちょっとしゃべったりした時の口の動きもできるみたいです。
ただロブロックスはあんまりそういう、
誰かから買った頭部であれば口の動きがいろいろできると思うんですけど、
ちょっと私の場合には小さいただのペンで書いたような口だったんで、
あんまり反応がそんなには分かりづらいかもしれないんですけど、
一応そこは動くようにはなっているみたいです。
ブログの方には別のロブラボさんという、
日本のロブロックスをいろいろ広めるとか、
配信をやったりとかしているアカウントさんがあるんですけども、
コミュニティがあるんですけども、会社さんか会社さんがあるんですけども、
ここではいろいろやってて、社長さんがいつもこのトラッキングを使って、
配信でしゃべったりとかしてるんですよね。
なので、このXのアカウントを引用させてもらうんですけど、
これが最近近々、こういう新しい情報をアップしてくれました。
リアルの自分の顔を捉えて、
それを自動でAIでアバターにしてくれるということは始めるらしいんですね。
そのテスト版が今、テストでできるみたいです。
今、そういうのも徐々に行われていますよね。
メタバースは今、いろんなところがありますけども、
自分じゃないキャラクターを使っている人が多いと思うんだけど、
意外とこれ結構前からですけど、
リアルの顔をスマートフォンとかで映像を映して、
モデリングっていうんですか、3D CG化っていうのも結構している人がいて、
これはアバターにするっていう人も一定数いるんですよね。
VRチャットでもいます。
あるいは誰だかは知らないけど、警察官。
誰かが配布してるんですかね。
警察官のモデリングした人をアバターを配布してる人がいるらしくて、
警察官でメタバースを楽しんでる人みたいな。
そういうのがあるみたいです。
今回の記事では、ブロキシーニュースというところで、
ロブロックスの新しい機能を今テストをしているらしいです。
フォトトゥアバター。
写真を元にか。
スマートフォンのデータを撮るってやつじゃない。
ごめんなさい、ちょっと言い方間違ってた。
情報違ってましたね。
写真を元に3D CG化できる技術。
ロブロックスは今AIでアバター作りとかワールド作りみたいなのができるのかな。
VRChatの新機能
そういうこともあるみたいで、気になる方はロブロックスもぜひ見てみてください。
ロブロックスのワールド作り、専用のアプリがあるんですが、
これも無料でダウンロードできますので、
私もちょっと触ってはいるんですけど、
公開しているワールド、
エクスペリエンスって言うんだっけな。
ロブロックスなんて言うんだっけ。
なんか2つぐらいあります。
ゲームのワールドと、
あとね、イベントやろうと思って作ったワールド。
一応公開はしてあったと思うんだけど。
年齢制限があるので、やっぱり認証しないと入れないかもしれないですね。
一つのやつは入れます。
カメショウで検索して出てくるかな。
そういうのもちょっとあります。
いらっしゃいませ。ようこそ。ありがとうございます。
そして今度、さっき先に話しちゃったんですけど、VRChatね。
私が実際やってみたのも画像を貼っておきました。
気になる方は、Xの方はリプレイのところに貼っておきましたので。
あと有名な方の中で、
これがVRChatでは無料でね、
アカウントの人ももうこのカメラトラッキングが
この9月にできるようになったのかな、ということのようです。
これは結構優秀で、
頑張れば前進もできるのかな。
結構手の、指の動きって結構難しいんですよね。
今までのフルトラゼの方って、
センサーを体につけるので、
その動きをカメラ、映像で処理する形と、
あとなんか電波かな、なんかわかんない。
センサーでやる形といろいろあるとは思うんですけれども、
そういったのを捉えてやるので、
体にセンサーをつけなきゃいけないので、
結構高価な器具を買わなきゃいけないんですよね。
数万円。
あとは、
センサータイプと映像タイプか、
っていうのがあるんですけど、
だからウェブカメラでできるやつっていうのは、
またその映像タイプとはちょっと違うんですけどもね。
なんか一定の範囲、
区域をカメラで設定をしてあって、
そこで動けば捉えられますよっていうタイプ。
だからウェブカメラとはちょっと違うんですよね。
今回のVRChatのやつも、
単純にウェブカメラで、
ただパソコンでVRChatに入るだけ。
間は何も必要ないんです。
他のものをちょっと使ったりとか、
スマートフォン使ったりとか、
ただウェブカメラがない方は、
もちろんスマートフォンでね、
やって接続するっていう方法もあります。
その場合は別アプリが必要になりますけどもね。
これが結構指が反応がいいっていうことは、
ちょっと変わってくるかもね。
ゲームチェンジャーっていうやつ。
ちょっと利用者の数が変わってくるかもしれない。
お気軽にウェブカメラでできちゃう。
お手軽にできちゃうので、
指の性能がいいとなると、
それで次です。
またちょっと私のブログを見ていただくと、
今度クラスターに話が変わってきます。
もうこの界隈、
そういうトラッキングとかっていうのを、
フルトラとかの界隈では超有名な
COCONOさんがやってくれてるのを引用しました。
これはVRゴーグルを頭にかぶって、
ウェブカメラで体、指の動きを捉えてとかやって、
めちゃくちゃすごいことやってますけども、
楽器勢の方、今までフルトラでも、
とりあえず手首のあたりの位置の動きっていうのは
反映ができるんだけども、
例えばギターを弾くとかピアノを弾くとか、
ピアノであれば座ると指が動く仕組みを
仕込むっていうことはできるとは思うんですけれども、
それがなかなか実際の弾いてる姿を
アバターに反映させるっていうのは、
今までのウェブカメラ以外ではちょっと厳しかった。
かろうじて楽器が弾いてる風、
立ち姿、やっぱり楽器を持って立てば立ち姿になるので、
フルトラの方、そういう動きっていうのはできたけども、
実際、例えばギターの左手の動き、
何だっけギター、ここは何だっけ、
ガットかな?
ガットの持っているところまでは何とかいけても、
実際指を弾いてるとかね、
これもある程度仕込めば、
自動で指が動くっていうのはできるかもしれないんだけど、
実際のリアルの動き、曲を弾いてる時の動き、
ベースでリズムを刻んでるとかね、
あとはドラム、
ここのさんはドラムをしますけども、
ドラムの何だっけ、スティック、
スティックの動きも一応、
ウェブカメラの可能性
スティックは大体は反応が、
コントローラーを例えば手首のあたりにバンドか何かで止めておけば、
スティックの傾きはできるのかな、
ちょっとそこまで言ってるか分かんないけど、
だけどここのさんの今回の投稿では、
ちゃんと指の動きを反映してこれでできますよ、
みたいなことが投稿してくれています、
あとリラさんかな、
この方もクラスターの場合にはさっき説明した、
別の機能のソフトをちょっと使って、
ウェブカメラで、
この方は上半身が成功してるって書いてあったような気がした、確か、
顔のトラッキングとかができるって書いてくれてますから、
いよいよフルトラも、
コントローラー、要はコントローラーじゃない、
VRゴーグルも必要ないということですよね、
ウェブカメラ一つで、
頭の動き、目、目の動きとか目の動きっていうか瞬きね、
あと口、口の動き、
クラスターはね口の動きは声を拾ってやってくれますけどもね、
これらがVRゴーグルなくてもできる、
VRゴーグル例えば歌い手さん、
今クラスターでは音響設備でより良い音を届けるために、
サブ音声かな、
サブ音声っていうのを使ってると思うんですけれども、
サブ音声は使うには、
あと合奏するときに複数でやるときに、
やっぱりシンクルームっていうのを使って、
別のところでオンライン上で、
二人が一緒に音を配信するようなシステムを使ったりすると、
今度は口が動かなくなっちゃうんですね、
アバター自身はちょっとミュートにしておかないと、
出力、曲の音の出力と口の出力が別に切り替えなきゃいけないから、
複数のアカウントでやれば、
サブアカウントでアバターで出ると、
口を動かすことができるんだけども、
本アカウントで音響をやる方のやつは、
ミュートをしなきゃいけない都合上、
口がつぐんだままになっちゃうんですね、
この辺がどうしてもまだ完璧ではない、
よりリアルの動きとかっていうものが、
実現できていないっていうところがあって、
この辺がウェブカメラを使えば、
実は解決しちゃうかもっていう話、
だからVRゴーグルなくても済んじゃうかもっていう話ですよね、
自分側の没入感を犠牲にして、
ウェブカメラで見てくれる人によりリアルな表現をするか、
自分が没入感で楽しむか、
使い分けが今後出来上がってくるかもしれないですね。
新しいトラッキング技術の登場
いらっしゃいませ、ありがとうございます。
ひだまりさん、お久しぶりです。お店の準備しながら聞いてくれてるってことですね。
ありがとうございます。
三崎さん、昔スペーシャルでも写真から顔をアバターに反映させることができました。
スペーシャルっていうプラットフォームを三崎さんやってるんですけども、
そちらの方でもアバターを制作するっていうのはできてたんですね。
この辺は結構前からあるんですね。
ありがとうございます。
エルルンさんが同じことを投稿してくれていて、
楽器勢、指の動き、
これも私結構演者さんの方を撮影するときに、
楽器をドアップでズームアップしてお届けすることがあるんですけども、
やっぱり持ったまま、あるいは埋もれちゃってる場合があったりとか、
その辺も絵的にはバリエーションを増やすために、
例えば全身だけ映してても同じ絵ばっかりだと飽きてきちゃうので、
そういう楽器のズームアップ、弾いてるところとか顔の表情とか、
色々切り替えると絵的にも楽しく、より素敵な映像になるので、
やっぱりそういうのも撮りたいんですよね。
そういったときに楽器が演奏している指がリアルに動いてたら、
より映えるじゃないですか。よりかっこいい映像になるのでね。
これができるといいなっていうのは前々から思ってたんですけど、
別の方法で、今までのフルトロ勢の皆さんっていうのは、
マニアな方が指にセンサーをつけるシステムみたいなのを構築して、
センサーと一緒に販売してくれてる方がいらっしゃるので、
フルトロ勢もそういうのをやっている方もいらっしゃるんですね。
だけれども、それするとなるとやっぱりセンサー相当ありますよね。
体中の肘、腰、足首、膝、あとどこ?肘を言ったね。
だから10点トラッキングとか8点トラッキングとかっていって、
そういったものをしている人もいるんだけど、それにさらに指のセンサーもつけると、
多分センサー自体は、確かに見たことがあるのは、
USBでどこかに接続するのかなっていうのをやっていたので、
それ全部やってやるって相当ですよね。
でもそこで頑張るんであれば、
Webカメラで全部捉えた一つのトラッキングシステムで
全部処理が終わるっていったら、相当パソコンにも負荷が少なくて済みますしね。
これかなりすごいことですよね。
こういうのもぜひ。
Webカメラ、ちょっといいやつ頑張って買えば、
トラッキングシステム何万、何十万、数十万、
今すごい、これ使用目的によってもまた変わってくるので、
例えば指の動きはそんなにこだわらないっていう人、
例えばダンサーの人は指じゃなくて手の動き、位置、素早い動き、
これらをやるんであれば、確かにそういうフルトラの方がいいかもしれないですよね。
なので、その表現をやる人の目的によって変わってくるかもしれないですね。
ダンサーさんとかであれば従来のトラッキングシステム、
あるいは細かいどこか一部分だけ、手の動きとか、
あとは顔の表情とか、歌い手さんの口とまぶたとかね、
っていうのだけであればまた変わってくるかもしれない。
それぞれで使い分け。
なので今まで例えばクラスターとかメタバースでもフルトラ勢かVR勢とかっていうのがあったり、
あとはパソコン勢とかっていうのがありました。
あと今ではスマートフォン勢っていうのかな。
そういった捉え方もありますしね。
今度その中に新しい勢、新しいそういう人たち、
ウェブカメラ勢かな、カメラトラッキング勢って言えばいいのかな。
カメラトラッキング勢っていう新しいそういう人たちが出てくるかもしれないですね。
これなんか楽しみ。それぞれで動きが。
だから本当に多様性が出てくる。
また来週お会いしましょう。
これで今日のイベントお話終わりとなります。
お付き合いありがとうございました。
