2023-09-15 07:16

RobloXで喋れるようになったフェイストラッキング実装

RobloXで喋れるようになったフェイストラッキング実装

#34


収録スタジオ

ロボコン2023 Robloxマップ制作コンテストに出品しました 「スーパー銭湯 “みずたま”」 訪問すると、バッチがもらえるよ🤗 https://www.roblox.com/games/14310339275/mizutama

オープニングジングル作成

Adobe Premiere Rush


Spotify

#VirtualVideoPodCast

カメしょうCameSHOW

X/twitter

https://twitter.com/cameshow_eth


00:01
こんにちは、カメショウのVirtual Video Podcast。
今日は、いつものスタジオや、メタバースと違った場所で収録しています。
こちらは、RobloXというメタバース、ゲームのワールド、私が作って、誰でも来てもらえる、体験してもらえる、公開済みのワールドです。
スーパーセント水玉というワールドです。こちらの概要欄にリンクを貼っておきますので、もしご興味がある方は試してみてください。
さあ、今日のお話は、このRobloxでいよいよメタバースらしくなってきたというお話で、カメラを使ったフェイストラッキングができるようになりましたというお話です。
ご覧いただいているように、今こちらはパソコンに接続したウェブカメラを通じて、頭の動き、傾きと言った方がいいのかな。
あと、口も、私が選んだアバターの顔の口がちょっと小さすぎちゃって、何となくしか折れないという仕様状。ちょっと厳しい状態なんですけれども、口も動きます。
目はキョロキョロと時々動くんですけど、これがどこを捉えて動いているのかちょっと分からないんですが、目を捉えているのかな。
目を今ゲロゲロしてみていると、やっぱり目を捉えているのかな。
カメラに寄りすぎちゃってもダメみたいなので、そこがどういうふうにやっている仕組みなのかはちょっと分からないんですが、とりあえず傾き、うなずきなどは、あと回転が捉えているようです。
左上に今捉えているよというのが、小さい窓に映っているんですけども、こういうことができるようになったよという話です。
今まではゲームとしていろいろアバターが動き回っていろんなことができましたけれども、音声は今までなかったのかな。
テキストのチャットのみでした。
スピーカーから音を出すということはもちろんBGMなどを流すことができていたんですけれども、各ユーザー同士がお話をするということはできませんでした。
これがちょっとどういう状態でこの音が中で伝わっているかというのは分からないんですけれども、この中のお友達、確かにいることはいるんだけど、どこの誰だか全然分からない人なので、
よかったらロボロックスで一緒に遊んでくれる方募集中です。
ロボロックスではこの機能が使えるようになったのが8月ぐらいですかね。一部の先行でユーザーでできる人たちがいたようです。
03:05
発表があったのは7月か8月頭ですね。
私、これちょうど8月に作ったワールドなんですよね。コンテストに出したワールドで、その辺の情報も知っていたので、あらかじめ設定をしておきました。
これは今既存で公開されているものも設定上でできるようであれば、ボイス、そしてこのウェブカメラが使えるような設定切り替えができますので、そこを変えればできると思います。
もちろんそのアカウントがこのカメラ機能が使えるという設定ですけれども、あとは使う側の方も設定が必要です。
まずこの顔、今まで私のSNSなどでご覧いただいているこのロボロックスの顔と違うのは、実は前の顔はこのウェブカメラのフェイストラッキングに対応していない。
口や頭が動きましたが、口の動きができないタイプのアセットだよという表示が出てダメだったので急遽変えました。
私の好みに合うものがあまりなかったので、一番この目がクリッとしたのがいいかなと思って、ちょっと口の動きがちっちゃいんですけれども、これにしてみました。
今度使う側もフェイストラッキングに対応した頭、頭部を使うということと、それと使う時にもやっぱりこのボイスとカメラの設定、ウェブカメラを使うよという設定が必要です。
それとロボロックスはスマートフォンでもできるんですけれども、私がやってみたiPhone8ではこの機能を使いませんでした。設定自体が今までと変わらなかったというのが新しいでしょうか。
新しいスマートフォンでこういったカメラの機能が充実しているものだとひょっとすると使えるかもしれないです。お手持ちのもので確認してみてください。
スマートフォンの内側のインカメラを使ってできるかもしれないです。ちょっとこの辺はまだこれからかもしれませんが、パソコンのウェブカメラでできるのがいよいよ一般向けにも開放されたというお話でした。
このアバターなんですけれども、今回のエーストラッキングに合わせてちょっとデザイン変えようかなと思ったんだけど、もうちょっとシュッとしたアニメというデザインのタイプがあるんですけれども、私のあまり好みに合うようなものがなかったので、
06:00
今回は頭だけ変えるという形に戻しました。しばらくこれになるかな。あとは自分で作ってみてアップできればそれに変えていこうかなと。
髪型と頭部なんとかできない。頭部って結構でも難しいかな。どうやって作っているのかって今まだよくは分かっていなくて、簡単な物体立方体とか四角とかかまぼこ型とかそういうものをポンとアップするっていうのはやっとできるようになったんですが、
例えば人の動きみたいな、それこそフェイストラッキングができるようになるパセットを作るというのはちょっとなかなかハードル高いかもしれないですね。いつになるか分かりませんが、挑戦してみたいと思います。
今日のお話は以上です。最後までお付き合いいただきありがとうございました。ではまたお会いしましょう。
フェイストラッキングをやっている間にリアクション、エモートができないそうです。ですので、この顔の頭の動きでコミュニケーションしたいと思います。では。
07:16

コメント

スクロール