00:05
どうも、こんにちは。MIRA-i-ne Hiroです。このチャンネルでは、ZANAやRomaco様、Web3、メタバース、AI、NFT、投資、趣味や仕事の話など、興味があることをゆるっと話していきたいと思います。
今日は、Romaco Tours完成、メタバースワールド作成でもAI活用の時代、ということでですね。
私がですね、昨日やっとですね、ZANA SUMMITの罵倒されたいんだお!の、ZANA SUMMITのですね、応募作品、Romaco様ツアーというのの作品のPVができてですね、そちらをですね、HEXの方にポストさせていただきたので、その話をちょっとしたいと思っております。
もしかしたらですね、この放送を聞いている中で、そもそもZANA SUMMITって何?とか、Romaco様って誰?みたいな方もいらっしゃるかと思いますので、ちょっと簡単にご説明させていただきます。
ZANA SUMMITというのはですね、メタバースのプラットフォームでZANAというのがあるんですけれども、そちらがですね、今度ですね、9月にですね、開催されるZANA SUMMITという、メタバース内のお祭りというのがあります。
こちらの中でですね、メタバースのワールドをですね、かなり100以上が準備されているんですけれども、そちらのですね、応募作品を今回作成したので、その話をしたいなと思っております。
このZANA SUMMITについてはですね、このZANA SUMMITのホームページがありますので、そちら概要欄に載せております。
さらにですね、このZANA SUMMITの中でですね、作成するワールドの中でですね、DAOですね、Web3系のDAOでいくつかですね、このDAO用のワールドを作ろうというのがですね、7月14日の応募期限でですね、今ですね、募集をかけられております。
その中の一つでですね、私が推しているですね、ののしりロマコ様のですね、DAO、罵倒されたいんだOというですね、DAOがあるんですけれども、こちらの応募作品をですね、作ったものをですね、今回PVとして載せさせて、Xの方に投稿させていただきました。
こちらの紹介PVの方もですね、概要欄に載せてありますので、見ていただければなと思います。
ではですね、今日はこのロマコツワーズというMetaverseのワールドをですね、どんな風なコンセプトで考えて、じゃあどんな風に作っていったか、あとはですね、AIをどういう風に活用していったかというようなお話もしていきたいと思っております。
まずですね、このザナサミット自体がですね、先ほどもお話した通りですね、100以上のですね、Metaverseのワールドというのが展示されます。
03:03
何か万博みたいなイメージですかね、そんなような形でいろんなパビリオンがあるんですけれども、そこにですね、Metaverseで皆さんが行けるような形になります。
そうなるとですね、あまり一つのパビリオンに長い時間いるようなことはないんじゃないかというところもありますので、大体3分から5分ぐらいで見れるようなワールドにしていきたいなという風に考えました。
なおかつですね、ののしにいろまこ様のことをですね、知らない方がですね、ののしにいろまこ様でどんな人なのとかどういう活動をしているのかというのがですね、分かるようなものにしたいなというのでですね、作らさせていただきました。
その時にですね、どういう構成にしようかなと思ったんですね。
私がパッと思いついたのが、東京ディズニーランドとかでですね、例えばアラジンとかピーターパンとか、It's a small worldって乗り物に乗って一周して、その世界の最初から途中の中戦いもあって最後ハッピーエンドで終わるみたいな、
そういうようなですね、乗り物、アトラクションが結構あると思うんですけど、それをちょっとイメージして作ってみました。
そういったアトラクションを考えてみるとですね、どういう構成になっているかなという風に考えると、一番最初ちょっと平和な世界があって、途中でちょっと戦いだったりとか、ちょっとダークな印象があったりとか、最後はハッピーエンドで終わるっていうようなですね、そんなような作りになっているかなと思っております。
で、ロマコ様がそういう一連のストーリーがあるかというと、そういうわけではないかなと思うんですけれども、なんか一番最初ちょっと明るめな、ちょっとほんわかな感じな内容にして、途中でちょっとダークな作りにして、最後になんかちょっとハッピーな感じで終われるっていうようなですね、そういうのをですね、作りたいなという風に考えて、そういった流れにしています。
具体的にはですね、まずロマコ様が結構いろいろなキャラクターに奮して、ロマコ様の中で、楽しいロマコ様っていうキャラクターが一番のメインのキャラクターなんですけれども、時々出てくるいろいろなキャラクターというのがですね、なかなか面白いので、それもですね、ロマコ様の活動の一部かなと思うので、
まずその何個かのキャラクターをですね、紹介していきたいなというところでですね、具体的にはですね、幼女キャラの幼女ちゃんっていうのと、あとはロマコ様の双子の弟と言われているロマオ君というのですね、あとはですね、ヤンデレキャラのヤミコのですね、この3つをですね、ピックアップさせていただきました。
06:16
このピックアップに際してですね、過去のXのスペースっていうのをですね、聞いて、そこからですね、ピックアップしていかなきゃいけなかったんですけれども、やはりちょっと私そこまでですね、ロマコ様の全部のスペースっていうところをですね、探すのも大変だし、把握もできていないというところで、
ここはですね、先日、ロマコ様のですね、原宿ライブがあったときにですね、うおやぎさん、うえやぎさんと言えばですね、罵倒されたいんだおロマコ様のところですね、動画の切り抜きをやっている、Xのスペースの切り抜きをやっていてですね、いろんなスペースを熟知している方なので、うえやぎさんにですね、ご協力いただいてですね、それぞれのキャラこういうのがあるよっていうのをですね、ピックアップしていただきました。
はい、もう大変助かりました。
で、その中でですね、キャラクターとして、ロマコ様は基本的に音声がメインなんですけれども、やっぱりちょっと、メタバースでやるときに、画像として、絵としてですね、やっぱり描きたいというところがあったときに、正直描きやすいキャラと描きにくいキャラっていうのがあるのかなというところで、
で、今回描かせていただいた、実際にですね、このワールドの中でですね、表現させていただいている3つのキャラですね、ヨウジョちゃんとロマオスとですね、ヤミコっていうのはですね、比較的やっぱり特徴がすごい出ているキャラクターなので、そちらをピックアップさせてもらいましたというところになります。
ただですね、このキャラクターの展示だけだと、ちょっとロマコ様の本来の魅力を全部出し切れてないなというところですね、やっぱりロマコ様っていうと、歌ですよね、音楽NFT去年に3曲出されていると思うんですけど、それが非常にですね、魅力的だなというところでですね、やっぱりその音楽NFTの3曲っていうのを入れたいというところもありまして、後半にはですね、
ロマコ様の音楽NFTの3曲というのをですね、こちらのワールドの中にですね、表現させていただいたというふうになります。
で、実際にですね、キャラクターが決まった後にですね、次何をやったかというとですね、生成AIですね、具体的にはStable Diffusionを使ってですね、画像の生成というのをですね、作成しました。
で、私、絵が描ければ本当はいいんですけども、絵は全然描けなくてですね、むしろですね、この生成AIでですね、絵が作れるようになってからですね、こういったですね、ファンアートみたいなのがですね、描けるようになってですね、
09:13
本当に私にとってこの生成AI、特にですね、画像生成AIっていうのはですね、なんですかね、できないことができるようになったっていうですね、本当に素晴らしい道具の一つだなというふうに思っています。
で、それを使ってですね、まずは最初、多分1週間、2週間ぐらいかけたのかな、ちょっと1週間ぐらいかな、かけてキャラクターの方をStable Diffusionで作りました。
で、作ったことある方はですね、分かるかなと思いますけど、結局あれってガチャなんですよね。ある程度もちろんプロンプトという呪文と言われてるんですけれども、そちらをですね、作っていきながらっていうところもあったりとか、あとStable Diffusionだと、なんですかね、結構モデルですね、そちらにですね、よってですね、やっぱり全然同じプロンプトでもですね、出来栄えが違ってくるんですけど、モデルもですね、いろいろと変えてみたりとか、
そんなことをやりながらですね、全部で15枚ぐらいかな、画像を作りました。
実際にはですね、出てきている画像というのが15枚なんですけど、結構1キャラ作るのにですね、プロンプトどういう風にやっていくかとか、先ほどのモデルどういう風に何を使っていくかっていうところもあるので、1つ作るのに多いやつだと100枚作ってるかな、1キャラについて100枚ぐらいは多分作ってるんじゃないかな、そんなに雑じゃないかな。
ものにもありますけれども、結構ズバッとすぐできちゃうやつもあったと思いますし、あとでやっぱりなかなか試行錯誤してなかなかできなかったっていうのもですね、ありました。
それとですね、並行してやったのはですね、パビリオンのルート作りですね。
一番最初に、今回1×1というXANAのワールドの中では一番小さいワールドで作らなきゃいけなかったので、そこをどういう風に作るか、どういう風なルートで動かすかっていうのをですね、最初に作りました。
今回、ライドシステムっていう乗り物に乗って一周するっていうやつなんですけど、このですね、1つの乗り物っていうかセットと言われるものなんですけど、こちらをですね、動かすコンポーネントっていうのはですね、このXANAのXANA Builderというのをですね、このワールド作るのに使うんですけれども、
これがですね、結構めんどくさいんです。難しいかどうかっていうとそんなに難しくないんですけれども、これをですね、正確にですね、一周させるっていうのがですね、結構難しいんですね。
12:07
なので、結構そこにですね、苦労したりとかしてます。なんかね、イメージ的にはですね、マウスで一個一個、その起点となるところにですね、フラグを立てていくような感じなんですね。
そのフラグを順番通りに立てていかないと、それ通りに動かないみたいな感じなんですよ。で、このフラグ、例えば一箇所、途中のところで一箇所間違えると、一個一個フラグの立てた順番にしか動かないので、途中のところ編集するとかできないんですよね。
だからそうすると、途中のところ間違えていると、最後のフラグを全部消して、そこからまたやり直しみたいな形ですね。そこは結構大変だったかなと思います。
あと、ちょっとこれですね、ライドシステム、乗り物をですね、浮かしてあるんですけど、このですね、浮かす作業っていうのがちょっとめんどくさくてですね、例えば、アセット、ビルダーのアセットだと、パラメーターで例えば上から何ポイントも上げるみたいなことをですね、数字で全部入力できるんですけど、
このフラグに関して言うと、マウスでフリーハンドでしかですね、高さを調節できなくてですね、この高さ調節が難しかったっていうのがあります。なおかつですね、操作を間違えるとこのフラグが消えてしまってですね、先ほども言った通りですね、間違えて途中で消してしまうと、それを全部やり直さなきゃいけないみたいなところもあってですね、そこが結構大変だったかなというところがございます。
それをですね、作った後に、じゃあその画像をですね、配置しようかなと思ってたタイミングでですね、ちょっとAIに伏兵が現れたというところがございました。
その伏兵というのがですね、ルマトリウムマシーンというですね、動画生成のAIがですね、こちらがなかなかすごいという話がですね、ちょうど6月に入ってからですよね、出てきたというところもあって、これ静止画じゃなくて動画にしてみようってちょっと思っちゃったんですよ。
今まで作った静止画をですね、そこをちょっと動かして喋っている感じにしたい、歌っている感じにしたいというような、ちょっと自分の中でですね、欲求が出てきてしまってですね、またこれから一つ一つ、先ほどの15個ぐらい、15個ないかぐらいのやつをですね、このルマトリウムマシーンでですね、動画でですね、動かしてみようかなと。
動画でですね、動かすというようなことをですね、またやり始めたというところになります。これでまた結構ですね、まあまあ時間がかかったというところがありますね。
ちなみにこのルマトリウムマシーンで、2つ方法があるんですけども、本当にプロンプトから動画を作る方法と、あとは元々ある画像を動かすという2つのやり方があるんですけど、結構この画像をですね、今持っている画像からですね、動画を作ろうとすると結構破綻する可能性があるんですね。
15:25
なのでこれ、あんまり大きい動きを作っちゃうと結構破綻しやすいので、あまり大きな動きにしないようなプロンプト。
なんかね、私よく使ったのがですね、スローっていうのをですね、1つだけ入れるみたいな、そういうことをやるとですね、意外とゆっくり動くので破綻しづらいっていう、それでもまあまあ回したりとかしましたけれども、そういったようなことをですね、やって動画を作成しました。
それで動画を配置してですね、今度その音声に合うような、あ、その動画というか、それぞれのキャラに合うような、今度音声をですね、配置しなきゃいけないんですけれども、その音声をピックアップする作業っていうのがですね、先ほど植木さんから教えてもらったですね、スペースをですね、全部音声ファイルに落として、
で、その中からですね、やっぱり切り抜いていかなきゃいけないというところでですね、切り抜きを始めました。
なので、結構1つのスペースが1時間から2時間ぐらいあるやつがあるんですけど、途中、話をですね、飛ばしたりとかして聞いたりとかして、ここ使えそうだなっていうところをですね、切り取ってですね、それをですね、ガザラのワールド4に配置するというようなことをやりました。
結構これ気をつけたことがですね、やっぱりそのXのロマコ様のスペースだと、登壇者がいて、登壇者と話をしたりとか、あとは話をしている、ロマコ様は単体で喋っている中でも、誰かのお名前を結構言っているところがあるんですね。
そういったところをなるべく避けつつも、そのキャラクターっぽいような喋り方とか話をしているようなところをですね、ピックアップするっていうところが、まあまあここも結構時間がかかった作業かなというところになります。
あとですね、今回ちょっとPVの方だと分かりづらいんですけど、動画と音声って紐付いてないんですよ。動画はですね、もう本当に音が流れていないで、ひたすら多分5秒ぐらいの動画がループして回っているんですけれども、音声の方はですね、何かを触るとその音声が流れるっていうような作りになっているんですね。
で、その音声、何かを触らないとその音声が流れないんですけど、それをちょっとライドシステムで、乗り物に乗りながらどういうふうに触らせようかなと思ってですね、考えたんですけど、何がいいかなと思ってですね、ロマコ様のファンだったらですね、やっぱりパンツを触りたいなっていうところがあるので、パンツをですね、ルートのところに配置して、
18:26
それを触ると音声が流れるというような形にしています。なので、ちょっとPVの方では何かいい感じに音声とその動画が何かなっているようなふうに見えているかもしれないですけど、実際にはですね、そこ全然あってないというところがありますね。
ここまでちょっと欲が出てきてですね、ヨウジョちゃんとかは、ちょうど作った動画の口パクの感じとロマコ様が喋っているヨウジョちゃんが、だいたいパッと見た感じ同じスピード感で喋っているように見えるんですね。
ロマオもそうだったかな。ロマオもだいたい同じような感じだったんですけど、一番やっぱりヤミコがですね、難しくて、結局ちゃんとあんまりいい感じはできていないかなと思うんですけど、ヤミコは笑ったりとか喋りがゆっくりになったりとか速くなったりとかっていうのが結構あるのでですね、
動画で作ったのは、やっぱり一定の速度でしか喋っていないので、あとはスピードがちょっと違ったんです。
だからそこのスピードを動画の編集ソフト、今回はワンダーシェアフィルマーっていうのを使ったんですけど、そこでですね、ちょっと速度を調整して、なるべくヤミコが喋っている速度に近いような形でちょっと編集し直したりとかっていうのもやってます。
ここまでで、だいたい土台みたいなのができたっていう状況ですね。そこからはですね、各セクションというかエリアのところの装飾ですね。
ヨウジュちゃんはちょっと爽やかな感じにしたりとか、あとはロマオくんとかキラキラにしたりとか、ヤミコとかすごいダークにしたりとか、あと歌のところですね、バトの女王のところは結構賑やかにしたりとかっていうですね、内部的な装飾っていうのを作るというようなところをやりました。
あとは外装ですね。外装って実際にパビリオンの中入っちゃって回るとほとんど見えないんですけど、やっぱりどうせならかっこよくしたいなっていうところがあったので、そこをですね、どういうふうにしようかなと思ったタイミングでちょうどXANA Builderがアップデートして結構アセットが増えたんですね。
21:05
その中に結構未来感があるものがあって、もともとこれ名前がロマコツアーズっていう名前で、なんかちょっとロゴも見たことあるような感じじゃないですか。
スターツアーに文字って名前をつけてるんですね。なのでちょっと中身が合ってるかどうかは別なんですけど、外側はちょっと未来感を出すような感じの建物にしようと思って、そういったのを作ったりとかっていうふうにしています。
ここまでである程度できたかなというところで、今までXANAのワールドを作るXANA Builderというところでテストをしていたんですけど、ちょっとXANAのアプリですね、スマホでXANAアプリというのがリリースされているんですけど、そちらを使ったらどうなのかなというところで試してみました。
そうしたら全然動かないというのが分かって、私のiPhone13だと入ってすぐメタバスのワールドを生成するところなんですけど、そこで落ちちゃったりとかしてたんですよ。
もうちょっとスペックがいいiPad miniの第6世代であっても、途中で少しロードは全部できるんですけど、途中でちょっと動いてたら落ちちゃうみたいな感じで、これはちょっとまずいなというところで、
XANAの講師陣、XANAのビルダーを作っている講師陣の皆さん、ベテランメンバーに相談したら、
XANAビルダーにアップロードしてそれを表示させていたんですけど、そうではなくて、YouTubeのライブストリーミングに変えるとだいぶ負荷が軽減されるという話を聞いて、全部その動画をライブストリーミングに変更したんです。
YouTubeに全部アップロードし直したんですけど、今度YouTubeのストリーミングの方に変更した時に問題が起きて、私は各キャラクターの動画をアスペクト比か一対一にしていたんですけど、
一対一のままYouTubeの方にアップロードして、XANAビルダーの方でそれが再生されると横長になっちゃうんですよ。ブヨーンって感じで、横長になっちゃうと動画になっちゃうんで、これはダメだと思って、
24:14
YouTubeだと16対1というハイビジョンのアスペクト比にしないとちゃんと表示されないので、さすがに一対一のやつを作り直すのは結構辛かったので、動画編集ソフトに一対一のやつを貼って、
横を色をつけたり装飾をつけたり、誤魔化したり、アップにできるやつをアップにしたり、全部動画を16対9に変えるという作業をやったというところになります。
ここが結構最近なんですけど、先週末ぐらいにやったんですけど、それで結構時間が、週末はそれで潰れたみたいな感じですけど、そんなこともちょっとやったりとかしてみました。
あとその前にですね、前にBGさんがワールドの入ったところにワールドを紹介する動画をつけておいた方がわかりやすいというので作ったアイデアをですね、
前のスタイフでも紹介させていただいたんですけども、そちらを作ろうかと思って、動画も先行して作ったりとかしててですね、それを作ったりとか、それを配置するというようなことをやったりとか、あとは微調整ですね、そういったことをやっているというところになります。
大体完成したタイミングでですね、もう1回アプリのテストをしたんですけど、正直言ってですね、ちょっとXANAアプリの方の音声とかメディアのですね、ローディングが多分開発者の許容を超えて、もともとの想定を多分超えていたんだと思うんですけど、
やっぱりちょっとアプリの方ではですね、まだ何かちゃんと動かないところがちょこちょこ出てきたりとかしてましたけど、ちょっと一旦ですね、XANAビルダーの方がちゃんと動くので、それでちょっとPVの方を作っているというところでですね、PVを最後作って、で昨日リリースをしたという形になります。
多分ちょっと動かないところなんですけど、私はちょっといろいろと触っている感じだと、結構、Metaverseのワールドってアセットと言われるのをですね、いっぱい使えば使うので、やっぱりローディングに時間がかかって、そのローディングがローディングされてますよっていうのはですね、そのアセットに関して言うと、
27:00
XANAアプリの方で結構わかるようになったんですけど、そういった画像とか静止画とか音声っていうところがちょっとあんまり考慮されてないのかなっていうところで、実はですね、最初動かないなと思っていたんですけれども、
PVをリリースした後にもう少しアプリの方を触っていたんですけど、実はですね、ロードが時間かかっているだけで、ずっとそこのアプリ内にいるとですね、最初流れなかった音声の部分がですね、流れたりだったりとか、動画も最初なんかちゃんと流れてなかったところが流れるようになったりとかするみたいで、ただ単純に時間がかかっているだけのようです。
ただちょっとここはですね、改善の余地ありそうなので、ちょっと不害報告に出したりとか、あとは毎週ですね、木曜日にXANAサミット運営委員会みたいなところでお話をしていたりとかもするので、そこでちょっとですね、話として出そうかなというふうに思っています。
ちょっとやっぱりですね、もうちょっとアプリ側の品質も上げてもらわないと厳しいかなというところがあったので、直るかどうかはわからないんですけれども、そこら辺はですね、ちょっと言ってみようかなというふうに思っております。
はい、今日はですね、ちょっとだいぶ長くなっちゃいましたけれども、ロマコツアーですね、こちらどういうふうに作ったかという話と、その中で途中でですね、AIもですね、いろいろと活用したりとか、そういったお話もさせていただきましたので、なかなかですね、メタバースのワードを作るってことは皆さんないかなと思いますけれども、メタバースでもですね、こういったAIの活用だったりとかっていうのもですね、できますのでですね、参考にしていただければなと思います。
はい、ここからはコメント会場をしていきたいと思います。
昨日のですね、解説動画生成AIの欄がすごいというお話のコメントになります。
ブチョスさん、初めてですね、ありがとうございます。コメント始めていただきました。
これから配信も聞かせていただきます。お互い頑張りましょうねというところで、はい、ありがとうございます。頑張ります。
ブチョスさん、私初めて絡んだことがある方なので、ブチョスさんのスタイルも見せて聞かせていただきます。
ちょっと小手のほうについてはですね、自己紹介を聞かせていただきましたんですけど、あれですね、AIだったりとかSNSの活用で、実際にコミュニティみたいなのも持ってですね、YouTubeとかも配信されている方みたいですね。
はい、なかなかすごいですね。私もAIの勉強をさせていただこうかと思うので、配信とか聞かせていただこうかなというふうに思っております。よろしくお願いいたします。
はい、ニュービーバルさん、僕ちゃんの頭では理解不能部品。来週、フルスの介護施設へのボランティア行く部品が、レクエーションの時間にサイタルを開いてほしいと言われ、とりあえずChatGPに選曲してもらい、自分の歌を踏まえて10曲に絞り、ChatGPに曲順を作成してもらった分、この曲で盛り上げて、
30:20
ここでこの曲を入れてリラックスさせてと、自分の想像以上の回答にぶち感動した部品、今頃ChatGPを使い始めたニューリーマル部品ということですけれども、全然めちゃめちゃいいじゃないですか。すごい良い使い方だと私は思いますね。
私も正直言ってChatGPT使えてないかなっていうところは正直ありますね。
今回、ちなみに言い忘れましたけれども、このロマコツアーズですね。最後、XANAアプリに登録するときに紹介文みたいなのを作らなければいけなかったんですけど、ここはChatGPTのほうに紹介文を3つぐらい作ってみたいな感じで作ってもらって、その中から一番良さそうなやつを使ったというところがあります。
でも全然使いこなしてる感じですよね。
私もどちらかというと、AIって先ほどもそのワールドのところで画像を作ったりとかって言いましたけど、どちらかというと画像とか動画を作るほうが多いですね。
なので結構文章系っていうのがあんまりまだ使いこなせてないなっていうのが正直なところかなというふうに思います。
この辺は後々ですね、もっと私も使っていきたいなというふうに思っておりますので、ユリマさん一緒に勉強していきましょう。
はい、私のこのロマコツアーズの作成、これ1ヶ月半ぐらいだったのかな。
多分5月の中旬ぐらい、Ninketの出前ぐらいから作り始めてるので中旬ぐらいから作ってるんですね。
1ヶ月半ぐらい作ってるんですけど、やっとですね、蹴りがついたというところで、ちょっと今日はですね、ゆっくりしたいなというふうに思っています。
はい、では今日はだいぶ長くなりましたけれども、本日はこれで終わりにしたいと思います。
最後までお聞きいただきありがとうございました。ではでは、さよなら未来にね。どうも。
