00:00
こんにちは、ごりゅごキャストです。今日は、サイバーパンク2077のリップシンクっていうやつが、
これすげー!ちょっと感動したので、そういう話をします。 最近、動画でもゲームでも多言語展開っていうの。
一つ、そのデータがオリジナルの言語であって、それを各国ごとにローカライズされている作品だったり、コンテンツっていうのが結構ある。
すげー金があるゲームしかやれなくって、そのサイバーパンクが一応2020年、なんかトップクラスの話題作っていうので、
ちょっと前には、なんか日本語化のテキストファイルっていうのが数十万文字にも及んで、なんか紙にして、100万円札の束よりも分厚いぐらいの原稿があったとかって話題になってたりしていて、
まあその多言語でできる、世界中に売りまくっているすっげー予算をかけたゲームっていうやつなんだけど、
リップシンク、唇と音を合わせるっていうのが、なんかね、ゲーム内の技術を使って、一個一個の喋りパターンを、なんていうんだろ、録画しているんではなく、
音声データに合わせて口と顔を動かすようにしている、という技術の解説の動画があって。
で、そのサンプルを見せてもらったんだけど、英語バージョンこれ、ドイツ語バージョンこれ、中国語これ、日本語これ、みたいな感じで、
いろんな言語で喋らすとこうなりますっていう、そのゲーム内のキャラクターの表情付きで流れる動画っていうのがあって。
で、なんか音素解析みたいなことをしているみたいで、この音の時は、この言語のこの音はこういう顔、口だけじゃないんだよね。
顔の動きになるっていう説明をしていて、で、特にある意味日本語っていうのが特徴的で、フランス語と比較するとすげーわかりやすいんだったかな。
フランス語で同じ言葉を、言葉っていうか同じ文章をフランス語で喋らせると、すげーね、眉間にシワを寄せてグイグニっていう顔をして喋るんだけど、
同じことを日本語でやっても、目元、眉毛あたりは何にも変化しなくって、唇だけがちょっと違っていたりするんだよね。
日本人がリアクション少ないみたいに言われているのが、もうまんま何か可視化されているような感じで、すっごい面白かった。
で、それが、そういうことができるようになったらさ、ある意味、ゲームが映画を超えるというか、映画がさ、吹き替えにすると、春名って映画基本吹き替え好まないよね。
03:02
オリジナル言語で字幕を出して見てる。
で、その大きな理由って、やっぱ口パクが合わないとかって結構あったりするよね。
あるし、あとその声優、声優じゃないな、俳優さんの声が聞けなくなるから嫌だっていう。
っていうのが、少なくともその口パクがずれる問題はさ、もうテクノロジーによって半ば解決されてしまっているんだっていうことを思い知ったのが結構面白かったりもしたし。
映画の業界にもそのリップシンクっていう技術は取り入れられつつあって、さっき言ってたその口元が合わない問題は、今そのテクノロジーの力で解決されつつはある。
要はオリジナルの俳優さんの3Dデータっていうかを解析して、その人がこういう発音をした時にどういう表情になるかっていうのを後で合成するっていうの、当てるっていうのがもうある。
それに関しても、じゃあさ、例えばサイバーパンクの話で言うとさ、その人日本語を喋らせたら表情の変化とかが少なくなってしまうってこと?
わかんない。それをどういう処理をするかっていうところまでは、まだそのリアルなっていうか一般化はしてない、そういう技術があって、そういうのも順番に取り入れつつあるっていう話、レベルなので。
たぶんそのゲーム内のキャラクターっていうのは、そもそもがデータやん。3Dのデータで描画されてるけど、映画の場合って実写、実際にその俳優さんがいて、その人の言ったらカメラで撮って撮影してるから、そこに何か当て込むみたいなテクスチャーを当て込むみたいなことが発生するから、
表情そのものを変えれるのかどうかっていうのはあれやけど、最近話題になってたのが顔をそのまますり替えるっていうの。
アプリとかの広告とかも出てくるね、よく。
あれでその映画内のキャラクターのところに自分の顔だったりとか、別の俳優の顔を入れて、それはね、自然にそのナチュラルに表情もだから全部コントロールしてる。
たぶんその目の位置、眉毛の位置とかにピンを打って、それをシンクさせてるっていう感じ。
ヤバいよね、俳優の演技力というものが、言ったらたぶんさ、表情とかそのわからないレベルの表情の変化とかもきっと演技力のはずなのに、そういうものが出てきてしまうことで、そういうことの評価が難しくなるというか、
究極的にさ、やっぱ芸術作品、文学とかもそうなんだけど、オリジナルで楽しむにはもう字幕すらつけずにやっぱりオリジナル言語で楽しむことしかないとは思うんだけど、
06:07
まあとはいえ言葉の壁があるからやっぱり翻訳されていた方がよく、でもその翻訳によって表情を変えられたらその人がその人である意味ってあるんだろうかっていう難しいことにまでなってきてしまうよね。
それが良いか悪いかっていうのは置いといて、とりあえずそのリップシンクという技術自体はもう実際そのゲームに取り入れられていたり、映画の世界にももう入ろうとしているから、現実的な技術の一つではあるし。
まあ今のところやっぱゲームが相性がいいのが、ゲームの中のキャラクターはやっぱその人物が現実には存在していないから、誰、英語を喋っている声優の人はそれが正しい声優だし、日本語を喋っているのはそれはまた正しい声優で、全部が正しくなって、
この中国語のこの人が人気とか英語のこの人がかっこいいみたいなことを含めて別にokになるからね。そういえば原神っていうゲームでも同じようなことがあって、そのパイモンっていうマスコットキャラクターがいるんだけど、そのキャラクターの日本語の突っ込みがすげえ面白いからって言って世界中でバズっているんだよね。
で、そこもそのゲームも多言語対応でやっていて、そのそれぞれの国の声優が割り当てられてるんだけど、その日本の声優のその突っ込みがすごいリズムが良くってテンポが良くって人気っていう風にもなっていたりして、そういうようなことがいろんなゲームでも起こり得るかもしれない。
まあ、そういう感じでリップシンクっていう技術を取り直すんじゃなくて、まさにそのテクノロジーの力でどんな言語も喋らすことができるようになるっていうのは色々これが主に今わかりやすく便利そうなのはゲームなのかなとかで面白くなりそうで、映画なんかも吹き替えが違和感なく見れるようになったら楽しいよね。字幕見なくて良いのはやっぱ楽っちゃ楽だし。
音楽ってどう思う?ミュージックがそのローカライズ化されるみたいな。
それディズニーがやってるじゃん。まあ結局あれはもうその特に音楽と言語神話性高いからさ日本語に変えちゃうと別歌になるしさ、逆もしっかりだし、まあディズニーがやっているぐらいのやつが今の限界なんじゃない。
あなゆきの音楽とかすごいなと思って、あれをあの歌詞を日本語に和訳するんやって言って、でしかも歌としてちゃんと成り立ってて、で日本ではあの日本版の歌が一番流行るという。
あれに関して言うとさ、やっぱあの歌っている人が良かったから日本で流行っていて、別の曲とかだとやっぱあんま良くなかったからさ、そういうことなんじゃないっていう。それも含めて日本でもあなゆきが売れたっていうような気がするし。
09:08
まあそんな感じでリップシンクっていうのも面白い技術だなあっていうので概要欄にリンクとかも貼っておくので気になった人は見てみてください。
