00:00
アシカガキャスト。 Adobeの画像生成AI Fireflyが3月に1周年を迎えました。
そしてそのタイミングで構成参照という機能が追加されました。 英語ではStructure Referenceです。
テキストから画像を生成するときに使うことができます。 Adobeの説明によると、既存の画像を参照テンプレートとして使用することで、
ユーザーは同じレイアウトで複数の画像バリエーションを生成できるようになり、 想像していた通りの画像を得るために完璧なプロンプトを書くという試行錯誤のプロセスを省略することができます。
とあります。 画像をもとにそれを参照して画像を作るということで、画像生成AIの機能としておなじみの
Image-to-image。 eye-to-eyeと似てるんですけども、ちょっと違うようです。
Image-to-imageは画像をもとにアレンジした画像を作るみたいなイメージなんですが、
構成参照は構図やレイアウトを支持する機能というイメージです。 ある意味設計図ですね。
なので人物のポーズを指定するとか、 ここに机があってここに椅子があってみたいな
レイアウトを支持するために使うというイメージだと思います。 Adobeによる利用例では
部屋の写真をもとに 再デザインした別な部屋を生成していました。
それを見ると机やソファーの位置は同じなんですけども、 周りは全然違うようにいろんな部屋ができていました。
参照する画像を使ってどういう画像を作るかはもちろんテキストで、プロンプトで指示します。
で、たまたまキャラクターのぬいぐるみ作成をイメージした
手描きの3面図が手元にあったんですね。 私がお手伝いしているキャラクターデザイナー井上久人さんの
ポッペンポップというペンギンのキャラクターなんですが ぬいぐるみをイメージした正面横後ろ
下から見たイラスト。4つあるから4面図なんですかね。 あと斜めから見たイメージを手描きだけど結構きっちり
03:04
方眼紙を使ってサイズを合わせて作ったラフのイラストがあったんですね。 で試しにその画像を
後世参照の参照用画像にして実際にぬいぐるみになった立体的な画像を
アドビファイアフライに作ってもらってみたんですね。 そしたらすごく
可愛い感じのいい感じの画像ができたんですね。 なので嬉しくなっていろいろテストしてみました。
シンプルなキャラクターなので画像生成AIが 本来苦手とするタイプなはずなんですね。
いろんな画像生成AIでイメージとイメージで アレンジしてみたこともあったんですが、うまく元のテストを残したまま立体にしたり
いい感じにアレンジすることは全然今までできませんでした。 なのでこのシンプルなキャラクターがそのまま立体になったことにすごく驚きました。
テキストでのプロンプトはもちろん入れているんですけども 可愛いペンギンのキャラクターぐらいでいい感じに生成してくれました。
色をコントロールしたいので体は水色とか プロンプトで色を指定したんですが、あまりそのプロンプトに忠実に色をつけてはくれませんでした。
この構成参照はどれだけ参照する画像に忠実に再現するかを 3段階で設定できるんですが
これは max の最大限忠実にする設定にしました。 そうするとほぼ完全に参照画像のレイアウト通りに画像は生成されます。
ただそれだけではなく余計な要素というか 他の要素を足してくるということはもちろんあります。
このポッペンポップのペンギンのキャラクターの 立体っぽくなった画像は本当によくできているのでよろしければぜひ見てほしいです。
xツイッターで 2024年の3月28日、29日に投稿しています。
ポッペンポップで検索していただくと見つけやすいかもしれないですね。 ぬいぐるみだったりフィギュアだったりの出来上がりイメージを作るのに
06:02
このファイアフライと構成参照を使った画像生成は使えるんじゃないかと。 関係者の間で非常に盛り上がりました。
質感を変えた画像もいろいろ作ってみて 木でできたようなものとか
透明なガラスっぽい感じとか そういうものも結構うまく作れました。
ただこれたまたまうまくいってた要素も大きかったようです。 別なキャラクターで
同じようなことを試してみたんですがそんなに簡単にうまくはいきませんでした。 構成参照として用意した画像にある程度忠実に立体的に作ってはくれるんですが
やっぱり余計な要素をたくさん加えがちなんですね。 これはプロンプトでの指定の仕方にもよるとは思うんですが色の指定とかも含めて
そこまでプロンプトに忠実にやってくれないんですね。 ただ頑張っていくつも生成して
うまくできたものをベースに Photoshop で加工をするという作業によって
ある程度は本来こういうふうに作りたいというキャラクターに見えるものは作れるなということは実験してみてわかりました。
結局最後は Photoshop のテクニック 人間の手によるレタッチ技が必要になってくるなと思いました。
とはいえ Photoshop に搭載されている Firefly を使った生成塗りつぶしという機能があるので、これを使うことで従来に比べてかなり効率よく
そこまで Photoshop の知識がない人でもいい感じに加工ができるなということも感じました。 あとこの構成参照の使い方として
すごくいいなと思っているのが ロゴマークとかテキストをいろんな質感で作るというテクニックです。
これは Firefly の本も出している コネックリさんという方が提唱していた使い方です。
ロゴなどの画像を構成参照の参照する画像にして、プロンプトでグミでできた文字みたいに入れると簡単にグミでできたみたいな文字が作られるんですね。
なのでもうあとはプロンプトのアイデア次第ですね。 背景が黒で金でできた文字とか
09:05
木に刻印された文字とか刺繍された文字とかいろいろ作れます。 これは私もいろいろやってみたんですが簡単にいろんなロゴの
質感のバリエーションが作れて面白いです。 ただやっぱり余計な要素を加えがちなのと
カタカナのロゴで試したんですが文字として認識してくれてはいないみたいで読めなくなっちゃう文字を作りがちでした。
一度に4つの画像を生成するんですがちゃんと文字が読めてこれ使えそうだなというのがだいたい4つのうち1つだけくらいなイメージでした。
これは結構使う人多いと思うので早いものがち的な部分もあるんじゃないですかね。 この表現が増えすぎると新鮮味がなくなっちゃうんじゃないかなと思いました。
今回は以上です。 アシカガコウジがお届けしました。
