Adobe Fireflyの機能追加
アドビの画像生成AI Fireflyが3月に1周年を迎えました。 そして、そのタイミングで構成参照という機能が追加されました。
英語ではStructure Referenceです。 テキストから画像生成するときに使うことができます。
アドビの説明によると、既存の画像を参照テンプレートとして使用することで、ユーザーは同じレイアウトで複数の画像バリエーションを生成できるようになり、
想像していた通りの画像を得るために、完璧なプロンプトを書くという試行錯誤のプロセスを省略することができます。
画像を基にそれを参照して画像を作るということで、画像生成AIの機能としておなじみのImage-to-Imageと似てるんですけども、ちょっと違うようです。
Image-to-Imageは画像を基にアレンジした画像を作るみたいなイメージなんですが、構成参照は構図やレイアウトを支持する機能というイメージです。
ある意味設計図ですね。なので人物のポーズを指定するとか、ここに机があってここに椅子があってみたいなレイアウトを支持するために使うというイメージだと思います。
アドビによる利用例では、部屋の写真を基に再デザインした別な部屋を生成していました。それを見ると机やソファーの位置は同じなんですけども、周りは全然違うようにいろんな部屋ができていました。
参照する画像を使ってどういう画像を作るかはもちろんテキストでプロンプトで指示します。で、たまたまキャラクターのぬいぐるみ作成をイメージした手書きの3面図が手元にあったんですね。
私がお手伝いしているキャラクターデザイナー井上ひさとさんのポッペンポップというペンギンのキャラクターなんですが、ぬいぐるみをイメージした正面、横、後ろ、下から見たイラスト、4つあるから4面図なんですかね。
あと斜めから見たイメージを手書きだけど結構きっちり方眼紙を使ってサイズを合わせて作ったラフのイラストがあったんですね。
で、試しにその画像を構成参照の参照用画像にして、実際にぬいぐるみになった立体的な画像をアドビファイアフライに作ってもらってみたんですね。
そしたらすごくかわいい感じのいい感じの画像ができたんですね。なので嬉しくなっていろいろテストしてみました。
シンプルなキャラクターなので画像生成AIが本来苦手とするタイプのはずなんですね。
いろんな画像生成AIでイメージとイメージでアレンジしてみたこともあったんですが、うまく元のテストを残したまま立体にしたりいい感じにアレンジすることは全然今までできませんでした。
なのでこのシンプルなキャラクターがそのまんま立体になったことにすごく驚きました。
テキストでのプロンプトはもちろん入れているんですけども、かわいいペンギンのキャラクターぐらいでいい感じに生成してくれました。
色をコントロールしたいので体は水色とかプロンプトで色を指定したんですが、あまりそのプロンプトに忠実に色をつけてはくれませんでした。
この構成参照はどれだけ参照する画像に忠実に再現するかを3段階で設定できるんですが、これはMAXの最大限忠実にする設定にしました。
そうするとほぼ完全に参照画像のレイアウト通りに画像は生成されます。
ただそれだけではなく余計な要素というか他の要素を足してくるということはもちろんあります。
このポップンポップのペンギンのキャラクターの立体っぽくなった画像は本当によくできているので、よろしければぜひ見てほしいです。
xツイッターで2024年の3月28日29日に投稿しています。
構成参照による画像の生成
ポップンポップで検索していただくと見つけやすいかもしれないですね。
ぬいぐるみだったりフィギュアだったりの出来上がりイメージを作るのにこのファイアフライと高精算書を使った画像生成は使えるんじゃないかと。
関係者の間で非常に盛り上がりました。
質感を変えた画像もいろいろ作ってみて木でできたようなものとか透明なガラスっぽい感じとかそういうものも結構うまく作れました。
ただこれたまたまうまくいってた要素も大きかったようです。
別なキャラクターで同じようなことを試してみたんですが、そんなに簡単にうまくはいきませんでした。
高精算書として用意した画像にある程度忠実に立体的に作ってはくれるんですが、やっぱり余計な要素をたくさん加えがちなんですね。
これはプロンプトでの指定の仕方にもよるとは思うんですが、色の指定とかも含めてそこまでプロンプトに忠実にやってくれないんですね。
ただ頑張っていくつも生成してうまくできたものをベースに Photoshop で加工をするという作業によって、
ある程度は本来こういうふうに作りたいというキャラクターに見えるものは作れるなということは実験してみてわかりました。
結局最後は Photoshop のテクニック、人間の手によるレタッチ技が必要になってくるなと思いました。
とはいえ Photoshop に搭載されている Firefly を使った生成塗りつぶしという機能があるので、
これを使うことで従来に比べてかなり効率よく、そこまで Photoshop の知識がない人でもいい感じに加工ができるなということも感じました。
あとこの構成参照の使い方としてすごくいいなと思っているのが、ロゴマークとかテキストをいろんな質感で作るというテクニックです。
これは Firefly の本も出しているコネックリさんという方が提唱していた使い方です。
ロゴなどの画像を構成参照の参照する画像にして、プロンプトでグミでできた文字みたいに入れると簡単にグミでできたみたいな文字が作られるんですね。
なのでもうあとはプロンプトのアイデア次第ですね。
背景が黒で金でできた文字とか、木に刻印された文字とか刺繍された文字とかいろいろ作れます。
これは私もいろいろやってみたんですが、簡単にいろんなロゴの質感のバリエーションが作れて面白いです。
ただやっぱり余計な要素を加えがちなのと、カタカナのロゴで試したんですが文字として認識してくれてはいないみたいで読めなくなっちゃう文字を作りがちでした。
一度に4つの画像を生成するんですが、ちゃんと文字が読めてこれ使えそうだなというのが大体4つのうち1つだけくらいなイメージでした。
これは結構使う人多いと思うので、早いものがち的な部分もあるんじゃないですかね。
この表現が増えすぎると新鮮味がなくなっちゃうんじゃないかなと思いました。
今回は以上です。アシカガコウジがお届けしました。