1. わく枠べんきょ会
  2. #11 「ゼロからはじまれComfyU..
2024-10-02 19:59

#11 「ゼロからはじまれComfyUI」

Agenda: 「CUDAの勉強について相談 / ゼロからはじまれComfyUI」


ディープラーニング オンライン コース | NVIDIA

https://www.nvidia.com/ja-jp/training/online/


comfyanonymous/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. (github.com)

https://github.com/comfyanonymous/ComfyUI


ComfyUI Examples | ComfyUI_examples (comfyanonymous.github.io)

https://comfyanonymous.github.io/ComfyUI_examples/


ComfyUIの初心者向けガイド - Stable Diffusion Art (stable-diffusion-art.com)

https://stable-diffusion-art.com/comfyui/#What_is_ComfyUI



presentor

- taniguchi

- sakamoto (mossan-hoshi) ⁠https://x.com/mossan_hoshi⁠


#comfyui #cuda #nvidia #study


なにする?

CUDAの勉強何から始めればいい?

ゼロからはじまれComfyUI

00:01
おつかれさまです。
おつかれさまです。
そっか、書いてないんですけどもですね。
そうですね、今日は木曜日になりますね。早いもんですね。
祝日があるとは、結構あっという間という感じではありますが。
そうですね。
今日は木曜なので、どうしようかなってところではありますけれども、
一応木曜はLD的な方が発表するというような感じにしようかなと思ってまして。
前回録画し忘れましたが、
谷口さんがGPUというかKUDAについて学びたいというようなところなので、
KUDAについて勉強を進めていきましょうねというような感じだったかと思います。
前回は本当にGPUって何ぞやっていうところをGPTに引いて、
そこからいろいろちょっと深掘りしてみましたよというような感じだったかと思います。
今回はその続きという認識でいいですかね。
そうですね。でも正直言うとできてなくて、
相談がありまして、NVIDIAの研修、何か一つ決めてそれを取り組んでいこうという話だったと思うんですけど。
そこのページをちょっと見てみて、無料のコーナーが何種類かあったんですけど、
どれから手をつけようかなというお相談をする時間を最初取ってもいいですか。
そうですね。コース決めるのがいいかと思います。
私もちょっと軽く見てみたんですけれども、
チュートリアルじゃなくてコースで見たほうがいいかな。
コースですね。何かそれっぽいのが一個あったんですよね。
これでとりあえずいろいろ調べられますよというような感じだと思いますが、
今回クーダなので、いわゆるアクセラレーターになりますよと。
CPUだと処理間に合わないところをGPUの機能を使って処理早くしますよってところで、
まさにその機能、GPGPU、汎用的なアクセラレーターとしてのGPU使うよったやつがクーダですので、
まさにこのタブが該当しますよというところで、
その中でどれが一番いいんぞやっていう感じなんですが、
確か初級向けのやつが調べるやつとしては、
たぶん人気のやつとかがそこら辺が、まさにファンダメンタルズとかですね。
ちなみに言語ってどっちですかね。Pythonですかね。C++かね。
Pythonですね。今のところは。
そうなんですね。ちなみにでもですね、ここちょろっと見てください。
$90って感じでますね。
そうなんですよ。そこがあって、
例えばお金払う自体は全然いいんですけど、
03:00
例えば学んだ内容を全部見せたら。
いや、多分できないです。基本的に多分無料のコースであっても、
その内容をオープンにしちゃうのはよくないのでですね。
基本的には学んだ内容を自分なりにまとめるという形で、
一般的に見れるようにするというような形にするのがいいかと思います。
そこのやり方はちょっとおいおいやればいいかなというようなところで、
とはいえ最初なんで無料のやつというか、無料のやつ1個しかないですね。
学んでこれでいい。これ以外選択肢なさそうだねって感じなんでですね。
こちらのですね、アンイーブンイージョン。
確かあれですよね。日本語のページからいっても多分結局英語になるんですよね。
確か。
そうです。日本語のページはちょっと見たことないですね。
確か。一応ページ自体は日本語でコースの中身に入ったら普通に英語になるみたいな感じだったんで、
基本的には英語でかなと思います。
とはいえブラウザーでやるんで、基本的に最近のブラウザーは翻訳できるんで、
特にソースコードとかそんなに含まれてなければ、
特にこういうチュートリアル系のやつであれば、
ほぼほぼ問題なくいけるかなというふうに思いますよというところですね。
OKかな。とりあえずこれでいきますかね。
本当にですね。
まさにこれは1時間で終わるぐらいの簡単なクーラーのチュートリアルですよというようなところですね。
目標、クーラーを起動しますよ。
大規模なデータセットサイズの並列スレッドを整理し、
GPU内のメロモニ管理。
ちょっとだけクーラー触れてもいいよみたいな感じかなというところですね。
とりあえずこれ進めるっていうことで、どうしようかな。
今見ながらやっちゃうと、それはそれでシェアしづらいんで。
また次回までに、とりあえず1時間ぐらいのボリュームなんで、
ちょっと自分のほうで。
私のほうでもちょっと見てみますんでですね。
お互いにちょっと内容について振り返りながらちょっと深掘っていくっていう感じにしましょうかね。
じゃあ一旦ちょっとそんな感じでですね、これやっていくよっていうようなところでいいかなというふうに思いますというところですね。
じゃあとりあえずそんなところかな。
一旦それでいいでしょうというところで、じゃあどうしようかな。
どうしようかな。
じゃあどうしようかねっていうところなんですが、
今日は特に何もセットアップしてないんですけれども、
どうしようかな。何やりましょうかね。
そうですね。
月曜日のニュースチェックの方に書こうと思ってたんですけど、
TwitterXでちょっとバズってたチャットGPTの音声出力。
そうですよね。全員でもう使えるようになりましたよね。
そうですよね。あれ結構やばいやつなんで、ガチで普通に会話する感じでチャットGPT聞けるようになるんで。
06:04
そういう意味で、まさにこのKudaのやつとかの学習で使おうかなというふうに思っていてですね。
どういうふうにちょっと参加させるかっていうところが悩ましいところではあるんですけれどもですね。
まさにあの人みたいな感じで、学習している内容について聞いてもらうというかですね、
質問してそれを随時音で返してもらうっていうところ。
まさにこういうですね、YouTubeとかPodcast系のやつだと結構マッチしますよねっていうところで。
確か私なんかこの前見たんですけども、Podcastで普通にゲストとしてもチャットGPTを入れるみたいなやつ。
なるほど、面白いです。
ゲスト、チャットGPT as Guestかな確か。チャットGPT as Guestの字で。
そうですね、これです。たぶんこれかな。
そうですね、リハーサルFです。まさにこんな感じでですね。
考えて会話しましたよっていうところになるかと思います。ちょっと正直これ聞いてないんですけれどもですね。
ただ、結構意外と使えるかなと思いますね。
特にクーダーみたいな、たぶん最新のニュース聞いても答えてくれないんですけども。
いわゆるこのクーダーについての分かんないよみたいな質問って、
枯れた技術というか、LLMが知っている知識なんで、ある程度はいいかな。
ただちょっとコーディング系が音声で伝えたいんで。
そうですね。
どちらかというと概念というか、まさにこのさっきのイントロダクションぐらいの難易度ぐらいだったらまあまあいいかなというところですね。
そういう意味では、向き不向きは当然あるはあるんでですね。
とはいえ、ちょっと使い方を一回模索しようかなと。
そういうのもあって、私も実はですね、ChatGPTのプラス契約しようかなという風にまさにその流れで思ってて。
一応あれですよね。確かプラスであれば、
ChatGPTのプラスのAdvanced Voice Modeってやつかなってやつですよね。
そうですね。プラスだとかそこら辺のユーザーだったら、
そうですね。プラスとかシームのメンバーで使えますよってところですね。
はい。
なのでちょっとこれをやっていきたいですね。
ちょっとまあそれもそれでまた次回っていううちはあるんでですね。
ちょっと悩ましいところだな。
ようなあと何やろうかな。ほぼほぼほんまに何も決めてないんですけれど。
ちょっと何かでもあれだな。ある意味なんか次の仕込み用の調べでもいいかなと思いますね。
そういえばなんか停滞してるなってやつで言うと、
コミハイAIだけ知ってたっけ。あれそういえばやるやる言うてやってねえなっていうのがですね。
はい。
コミハイUIか。コミハイUIやるやる言うてやっとらんのでですね。
ちょっとコミハイUIについて軽く今の時間でですね、
調べるみたいなのをやろうかなというのはですね、ちょっとやってみたいと思います。
すいません。この時間でどの程度するのかいまいちわかんないんで。
せっかくだったら。
多分普通にインストールし始めるとこの30分でも多分クソバカでかいんで。
09:00
はい。
まあまあまあまあですね。
で、Windowsであればスタンダードローンがありますんで、
NVIDIAのGPUでダウンロードできますよと。
はいはいはい。非常にシンプルですね。
で、ダウンロードへの直輪で70分。70分ね。まあまあいいですけど。
で、落としてきて回答するって形かと。
どれぐらいかな。
まあでも1ギガぐらいか。そこまで重たくないですね。
ポータブルスタンダードローンがありますよと。
で、GPU。あ、そうですね。
一応CPUでもGPUでも情報実行しますよってところをちょっと立てますね。
はい。
ちょっとこれであとは。
手動インストールもできますよと書いてますけど。
で、とりあえずインストールはそんな感じかな。
ほぼほぼ。
えっと。
Core MiHai UIのでサンプルスタンドローン。
そうですね。
基本的にはCore MiHai UIってグラフベースでいろんな処理というかですね。
そういうのをかけるよっていうような話であるのでですね。
まあこれがちょっと一応ですね。
で、これがですね。
これがですね。
これがですね。
これがですね。
これがですね。
これがですね。
これがですね。
かけるよというような話であるのでですね。
こちらの方でサンプルがいろいろあがっているっぽいですね。
これが一応公式のやつみたいな感じで。
わかりづれ。
おお。
わかりづれ。
なんか面白そうなのあるかな。
おとえば、3D
はい、はい、はい、はい、はい。
なるほどね。
はい、はい、はい。
あとこういうやつだったらどういうことをやってますかって話なんですが。
よこしょと。
流れとしては。
チェックポイントネームで これで ステーブルのゼロをモデルここで
引っ張ってきて こいつを場合として 入れといてあげといて 画像のほう
はどこから持ってくるかというと ロードイメージってやつから この
画像入れてねみたいな感じで このイメージとして持ってきます
よと 流れとしては このイメージ をこのステーブルゼロってやつ
それに入れてあげといて そこで ここで先ほどのモデルとイメージ
入れて あとはクリップのバージョン クリップビジョン クリップですね
クリップでのがいわゆるステーブル モデルのやつのテキストと画像
を紐づけてるようなやつぐらいの 感じで認識やっといてもいいか
と思いますけれども 少なくとも そんな感じで とりあえずモデル
関連のやつというふうに認識しと けばいいかと思います ABSインベッド
モデルっていうのがあって あとは その上でKサンプラーっていう
のが これでまずはステーブルゼロ さまざまな角度をコラボにつけて
いけますよと だからここでまず ステーブルゼロで この今入って
きた画像に対して 別の角度からの 画像っていうのを作るんだが それ
で このポジションとか ポジティブ かそうかそうか ここでまずコト
12:01
作って 前のデコレーション
こっちはさっきの一番右側の画像 あったと思うんですけど あれは
作られた画像何ですか
これが結局 先ほど言った このステーブルゼロの123っていう
やつが 入力に対して別の角度から 見た画像を作るよっていうやつ
らしいですね 角度どこら辺で指定 してんのかいまいち分かんない
ですが エレベーション エレベーション かな 多分 エレベーションで多分
このどっから見るみたいな角度 多分 この表面から見たやつと それ
を この被写体を中心にぐるっと 回転して見るみたいな感じで それ
でエレベーションの角度で指定 してんのかなというふうに思います
ね 例えばこれが3Dのやつですよ みたいな感じで ステーブルディフュージョン
だけじゃねえぞっていう感じですね 今もステーブルとか書いてました
けどもですね 当然ローラーみたいな やつまでやろうと思えばできます
よというような感じですね これは でもあれか ローラーローダー
ってやつで 既に登録されている ローラーを引っ張ってきて その
前やるってやつかな ローカルの 画像から引っ張ってくるような
やつはまた別なのかしら
なんかマスターピースベストクオリティ があるって書いてるっていうのは
そうですね これはクリップのエンコード のところで作ってて これどういう
ふうにやってるの さっきとでも 最後のほうにKサンプルやって その
倍のデコードやってるってところ は同じですね ここの前段のところ
がローラーのモデル4できてるって 感じかなになりますね そのクリップ
でテキスト持ってきてあげて 既に 登録されてるローラーって感じ
かな いろいろありそうですね ちょっと 試しにまずは開いてみる
か 重たいですね まあいいや すごい 重そうなんで 一旦ここら辺
のモデル見ながら雰囲気 もしくは チュートリアル的なものを探して
もいいかもですね
Docomi Fi UI 初心者向けが移動という ようなところで Docomi Fi UIって
何ぞやってる話なんですけれども ノードベースで先ほど言ったこういう
画像生成をいい感じにできるやつ ですよというようなところで インストール
先ほどのやつですね まさに落として 今 開こうと頑張っていますよという
ところで オートマティック1111は だいたいStable Diffusionで使おうって
なったときに 本当にPythonのGUIライブラリ のグレーリを使って UI使ってる
やつ作ってやるやつなんですけども だいたいStable Diffusion使うときは
これだよねっていうのがオートマティック 1111になりますんで 多分 それの
ことを言ってて それよりもDocomi Fi UIのほうがいろいろいいよね
って話です 何がいいかっていう と 私も使ってないんで 推測ですが
とはいえノードベースでいろいろ いじれるよねってとこですね オート
マティック1111はいわゆるメニュー でいろいろ設定をこにこにをやって
15:03
それで実行するっていうような 形になるので この結果をこいつ
に入れてとか 結構複雑なフロー をやる場合はDocomi Fi UIのほうが
普通に考えて 多分いいでしょう ねというようなとこですね まさに
そこら辺のことが書かれているか と思います Docomi Fi UIですが 一番
シンプルなやつがテキストから 画像を作るやつですよというやつ
ですね これまさにStable Diffusionの 一般的な作り方になりますよね
このテキストがいて それで画像を 作るってやつですね それのサンプル
っていうところ デフォルトのやつ がそれになっているんでってこと
ですね さっきのやつ これですね こいつが構成としては先ほどと
先ほどの今間違えた違いですね まず 一番左側のやつでこれモデル
引っ張ってきて モデルとあとクリップ と場合ですね 引っ張ってきてあげ
て あとはそれでヘッドクリップ のテキスト指定してあげて その
上でKサンプラーやって 場合の デコーダーやって 画像を作るよ
っていうところになります 個別 のそれぞれの詳細については
多分この後にいろいろ話します よというようなところですね 出力
パラメータ 最初のところ 一番 左側のやつですね モデルを選び
ましょうというようなところになり まして どのモデルでやりますか
というようなところですが Stable Diffusionのいろんなモデルあります
が それのどれを使うのかっていう ところが書かれてますよという
ところで このセーフテンサーって やつがモデルというかですね ダウンロード
して回答してあげて チェックポイント のモデルをダウンロードしましょう
ねというようなところになります よと まさにそういうことですね
Stable Diffusionのチェックポイント とかをComify UIのモデルズチェック
ポイントに配置してくださいよ Comify UIのモデルズ モデルズのチェック
ポイントに配置してくださいね とかですね ここ今 なんもないんで
ここに配置する必要があります 予定ですね
はい
でですね じゃあどれが一番スタンダード かっていうところなんですけれども
ですね Dream Shaper 8 何だこれ Dream そう ここら辺もう数多すぎてどれ
がいいんだか 今以上わかんない なという感じですね まあいいや
ちょっとこれ上がってるやつを ちょっと試しに落としてみましょう
かね ここら辺のモデルがバカ重 というかですね でかいんでどんどん
ハードディスクを占領していく っていうような感じのイメージ
はありますが まあいいでしょう 順調に落としてますね
それをあそこの場所に移動して って感じですか
そうですね それでまずはいける かと思います これをだんだんドロップ
いけるかなですね とりあえず何か一つだけでも配置
18:03
しましたよと コンビファイを使う 場合は先ほどのバッジファイル
ダブルクリックすりゃいけるよ っていう話でしたので これですね
この上のところですね 以上私の やつGPU積んでるんで NVIDIA GPUで
クリックしますと 少々お待ちください というような感じで 立ち上げて
で ソフトの更新もここの環境上 で行うことができます アップデート
のバッジがあるんで こいつをダブ クリックすりゃ こっちのほうかな
このコンビファイルをバッド バッド をダブクリックすりゃいけるはず
ですよと 立ち上がりですが 初回 っていうところもあるのかな ちょっと
時間かかってますね 少々お待ちください
おだしょー すみません 今日28分 ぐらいにちょっと退出します
おだしょー 分かりました
おだしょー ごめんなさい 超ギリギリ で
おだしょー 大丈夫です とりあえず 一旦立ち上げのとこまでやって
いましたよって感じで いいんじゃない かなと思います 実際立ち上がりました
よってところで どっかのタイミング でまたコンビファイル以外 ちょっと
使ってみるっていうのをやって みようかなと思います
おだしょー 今のこれって立ち上がった アレなんですか
おだしょー これローカルでウェブ のページとして立ち上げたやつ
になります 次回以降 ここら辺 実際にいじってみたりだとか さらに
いろいろ書いてみたりっていう のをやってみようかなというふう
に思います ちょっと場体的な感じ でしたが 意外とじわじわと進ん
でもらったかなと思います そんな 感じで あと あれですね 明日は
ちょっと振り返りなんで どっか のタイミングで振り返りの習慣
のやつ ちょっと書いておいてほ しょうかと思います
おだしょー 分かりました
おだしょー そんなところですか ね 特になければこれで終わりたい
と思います じゃあ お疲れさまです
おだしょー ありがとうございました 失礼します
おだしょー 失礼します
19:59

コメント

スクロール