ワークフロー 始め方…どうやって始めればいい?

ArunSocket9

ROM専
登録日
2022年3月29日
投稿
106
リアクションスコア
0
まずは写真を作ってみて、そのあと動画も、って考えてる。手持ちの画像や動画を再現する感じだけど、全部初めてでさ。有料サイトにはまだ登録したくない。最初は足フェチ写真とかスカート内盗撮風から。フォトリアルな素材を試して作れる場所ってどこかな?
 
有料サイトに登録する気がないなら無料の選択肢があるけど、自分でローカルで作りたい(PCのハードだけで)なら、まずハードが必須。理想はNvidiaでVRAM 12GB以上(3060は除く)。

始めるならGoogle Aiに手伝ってもらうのが一番。俺は数週間で全部覚えた。画像の作り方、LORAの作り方、テキスト読み上げ機能付きのAIキャラの作り方、全部Google AIで。使ってるソフト用のAIガイドをGoogle AIに作らせることもできる。

必要な無限の忍耐力があるし、理解できるように何でも説明してくれる。Temperaturesとか、ディテール調整用のサブLora'sとか、頭に入れること多いからね。Command Prompt用の直リンクも出してくれるから、自分で探して間違ったバージョンを落としちゃうこともなく、時短になる。
 
確か12gbの3080 tiじゃなくて10gbのモデルのことだよね?3080は始めるには十分だよ、8gb VRAMのGPUに収まる始めやすいものが山ほどあるから、2gb余分にあるのは大きい。

3080でも絶対たくさん学べるし楽しめる。実際いい立ち位置で、VRAMの範囲内でやれば、最初の学習段階のあとに12gbのGPU(5070とか)で足りるって分かるか、小さいモデルで必要なものを見つけるのにめちゃくちゃ苦労するなら12gb VRAMでも足りなくて、結局16gb VRAMの5070 tiまで上げることになる。今は値段の差が大きいのが残念だけど。

ただ、学ぶこと・のめり込むことは超大量にある。例えば7.5GBのモデルは3070の8GB VRAMに収まるけど、UIやバックエンドもVRAMを食うし、VRAMを埋めすぎると反応速度が死ぬ。
 
関係ない質問なんだけど、AIプロフィールみたいにプロンプトごとに同じ顔と体を出すにはどうするの?LORAを作って学習させる必要ある?
 
そうだけど、Klingみたいなサイト/アプリは参照画像を使うだけでLORAを作らなくて済むんだよね。顔のディテールを拾うようにアルゴリズムがかなり学習されてるんだろうけど、自宅で参照なしで顔も体も一貫した画像を出したいなら、LORAを作る必要がある。

ただLORAを「学習させる」って言い方はよくわからない。LORA自体は学習しないし、トレーニングも要らない。フィードバックして自分で修正させることもできないし、ただ画像を食わせてそれを元に動くだけ。「作る」ほうは比較的簡単で、被写体をできるだけ多くの角度から撮った画像で構成するだけ。
 
みなさん、8GBの3070 Tiでそれなりの結果が出て、thisみたいな画像や短い動画、3Dやフォトリアル系を作るのに手間をかける価値があるソフトとモデルのおすすめある?ComfyUIを使うべき?それともGitHubにもっと簡単でいい結果が出るツールある?
 
ComfyUIは使えるUIの中で一番複雑で手動な部類。あらゆるオプションをいじれる分、壊しやすいから、初心者が最初に触るにはキツいし、最初は圧倒されると思う。

まずはStable DiffusionとFooocusみたいなツールで画像作りから始めて、どこまでいけるか試してみるといい。

特に3070tiでVRAM 8GBなら、試行錯誤は遅くなるから、まず基本を覚えて小さく始めたほうがいい。動画作成はまだ手をつけてないけど、最初は画像も指や目が崩れてぐちゃぐちゃに出ると思うし、動画も同じだよ。
 
一番簡単なのはRunpodだったな。civitaiにセットアップ済みのrunpodテンプレを配ってるユーザーがいて、画像を入れて、設定をいくつか変えて、loraを追加して、プロンプトを打って実行するだけで高画質の動画ができる。テンプレの名前は Yet another workflow。完全なガイドと動画ガイドもあるよ。まあまあ良い結果が出てるし、H3はプロンプトの拡張にびっくりするほど反応が良い。grokみたいに書いただけでそこそこの結果が出た。例えば女性の顔の画像を最初に入れて:「即座に新しいシーンにカット、彼女は全裸でベッドに横になって膝を抱えている、巨乳が揺れている、POVで男が正常位で彼女を犯している、チンポを奥まで突き込み、彼女は喘ぎながらこちらを見ている」みたいな感じ。

これでもかなり良い結果が出てるけど、ちゃんとプロンプトを書けばもっと良くなる。特に複数ショットのとき
 
自己学習6ヶ月をやり遂げたところ。

自分が知ってる無料サイトで、やりたいことができて気に入ってるのが2つあって…pornworksとperchance。ちゃんとプロンプトの書き方を覚えれば、マジで精度高くてパワフル。それが最初のステップだった。オンラインのwebアプリで欲しいものが出せるようになった時点で、その気づきには満足した。もう学ぶことがないって言ってるわけじゃなくて、むしろ山ほどあるし、自分もまだ始めたばかりだから、全体のイメージを1〜2文の基本的な文章で書いて、そのあと詳細を並べて、たとえばカンマ区切りのキーワードを使ってる。

そのあと技術のことをもっと知りたくなって、ebayで中古のEVGA GTX 1080TIを150ドルでゲットした。小さいモデルなら完璧に動くし、予算もかなり低く抑えられる。GPUがどれだけ良くても、世代が新しくても、定価以上払う意味がわからない。LUMOを使って、やろうとしてることを学ぶのに必要な(自分ではいい質問だと思ってた)質問を投げて手伝ってもらった。RAMは32GBで全部ddr4、超安い。システムを速くするためにNVMEで、大きいモデルの保管/loraのバックアップには追加のドライブを使ってる。

ハードが揃ったので、LLMについて、そして「エコシステム」に入っていくために学んで、知って、理解すべき正しい用語は何かを調べ始めた。範囲を考えてね、今は画像生成だけ勉強してるから、質問はかなり限定的。でも実はテキスト系のLLMから始めてて、LM studioをローカルで動かしてる。数学や科学、歴史の記録とかがすごく得意ないいモデルで、コードも書けて、それがめちゃくちゃ上手い。気になる人のために言うと、Qwen3.5 9B Uncensored HauhauCS Aggressiveモデルを使ってる。始めるには十分だと思う。

それとLUMOのおかげで、フレームワーク、ワークフロー、ノード、comfy UI、ローカルと非ローカル、テキスト生成LLMと画像生成モデルの違いとかを学べた…基本的なイメージができてから、他の人が何してるか見ようと1ヶ月くらいyoutubeの動画を見たけど、正直ここではあんまり役に立たなかった。ガイドを作ってる人の多くは動画が古すぎたり、ソフトが変わってて真似するとエラーが出たし、もっと大事なのは、上級者向けすぎて、自分に足りてなかった超基本のアホみたいに簡単な概念を説明してくれてなかったこと。

だからテキストLLMを続けつつ、comfy UIをインストールして、最初のモデルをRED-CIVIT.AIから読み込んだ。SD 1.5モデルで、GPUにもワークフローにも小さくて楽にするため。最初に思ってたほど圧倒されるものじゃなかったけど、それは一番基本的なマップ、つまりワークフローにこだわったからってだけ。必要なノードだけ使って、凝ったことは何もしてない。出力に何を期待するかも特になかった。ただバグやソフト、インストールの問題を回避しながらコツを覚えていって、ほとんどLUMOを使った。ウェブにアクセスできて最新情報に強いから、ソフトの最新アップデートやパッチ、変更とかを拾ってくれる。

今までの時間のほとんどは、実のところパソコン上に環境を正しく作って全部を整理しておくことに使ってた。一番基本的な構成が動くようになってから、ノードや、他人のワークフローをコピーした時のバグについて学び始められた(複雑だと悪夢だったよ、ちなみに)。だからLUMOを使い続けて乗り切って、SD 1.5で生成するのに必要なノードだけ使った。たしか5〜8ノードくらいだったかな、えっと、loraが入ってるやつだったと思う。text to imgだけなら6ノードくらい?今は見れない、まさに今loraを学習中だから。:D

話を戻すと、SD 1.5をマスターしてから、いろんなモデルやLORAって何か、スタイルやテーマについてもっと学んだ。Civit.AIだと何が手に入るか見やすいし、ちゃんと整理されてるから、そこで済ませた。自分のGPUで動くモデルとloraを調べて、存在するいくつかの違うアーキタイプ用にモデルを何個かダウンロードし始めた。pony、krea2、SD 1.5、SDXL、Illustriousとか色々あって、それぞれloraも少しだけ入れて、ディレクトリはきれいに整理して動くVENVの中に置いてる。これはlinux上のpython用ね。

それから各モデルタイプ用の一番基本的なワークフローを学んで保存した。loraあり/なし、テキストと一緒に画像入力あり/なし。だから今はどのモデルでも、loraありでもなしでもテキストから画像を生成できる。UNETやテキストエンコーダー、vae、カスタムノードみたいな出力をコントロールするいろんな方法を学んだのも言うまでもなく。

そのあとキャラクターloraを学習したくなって取りかかった。ネットにアクセスできて最新情報を持ってるから、またLUMOに案内してもらった。学習フレームワークのkohya_ssをインストールして全部動かして、ディレクトリツリーも整理して…で、今朝はV2のキャラクターloraを処理中。今朝、昨夜ひと晩かけて学習した自作loraを初めて使った。10時間かかった。悪くないなと思った。それでそのloraをテストして使ったあと、どう改善できるかまた聞いた。ピンポイントで効くんだけど強すぎて、実際強すぎるくらいで、柔軟性が限られてる。

最初の学習コマンドを少し調整して、同じデータセットでもっと柔軟なloraを作るための学習セッションを今走らせてる。

言い忘れてたけど、loraを学習する前にデータセットの作成と処理を覚える必要があった…それもプロセスの一部。もちろんやり方は無限にあるけど、基本概念を学べるシンプルな方法を選んだし、ターミナルの経験をもっと積むためにGUIじゃなくてCLIを使ってる。流動的で制御しやすくて細かく調整できるけど、最初のセットアップは少し複雑。windowsとkohya_ssでも使えるけど、それはGUIだし、自分はwindowsは使わない、もう10年以上使ってない。戻る気もない。

とはいえ、自分の進歩にはすごく満足してる。AIをガイドにすることに関して他人の悪いアドバイスは聞かないから。人に聞くとみんなAIにかなり否定的な意見を持ってるみたいで、その理由はわかる。自分も業界のAIファームはあんまり好きじゃなくて、電気をめちゃくちゃ食うから、できるところはローカルを使うようにしてる。とにかく諦めないで、ツールを使って、しっかり覚えて、道具箱にツールを増やし続けて。誰かの言うことは全部考慮に入れて、偏見は持たないで。目をそらしてなければ得られたかもしれないものを逃すことになるから。

自分に合うものが見つかるよ、それがアドバイス。
文法やスペルなどを修正して編集
 
うわ、すごいな。ローカルPCでNSFWのAIプログラムを動かそうと何時間勉強したか分からないけど、単語は半分くらいしか分からなくて内容は5%くらいしか理解できなかったよ。主要なプログラムをたくさんダウンロードしてざっと試したくらいで(ollama、crushonやjuicychatみたいな無修正NSFWチャットを作ろうとして、5時間かけてボロボロのチャットボット1体の出来損ないができただけw)、LM StudioやComfyuiなんかは全然ダメだった。

一番進んだのは、PinokioでFaceFusionを使ったかなりいい感じのフェイスswapくらい。ちょっと頭の悪いAI苦手な俺(PCスペックはそこそこ)に、これを全部どうセットアップして動かすのか教えてもらえたりしない?メインは手持ちの写真をNSFW/無修正で編集したくて、画像や動画の生成はおまけ程度。チャットの話は今はまだやめとくw
 
戻る
トップ