生成AIグラビアをグラビアカメラマンが作るとどうなる？第29回：知ってるとちょっと便利かも？なカスタムNode・ワークフロー特集(西川和久)

現役グラビアカメラマンでありエンジニアでもある西川和久氏による生成AIグラビア連載の第29回は、ちょっと便利なカスタム Node や Workflow の使い方について。すでに AUTOMATIC1111やComfyUIといったフロントエンドで画像生成を触っているユーザー向けです。

『生成AIグラビアをグラビアカメラマンが作るとどうなる？』連載記事一覧

生成AIグラビアをグラビアカメラマンが作るとどうなる？第一回：実在モデルで学習・LoRAでキャッチライト付加 (西川和久) | テクノエッジ TechnoEdge

ベテランのグラビアカメラマンである西川和久氏がAIグラビア生成を始め、撮影した実在モデルの写真から本人了承のもとトレーニングまでしていると聞き、始めたきっかけやAIとの付き合い方、始めてみたい人へのTIPSをまとめてもらいました。(編集部)

https://www.techno-edge.net/article/2023/07/11/1580.html続きを読む »

1つ何役？controlnet-union-sdxl-1.0

従来、ControlNetで例えばCanny、Depth、OpenPoseを使う時は、まずそれぞれのModelを選び、そして、それに該当するプリプロセッサと、2つ切り替える必要があった。分かっていれば大した問題でもないので、これはこれでいいのだが、最近、1本で

OpenPose、Depth、Canny、Lineart、AnimeLineart、Mlsd、Scribble、Hed、Pidi(Softedge)、Teed、Segment、Normal

など複数こなせる優れもの = ControlNet++ が登場した。AUTOMATIC1111での使い方は簡単！ここからModelをダウンロードし、controlnet++_union_sdxlへリネーム。ControlNetのModelが入っている models/ControlNetへコピーするだけ。

後は通常通り、ControlNetのパネルを開き、Preprocessorを設定、そしてModelにこのcontrolnet++_union_sdxlを選べばOKだ。

1	2
3	4

depth_anything
lineart_anime
openpose
softedge_head

上記はプリプロセスにdepth_anything、lineart_anime、openpose、softedge_headを選んだ例だが、Model側はcontrolnet++_union_sdxl固定になっている。精度も高く、これを使わない手はない。SDXL専用だが、是非試して欲しい。もちろんComfyUIでも作動する。

IPAdapterを簡単に扱えるComfyUI-Easy-Use

IPAdapterはComfyUIのWorkflow的に言うと、CheckpointとKSamplerのMODEL/model間に入り、動作的にはワンショットLoRA的な感じで作動する。つまり入力画像の特徴量を得て、即席の学習で絵柄を寄せる機能となる。

ただWorkflowや必要なModelをダウンロードするのが面倒で二の足を踏んでいたが、ComfyUI-Easy-Useと言うカスタムNodeを使うと、基本、Checkpoint(model)とimage(入力画像)をセット、後はpreset = IPAdapterの種類を選ぶだけで、必要に応じてModelを自動ダウンロードと、手間要らずで簡単に使える様になる。

ComfyUI-Easy-UseのEasy Apply IPAdapterを使ったWorkflow

次のWorkflowは、IPAdapter PLUSを使い特徴を得た上で、ControlNet / Depthを使い構図を固定。こうすることによってほぼコピー機が出来上がる(笑)。もちろん上記のcontrolnet-union-sdxl-1.0を使用。

ComfyUI-Easy-UseのEasy Apply IPAdapterに加え、ControlNet / Depthを追加したほぼコピー機的Workflow

なお、このComfyUI-Easy-UseにはInstantID、Fooocus Inpaint、IC-Lightなども簡単に扱えるNodeが含まれているので、興味のある方は試して欲しい。

前回ご紹介したKolorsにも対応と二度美味しい仕様になっている。なお筆者のGoogle DriveにWorkflowを置いたので、組むのが面倒な人はダウンロードして頂ければと思う。

ControlNet / Tileを使ったimg2img Upscaler

このネタは元々Redditにあったもので、試したところ非常に良いのでご紹介したい。ControlNet / Tileは、入力画像を高品質を保ったまま維持する…的な特徴を持つのだが、何に使えば？の答えがUpscaleになる。

過去にもTileを使ったUpscalerはいくつか見たものの、これはなかなかGood！面白いのはCheckpointにLighting系を使い処理を4 stepsで済ませていること。加えて最後に目だけADetailerしており、まさにグラビア/ポートレート向きになっている。

流石にWorkflowをスクラッチで組むのは無理だと思うのでここに置いてある。また、使用している各Modelは以下の通り(Bypassしている部分は含まず)。

dreamshaperXL_lightningDPMSDE.safetensors
4xRealWebPhoto_v4_dat2.safetensors
segm/PitEyeDetailer-v2-seg.pt
CN/TTPLANET_Controlnet_Tile_realistic_v2_fp16.safetensors (これは他のtileでも良い)

今回締めのグラビア

今回のお題はKolors and 田舎での夏休み！既にXに載せているのをそのまま掲載した。と言うのもこれを超えるのが出なかったから(笑)。

Promptは日本語で”二十歳の日本人美女,夏,海,西瓜,水着,田舎,笑顔”。本連載は基本水着NGなのだが、これなら水着だか何だかよく分からないので大丈夫だろう。タネが少し大きい以外はいい感じではないだろうか。

SD3対応のAUTOMATIC1111 1.10.0登場！

と、一通り書き終えたところでSD3対応のAUTOMATIC1111 1.10.0がリリースされたので少し触れておきたい。SD3対応以外ではいくつかのschedulers、samplerの追加と言った感じだ。パフォーマンスの向上や結構な量のBUG Fixも含まれるので、Updateしない手はない。

なお、SD3はSDXLなどと違い設定がある程度決まっているため、合わせないと変な絵が出るので要注意！

Sampling method: DPM++ 2M
Schedule type: SGM Uniform
Sampling steps: 28
CFG Scale: 4.5

とは言え、肝心のSD3は体の崩れが直った改訂版がまだ出ていない。そろそろ出て欲しいところ。

生成AIグラビアをグラビアカメラマンが作るとどうなる？第28回：SD3 Mediumその後と、KolorsなどポストSD的なtxt2imgモデルを試す(西川和久) | テクノエッジ TechnoEdge

SD3 Mediumその後

https://www.techno-edge.net/article/2024/07/18/3542.html続きを読む »

MSI グラフィックスボード GeForce RTX 4060 Ti VENTUS 2X BLACK 16G OC VD8623
￥78,109
(価格・在庫状況は記事公開時点のものです)

Amazon

GIGABYTE GeForce RTX 4060 Ti WINDFORCE OC 16Gグラフィックスカード、WINDFORCEファン2倍、16GB 128ビットGDDR6、GV-N406TWF2OC-16GD ビデオカード。
￥86,133
(価格・在庫状況は記事公開時点のものです)

Amazon