生成AIグラビアをグラビアカメラマンが作るとどうなる?第29回:知ってるとちょっと便利かも?なカスタムNode・ワークフロー特集(西川和久)

テクノロジー AI
西川和久

1962年生まれ。プログラマー、IT系ライター、カメラマン(主にグラビア)と、三足の草鞋になってもう四半世紀。

特集

現役グラビアカメラマンでありエンジニアでもある西川和久氏による生成AIグラビア連載の第29回は、ちょっと便利なカスタム Node や Workflow の使い方について。すでに AUTOMATIC1111やComfyUIといったフロントエンドで画像生成を触っているユーザー向けです。

『生成AIグラビアをグラビアカメラマンが作るとどうなる?』連載記事一覧


1つ何役?controlnet-union-sdxl-1.0

従来、ControlNetで例えばCanny、Depth、OpenPoseを使う時は、まずそれぞれのModelを選び、そして、それに該当するプリプロセッサと、2つ切り替える必要があった。分かっていれば大した問題でもないので、これはこれでいいのだが、最近、1本で

OpenPose、Depth、Canny、Lineart、AnimeLineart、Mlsd、Scribble、Hed、Pidi(Softedge)、Teed、Segment、Normal

など複数こなせる優れもの = ControlNet++ が登場した。AUTOMATIC1111での使い方は簡単!ここからModelをダウンロードし、controlnet++_union_sdxlへリネーム。ControlNetのModelが入っている models/ControlNetへコピーするだけ。

後は通常通り、ControlNetのパネルを開き、Preprocessorを設定、そしてModelにこのcontrolnet++_union_sdxlを選べばOKだ。

1
2
3
4
  1. depth_anything

  2. lineart_anime

  3. openpose

  4. softedge_head

上記はプリプロセスにdepth_anything、lineart_anime、openpose、softedge_headを選んだ例だが、Model側はcontrolnet++_union_sdxl固定になっている。精度も高く、これを使わない手はない。SDXL専用だが、是非試して欲しい。もちろんComfyUIでも作動する。

IPAdapterを簡単に扱えるComfyUI-Easy-Use

IPAdapterはComfyUIのWorkflow的に言うと、CheckpointとKSamplerのMODEL/model間に入り、動作的にはワンショットLoRA的な感じで作動する。つまり入力画像の特徴量を得て、即席の学習で絵柄を寄せる機能となる。

ただWorkflowや必要なModelをダウンロードするのが面倒で二の足を踏んでいたが、ComfyUI-Easy-Useと言うカスタムNodeを使うと、基本、Checkpoint(model)とimage(入力画像)をセット、後はpreset = IPAdapterの種類を選ぶだけで、必要に応じてModelを自動ダウンロードと、手間要らずで簡単に使える様になる。

ComfyUI-Easy-UseのEasy Apply IPAdapterを使ったWorkflow

次のWorkflowは、IPAdapter PLUSを使い特徴を得た上で、ControlNet / Depthを使い構図を固定。こうすることによってほぼコピー機が出来上がる(笑)。もちろん上記のcontrolnet-union-sdxl-1.0を使用。

ComfyUI-Easy-UseのEasy Apply IPAdapterに加え、ControlNet / Depthを追加したほぼコピー機的Workflow

なお、このComfyUI-Easy-UseにはInstantID、Fooocus Inpaint、IC-Lightなども簡単に扱えるNodeが含まれているので、興味のある方は試して欲しい。

前回ご紹介したKolorsにも対応と二度美味しい仕様になっている。なお筆者のGoogle DriveにWorkflowを置いたので、組むのが面倒な人はダウンロードして頂ければと思う。

ControlNet / Tileを使ったimg2img Upscaler

このネタは元々Redditにあったもので、試したところ非常に良いのでご紹介したい。ControlNet / Tileは、入力画像を高品質を保ったまま維持する…的な特徴を持つのだが、何に使えば?の答えがUpscaleになる。

過去にもTileを使ったUpscalerはいくつか見たものの、これはなかなかGood!面白いのはCheckpointにLighting系を使い処理を4 stepsで済ませていること。加えて最後に目だけADetailerしており、まさにグラビア/ポートレート向きになっている。

ControlNet / Tileを使ったimg2img Upscaler
左Upscale前、右Upscale後

流石にWorkflowをスクラッチで組むのは無理だと思うのでここに置いてある。また、使用している各Modelは以下の通り(Bypassしている部分は含まず)。

  1. dreamshaperXL_lightningDPMSDE.safetensors

  2. 4xRealWebPhoto_v4_dat2.safetensors

  3. segm/PitEyeDetailer-v2-seg.pt

  4. CN/TTPLANET_Controlnet_Tile_realistic_v2_fp16.safetensors (これは他のtileでも良い)

今回締めのグラビア

今回のお題はKolors and 田舎での夏休み!既にXに載せているのをそのまま掲載した。と言うのもこれを超えるのが出なかったから(笑)。

Kolors and 田舎での夏休み!グラビア

Promptは日本語で”二十歳の日本人美女,夏,海,西瓜,水着,田舎,笑顔”。本連載は基本水着NGなのだが、これなら水着だか何だかよく分からないので大丈夫だろう。タネが少し大きい以外はいい感じではないだろうか。

SD3対応のAUTOMATIC1111 1.10.0登場!

と、一通り書き終えたところでSD3対応のAUTOMATIC1111 1.10.0がリリースされたので少し触れておきたい。SD3対応以外ではいくつかのschedulers、samplerの追加と言った感じだ。パフォーマンスの向上や結構な量のBUG Fixも含まれるので、Updateしない手はない。

SD3対応のAUTOMATIC1111 1.10.0

なお、SD3はSDXLなどと違い設定がある程度決まっているため、合わせないと変な絵が出るので要注意!

  • Sampling method: DPM++ 2M

  • Schedule type: SGM Uniform

  • Sampling steps: 28

  • CFG Scale: 4.5

とは言え、肝心のSD3は体の崩れが直った改訂版がまだ出ていない。そろそろ出て欲しいところ。



MSI グラフィックスボード GeForce RTX 4060 Ti VENTUS 2X BLACK 16G OC VD8623
¥78,109
(価格・在庫状況は記事公開時点のものです)
《西川和久》

Amazon売れ筋ランキング

西川和久

1962年生まれ。プログラマー、IT系ライター、カメラマン(主にグラビア)と、三足の草鞋になってもう四半世紀。

特集

BECOME A MEMBER

『テクノエッジ アルファ』会員募集中

最新テック・ガジェット情報コミュニティ『テクノエッジ アルファ』を開設しました。会員専用Discrodサーバ参加権やイベント招待、会員限定コンテンツなど特典多数です。