1962年生まれ。プログラマー、IT系ライター、カメラマン(主にグラビア)と、三足の草鞋になってもう四半世紀。
API経由ながらStable Diffusion 3が利用可能に!
ComfyUIでControlNet(Canny/Depth/OpenPose)を使うには
ComfyUI使ってみたいけど…。
前回標準のWorkflowにLoRAを追加してみたが、今回は画像が出来た後、つまり後処理用のNodeを追加してみたい。
グラビアカメラマンでありソフトウェアエンジニアでもある西川和久氏による生成AI グラビア実践講座 第18回をお届けします
Stable Diffusionで生成AI画像を作る時、もっとも一般的なインターフェースはAUTOMATIC1111だろう。デファクトスタンダードと言ってもいいほどで、検索すると、インストール方法や使い方など、それこそ山盛り出てくる。ところが最近、ComfyUIがちょっとした人気だ。
Hand Refinerは2023年12月1日に論文、その後、2024年1月初旬にAUTOMATIC1111のADetailerとComfyUIで使用可能になった手(指)に関する新手法だ。今回ご紹介するHand Refinerはかなりロジカル。具体的には、画像から手を認識、認識した位置での形や5本指などリファレンスになる手を深度情報で取得、その深度情報を使って手をInpaintする、ざっくりこの3段構えとなる。
連載第13回目ではControlNetのCanny、Depth、OpenPoseをご紹介した。続きに入る前に軽くおさらいすると、ControlNetは指定した画像を使って、構図や絵柄、ポーズ、そして書かれている内容(Prompt相当)などを抽出し、生成する画像を固定する方法だ。
生成AIは技術の進歩/進化が凄まじいペースで数ヶ月前はもうかなり古い話になることもあり、今回はこれまでの13回分をまとめてみたい。
第9回にFooocus-MREを使ってControlNetをご紹介したが、一般的なAUTOMATIC1111での説明はまだだったので、改めて今回と次回で行いたい。
前回、連載11回目はSD 1.5用のModelとLoRAを主にご紹介した。12回目の今回は予告どおり、次世代 Stable Diffusion として表現力が格段に向上した SDXL用のModelとLoRA、そして+αをご紹介したい。
ここのところ、生成AI画像環境構築やアプリの使い方などで3回、顔LoRA制作…と少し重いネタが続いたので、今回は軽めの気になるModelやLoRAを作例と共にご紹介したい。
Modelに無い顔や彼女の顔を出したい!
■画像生成は出来たけど…何かもう一捻りしたい!