生成AIグラビアをグラビアカメラマンが作るとどうなる？第34回：FLUX 1.1 [pro]出たけど… / 表情を自在に操るAdvanceLivePortrait (西川和久)

現役グラビアカメラマンでありエンジニアでもある西川和久氏による生成AIグラビア連載の第34回は、画像生成モデル FLUX. 1.1 [pro]事情と、表情を自在にコントロールできるAdvancedLivePortraitについて。

生成AIグラビアをグラビアカメラマンが作るとどうなる？第33回：FLUX.1登場から約2ヶ月(西川和久) | テクノエッジ TechnoEdge

FLUX.1登場から約2ヶ月経った現状

https://www.techno-edge.net/article/2024/10/05/3741.html続きを読む »

生成AIグラビアをグラビアカメラマンが作るとどうなる？ 連載記事一覧

■ 10月2日FLUX 1.1 [pro]発表！でも使用はAPIのみ

10月2日、BlackForestLabsがFLUX 1.1 [pro]を発表。freepik AI などで利用可能になった。つまりオープンではなく、対応各社のサービスかAPI経由での利用となる。FLUX.1が8月2日なので約2か月でのアップデートだ。

アカウントを作るといくつかはフリーで作れるものの、一定量を超えるとサブスク契約へ…となり、下記に一応作例を掲載したが全く詰めきれないまま試用が終わってしまった。

LoRAもControlNetも使えない環境にお金を払ってまでとは個人的に思わないため、以降、FLUX 1.1 [pro]は触っていない。

▲画像：freepik AIでFLUX 1.1 [pro]を使って生成

▲画像：FLUX 1.1 [pro]作例

うがった見方であるが、FLUX.1 [pro]と[dev]はそこまで大きな差が無く、結果あまり使われず(=儲からず)、[dev]と明らかに性能差がある1.1 [pro]を送り出したのでは？

そんな中、FLUX.1 [dev]を1.1 [pro]風にする面白いLoRA、その名も FLUX [pro] 1.1 Style Lora が登場した。strong版とlight版の二種類あり、名前の通り前者の方が強目に出る感じだろうか？

もちろんFLUX 1.1 [pro]はAPI経由しか使えず、直接LoRAを作る手段は無い。ではどうやったのか？と言うと、FLUX 1.1 [pro]で出力した画像をdatasetにして学習したとのこと。なのでFLUX [pro] 1.1 ”Style”なのだろう。以下、作例を2パターン掲載する。

1. FLUX.1 [dev]

2. FLUX.1 [dev] + FLUX [pro] 1.1 Style Lora / 0.8

3. FLUX.1 [dev]

4. FLUX.1 [dev] + FLUX [pro] 1.1 Style Lora / 0.6

如何だろうか？FLUX.1 [dev]は背景ボケが強く、全体的に柔らかい感じ。FLUX [pro] 1.1 Style Loraを当てた時は、カチッとした雰囲気になる。確かにFLUX 1.1 [pro]を試した時も似た様な印象があったので、効果はあるようだ。興味のある人は是非試して欲しい。

■ 表情を自在にコントロール = AdvancedLivePortrait

AIで画像生成中に「少し視線が」とか、「少しだけ右に向いていれば」…惜しい！と思ったことはないだろうか？Seedを固定してPromptを触っても、効果が出ない、他のところが変わるなど、Stable Diffusion固有の厄介さがある。

これをimg2imgの様に、画像を与えるだけで簡単に調整出来るのが AdvancedLivePortrait だ。論より証拠。まずDemoサイトを開いて欲しい。

左側で画像をアップロード、その下にコントロールがあり、表情に関しては

• HEAD
  Rotate Up-Down / Rotate Left-Right turn / Rotate Left-Right tilt

• EYES
  eyebrow / Blink / Wink / Pupil X / Pupil Y

• MOUTH
  　Aaa / Eee / Woo / Smile

と各項目、細かく調整可能になっている。口の形を「あ」「い」「う」に出来るのがちょっと面白い。以下、4つほど作成を掲載する。

▲画像：顔を右に向ける

▲画像：顔を斜め右に向ける

▲画像：眼を右に寄せる

▲画像：口を「う」に

如何だろうか？元画像は本物の写真でもOK。これだけ触れれば、色々な表情を作れるはずだ。ComfyUIのCustom Nodeもあり、Wokflowで自在に操作も出来る。

▲画像：AdvancedLivePortrait を使ったConfyUIのWorkflow。イメージ的にはimg2imgと似ているので、Node構成自体は簡単(Modelは初回自動ダウンロード)。顔下、眼上、口”う”

注意点としては、構図やポーズなどにもよるが、限界を超える様な指定を行うと、当然ながら顔は崩れる。ほどほどな感じで使って欲しい。

もう1年以上、Stable Diffusion関連にハマっているが、その間、試した中ではトップ3に入る実用的機能。是非試して欲しいと思う。

■ 今回締めのグラビア

今回の締めのグラビアは、上記の FLUX [pro] 1.1 Style Loraを使ったものだ。そろそろHalloweenなのでカバーも含めこんな感じに。カバーもグラビアも2MP。

生成AIグラビアをグラビアカメラマンが作るとどうなる？第十回：実在モデルからSDXL用顔LoRAを作る (西川和久) | テクノエッジ TechnoEdge

Modelに無い顔や彼女の顔を出したい！

https://www.techno-edge.net/article/2023/10/18/2106.html続きを読む »

▲画像：FLUX [pro] 1.1 Style Loraを使ったHalloweenグラビア！

去年はSDXLで作ったが雲泥の差となった。一年後にここまで来るとは誰が思っただろうか？しかもSD系では無くFLUX！来年は間違いなく生成AI画像と実写の区別がつかなくなるだろう。

生成AIグラビアをグラビアカメラマンが作るとどうなる？ 連載記事一覧

テクノエッジ編集部では、当連載の筆者 西川和久氏を講師に迎えたオンラインの参加型ワークショップ『生成AIグラビア実践ワークショップ』を定期的に開催しています。

話題の高性能AI「FLUX.1」実演も。「Stable Diffusion」の基本から最新技術まで学べる。グラビアカメラマンが教える、生成AIグラビア実践ワークショップ（第2期第5回）を8月21日開催。参加者募集します

参加は有料のチケット制ですが、テクノエッジの会員コミュニティ『テクノエッジ アルファ』に加入していれば追加費用なしで参加できます。

アルファ会員はこれまで開催してきた生成AIグラビア実践ワークショップ過去回のアーカイブ動画や資料もすべて追加費用なしでアクセスできます。

テクノエッジ アルファにはこのほか、生成AIや最新ガジェットなど様々な話題で情報交換や交流ができるDiscord上の会員限定サーバ、『Vision Proパーティー』などイベント参加が無料、会員限定イベント招待、携帯電話研究家 山根康宏氏と矢崎飛鳥による最新スマホのディープな話に参加できる『ハカセとアックンのスマホ沼』、謎チャンネル『Ittousai隔離室』など、さまざまな特典や限定コンテンツを用意しています。ぜひご参加ください。

会員制コミュニティ『テクノエッジ アルファ』第二期会員の募集を開始します