現時点で一般に使える最高レベル動画生成AI、Luma AIの「Dream Machine」に新しい機能「Keyframes」が投入されました。プロンプトでの指定以外に、2枚の参照画像を入力し、それを始点と終点にできる、ある意味モーフィング的な機能です。
Dream Machineは高性能ではあるのですが、学習データが欧米に偏っているためか、日本人の画像を元にしても途中で欧米人に変身しがちという問題がありました。このため、欧米化する直前のところまでしか使えず、5秒間やそれをExtendした10秒といった長尺の動画は絵に描いた餅状態でした。
こうした「別人化」「欧米化」問題がこれで解消するか、実際に検証してみました。
■2枚の銀塩写真から動画を作る
同じときに撮影したこの2枚の写真をキーフレームの始点と終点にします。最初の画像を入力すると、End Frameの入力が可能になります。
（▲最初の画像を入れると、End Frameの画像入力が可能になる）
プロンプトを入れると、動画の生成が開始されます。所要時間はほとんど変わりないようです（約2分）。
結果はなかなか良いです。撮影した場所はこんなに広くはなく、こんな歩き回ったりはしてなかったのですが、「欧米化」はほとんど感じません。
今のところ、フレームの指定は最初と最後の2枚だけですが、Extend（延長）するときにはさらに追加できるとありがたいと思いました。
この例ではうまくシーンがつながりましたが、必ずしもそうなるとは限りません。限られた5秒という枠では不自然なつながりになってしまうことも考えられます。
そんな時は無理をせず、シーンを切り替えてくれます。
次の例は、同じときに撮影した写真ですが、少し離れた場所です（1981年ごろの巣鴨近辺）。
（▲撮影場所が少し離れている場合はどうなるか）
電柱がおかしくなったり動きに不自然な部分はありますが、笑顔になるところなど、顔の造形に関してはかなり満足できます。
これまでは欧米化のせいで何度試しても上手くいかないことがありましたが、このキーフレーム補完はかなり歩留まりが良いです。特にアジアの人々にとっては大きな恩恵となるでしょう。ポージングを変えられる別のAIツールを使えば、1枚の写真からでも欧米化せずに動画が作成できると思います。
もう1例。妻が長男出産直後の写真2枚をキーフレーム処理したもの。8mmムービーカメラを買ったのはこの後なので、動画は残っていないのです。
これがちゃんと繋がる一連の動きとなっています。そうか、左手をテーブルに置いて支えてから立ち上がったのか。
FUJICOLOR 87というのが残ったまま動画になっているのは面白いです。
もう1組の写真を試してみました。こちらは長男がお腹にいる頃の写真で、最初の数回の試行では別々のシーンとなっていたものです。写真がランドスケープとポートレイトだから難しいのかなと思っていました。
プロンプトをカメラへの指令「camera turns to right and focus on a girl」だけにしたところ、うまく中割りが生成できました。
この続きをExtendにしてみましたが、それだと欧米化してしまったので、顔のコンテクストを保持しているわけではなさそうです。
■1枚の写真しかなくてもキーフレーム処理できる
1枚の写真から高い一貫性を持った別のポーズの画像を生成する、fofrさん開発によるconsistent-characterというソフトがあります。
これを使うと、元の写真が1枚しかなくても、Keyframesで使える画像を生成できます。
試しにこれでやってみましょう。
元はモノクロ写真をPhotoshopでカラー化したものです。
これを起点として、終点のフレームに、consistent-characterで生成した画像を入れます。
これをキーフレーム処理すると、シーンは切り替わりますが、人物としての一貫性は保った動画が生成されました。指のところは怪しいですが……。
複数枚の写真が残っている場合でも、そうでなくてもかなり面白いことができそうです。
先日、Dream Machineを活用した2本のミュージックビデオを作ったのですが、この機能があったらもっと楽だったのにと思わないではないです。5秒中の2、3秒しか使えないものをFinal Cut ProのAIスローモーションで誤魔化しているところだらけです。
でも、こうした新しい機能追加によって、これまで不可能だった写真の動画化への道が広がるのはうれしいですね。
