1枚の人物画像から動画を生成するImage to Videoの機能を持つ高性能AIモデルが4種類、揃いました。
Luma AI Dream Machine、Runway Gen-3 Alpha、KLING、Vidu。これらを同じ人物写真（画像）、同じプロンプトで比較してみます。
どのAIを使えばいいのかの参考になれば幸いです。
使った画像は、Stable Diffusionで生成した1305 x 870ピクセルのJPEGファイルです。
プロンプトは「a girl is looking at the camera. Wind is blowing her hair」を使用。
■Luma AI Dream Machineの多様なImage to Video
まず、Soraクラスの動画生成AIを初めて一般ユーザーが使えるようにしたLuma AI Dream Machine。欧米化は起きていませんが、顔の輪郭がちょっとおかしいのと、指の形が変形しています。
Luma AIのDream MachineはImage to Videoでは最も進んでいる機能を持っています。Start FrameとEnd Frameの2枚の画像を入力し、その間の中割りを生成するというもの。また、1枚の画像からループを作ることもできます。
先ほど生成した動画から、指の形が不自然になる直前のフレームを画像として保存し、End Frameにして、中割りをしてみました。
これで、不自然さを回避して5秒のクリップを作ることができました。
ループを使うとどうなるか。
指の不自然さはうまく隠れましたが、顔のアングルが変わることで欧米化現象が少し発生してしまいました。
End Frameのみを設定し、そこに至るまでの5秒間を生成することもできます。
Dream Machineはこのように、Image to Videoでもさまざまな手法が利用できるので、最初から完成品が出なくても回避する方法が存在するのはありがたいです。試行錯誤は必要ですが。
■Runway Gen-3 Alphaのリップシンクは唯一無二
次は動画生成AIでは古株のRunway。Image to Videoは先代のGen-2から出来ていましたが、最新のGen-3 AlphaではImage to Videoで10秒の生成が可能です。
入力した画像は1280x768ピクセルにクロップされてしまいますが、10秒生成は便利。アップにしたときのディテールも見事です。
リップシンクも可能。再度同じ画像から生成した動画をリップシンクモードにして、オーディオデータを与えて生成。オケ付きの音声に差し替えたものがこちら。
4つの先進モデルの中でリップシンク機能を持っているのはGen-3 Alphaが唯一なので、多用してしまいます。リップシンクは一回ではできず、100クレジットで一度生成し、それをリップシンクするには再び100クレジットを使うので、なかなかお金がかかります。
■KLING、アジア系Image to Videoでの安定感
中国製動画生成AIのKLINGは、アジア系の顔に強いモデルです。Text to Vodeoでは10秒生成が可能ですが、Image to Videoでは5秒のみ。
ショートボブに見えて、実は後ろにロングが隠れていたという驚き。映像的には文句ないです。
元画像からの逸脱度を数値設定できたり、ネガティブプロンプトを入れられたりと、制御系には強そう。カメラコントロールもあるのですが、Image to Videoには使えません。
10秒以上の生成ができるとかなりうれしいです。
■Viduは大胆なカメラワークでもアジア系人物の一貫性保つ
この4つの中でも最も遅く一般公開されたViduもまた、中国産のImage to Video可能な動画生成AIです。4秒または8秒の動画生成ができます。
ダイナミックなカメラワークが特徴ですが、アジア系でも途中で顔が大きく変わることはないので、一貫性を保ちたい時には重宝します。
注意しなければならないのは、最初の生成ではダウンロードしてもウォーターマークがついたまま。いったんアップスケールしてダウンロードする必要があるので、生成に少々お金がかかるという点でしょうか。
■まとめてミュージックビデオに
この4つのAIサービスで生成した動画をまとめてミュージックビデオにしてみました。Runway Gen-3 Alpha、Luma Dream Machine、Vidu、KLINGの順です。それぞれかなり傾向が違うのがわかると思います。
