一貫したキャラクターAI動画生成が超簡単に。LoRAいらず、参照画像1枚だけでいいなんて（CloseBox）

中国産の動画生成AI「Vidu」に、Reference to Videoという新機能が加わりました。AI動画生成でObject Consistency、つまり対象物の一貫性を保つことが可能になったのです。

動画生成AIサービス四天王のRunway Gen-3 Alpha、Luma Dream Machine、KLING、そしてViduはいずれもImage to Videoが可能です。

つまり、動画の始点または終点となる画像をLoRAやDreamBoothなどのファインチューニングで一貫性を持たせていれば、キャラクターの一貫性を保つことは可能です。

しかし、比較的学習が容易なLoRAでも10枚程度の同一キャラクターの画像は必要で、元画像が1枚しかない場合には、できないわけではありませんが、いろいろと工夫が必要です。

これが、ViduのReference to Videoの場合は、レファレンス、つまり参考にするキャラクターを含む画像が1枚あれば大丈夫。

■1枚の写真から動く坂本龍馬

例えば、唯一残っているとされる坂本龍馬の写真をPhotoshopでカラー化した画像をレファンレンスにして動画生成してみましょう。

▲Photoshopでカラー化した坂本龍馬の写真

ViduのReference to Videoタブでこの画像を読み込んでオブジェクトとして指定し、プロンプトを書きます。今回は「ニューヨークのダウンタウンを侍が歩いている」。

▲坂本龍馬の写真をレファレンスにしてプロンプトで動画生成

ニューヨークを坂本龍馬がかなり自然な感じで歩いています。

戦闘シーンも、同じレファレンス画像のままでできました。

▲ニューヨークで戦う坂本龍馬

■動物も動きます

動物もOK。20歳まで生きた、我が家の最後のネコ「めそ」が池のそばを歩いています。彼は家猫だったので、一度も外に出ることはなかったのです。

特定の時期の姿での動画生成も簡単です。LoRAだと中間的な顔になるので、それよりも個性が出やすいと思います。

従来は、一貫したキャラクターを出したい場合にはLoRAを多用するしかなかったのですが、この機能を使えば、ストーリー性のある動画を作るためのハードルがかなり下がります。

従来と同じく長さは4秒と8秒から選択。品質は速度優先と品質優先を選べます。

8秒 + 品質優先にすると16クレジットが飛んでいき、さらにウォーターマークを外すのに追加で8クレジット必要と、なかなか金食い虫ではありますが、超便利です。