筆者が今一番使っている生成AIサービスはRunway Gen-3です。1回の生成で10秒の動画を、Alpha Turboならば20秒未満で生成してくれて、これで十分という感じで、Unlimitedプランのおかげで暇があればFLUX.1やImageFXで作った画像からImage to Videoで動画を量産しています。
そんなRunwayへの不満というか要望はやはり、動画の長さ。一挙に10秒は作成できるけれども、その動画を延長することができたら……。そんな要望に応えてRunway公式からXにこんな投稿がありました。
最大で40秒、一続きの動画生成ができるというのです。といっても最初から40秒のオプションがあるわけではなく、1回の指令で生成できるのは従来通り5秒か10秒。ただ、続きをスムーズに生成し、しかもその都度、新しいプロンプトでシーンを変えることができるのです。
■使えるのはGen-3 Alphaだけ
注意しなければならないのは、これはGen-3 Alphaの機能であって、より高速なAlpha Turboにはまだ実装されていないという点。
Gen-3 Alphaで一度生成すると、生成された動画の左下に、Extendというボタンが表示されます。リップシンクが可能な人物の場合にはその右側にLip Syncというボタンがあります。
▲生成した動画の左下にExtendボタンが表示される
Extendボタンを押すと、左上の画面がExtendモードに変わります。
▲画面左上にExtend表示
プロンプトが別途入力可能になり、生成する動画の長さは5秒と10秒から選べます。どちらか選択してExtendボタンを押すと、続きが生成されます。
さらに延ばしたい場合は同様に動画の左下のExtendボタンを押して同じ作業を繰り返します。
Extendができるのは最大40秒まで。そこで、Video cannot be extended furtherと表示され、続きの生成はできなくなります。
▲40秒に達すると、Extendボタンが無効となる
プロンプトで展開を指示できるので、映像センスのある人なら大いに活用できそうです。
■40秒のリップシンクができるのだ
筆者はそういうセンスを持ち合わせていないのですが、40秒動画には大きなメリットがあります。それはリップシンク。
Runway Gen-3は、顔やシーンが動いていても表情豊かに口パクをしてくれるという優れものですが、これまでは10秒までという制限がありました。このため、口パク用のオーディオデータを10秒未満に分割し、出来上がったクリップを繋げていました。
40秒までの動画ができるとなると、VerseやChorus単位での歌唱をそのまま1クリップの動画にできることになります。
試してみました。40秒に到達してもLip Syncボタンが生きてますね。
▲40秒になってExtendできなくなってもLip Syncはできる
画像は、ギターを持って歌っている女性シンガーというプロンプトでImageFXにより生成。彼女に、Udioで生成したアコースティックギター弾き語り曲を歌ってもらいます。
もう1つ、作例。
さらに。こちらは3回生成したクリップをつなげてみた。リップシンクの作成コストが下がり、余力が生まれた分で別のカットを使えた。かなり自然になったと思う。
Gen-3 Alphaは途中で顔が欧米化するなど人物の一貫性には課題があるので、Alpha Turboにも実装してほしいのですが、他の機能も後で追加されたのでいずれ使えるようになるでしょう。
これで、ミュージックビデオにおける口パク画像を細かい10秒ごとのカット割を使わずに落ち着いた映像で見せることが可能になります。
それにしても、まったく公開される様子のないSora。最大のポイントの一つである「最長で60秒の動画」まで、あと20秒です。
そうそう。今日は自著の「Suno AIではじめる音楽生成AI入門」の発売日。ミュージックビデオの作り方についても解説しているのですが、Runwayなどについては動きが速すぎて触れていません。その判断は正しかったようです。
