アドビが生成AIアプリ Adobe Firefly の新機能と新料金プランを発表しました。
動画生成モデル Firefly Video Model がパブリックベータ版になり、「安心して商用利用できる唯一の生成AI動画モデル」として誰でも利用できるようになりました。
Fireflyの動画生成は、テキストから1080p動画を生成できることに加えて、静止画を動かす参照画像機能、最初と終わりに画像を指定して連続性を保つキーフレーム、カメラアングルやモーションパスの細かな指定といった機能を備えます。
(動画:Firefly Video Model出力例。プロンプト:a car on a windy road that is driving towards the sunset made of clay, claymation. On the horizon you can see a rocket taking off, leaving a train of white smoke.)
Firefly はすでにテキストや参照画像・スタイル指定から画像生成の機能を提供しているため、望みの画像を生成してから、カメラの動き等を指定して動画化することもできます。
Adobeが「安心して商用利用できる唯一の」と称する理由は、学習元データにパブリックドメインの素材や、権利関係をクリアしたストック素材を用いていることから。

Fireflyにはこのほか、動画や音声クリップ中の喋りを本人の声質やリズムを保ったまま多言語に翻訳する「音声を翻訳」「動画を翻訳」、3Dスケッチツールで球や立方体といった3Dシェイプを配置して画像生成のガイドとし、正確な構図や構造を指定した高解像度画像を生成できる「シーンから画像生成(ベータ)」など、多くの新機能が加わりました。
「動画を翻訳」では、本人の声質やテンポ、トーンを保ったまま、まるで本人が喋っているかのように多言語翻訳が可能。コンテンツの国際展開をサポートします。

「Scene to Image (シーンから画像生成)」は、まず3Dスケッチアプリでシンプルな形状を並べ、組み合わせて構図や立体構造を決め、そちらをガイドに画像を生成する機能。

AI画像生成では、プロンプトには従っているものの構図が思いどおりにならない、立体形状に基づかないため配置や形状に破綻があるといった問題がよくあります。
シーンを先に作り、配置や構図を決めて画像化することで、高解像度のAI生成でありながら、正確に指定どおりにあわせることが可能。シーンは自由に視点変更もできるため、こちらで開始と終了のキーフレームを作り、動画生成に回すこともできます。
新たな料金プランとして、月額1580円で2000 動画 / 音声クレジット (1080p 5秒動画 20本分)のスタンダードプラン、4780円で7000動画/音声クレジット(1080p 5秒動画 70本分)の Proプランを提供します。
画像生成やベクター機能については、どちらのプランでも無制限。今後はさらに上位のプラン Adobe Firefly Premiumも提供予定です。
(動画:Firefly Video Model出力例。プロンプト:A majestic male lion yawns while surveying his domain from a rocky outcrop at sunrise, golden light illuminating his mane. Shot with a Nikon D850, 600mm f/4 telephoto lens, capturing the intricate details of his fur and expression, photorealistic, National Geographic quality, dramatic composition..)
最近は職業AIアーティストの編集部松尾氏が試したインプレはこちら。