AIを使ってフォーカスの合っていない、または解像度が不足している写真を鮮明にする技術として、以前、GoogleがPixel 7に実装した「ボケ補整」を紹介しました。
関連記事：Pixel 7で昔の写真を鮮明に。AI「ボケ補整」を試してわかったその実力（CloseBox）
関連記事：iPhone 14 Proを買ったばかりなのにPixel 7を予約したただ一つの理由（CloseBox）
うまくいくものも多く、少しずつ楽しむつもりでいたのですが、鮮明にしたい数百枚の写真は一気に補整を終えてしまい、実はそれ以降、Pixel 7を使うことはなくなってしまったのでした。
それというのも、Googleの技術は期待していた顔以外の部分の高精細化が判別できるレベルではなかったからです。以前から使っていたReminiというiOSアプリの方が写真全体の高精細化が可能なアルゴリズムを追加実装していたこともあり、無理にPixel 7を使う必要はないかなと思ったのでした。
Googleフォトライブラリから直接操作ができるメリットは大きいのですが、顔の高精細化については、現時点ではやはりReminiに軍配が上がります。Googleがこの技術を改良したり、ローカルで動画まで高精細にできるようになったらまた使ってみたいと思います。
そんなときに見かけたのが、AIで古い動画を鮮明にするCodeFormerという技術についてのツイートです。
CodeFormerはもともとはGoogleのボケ補整やReminiのように、AIによって顔を高精細化する技術ですが、これを応用して動画にも適用できるようにしたものです。
コードも公開されており、Google Colabで利用できるほか、ローカルマシンで動かすこともできます。現在、M2 MacBook Airでやってみようと奮闘中なのですが、そんなときに、Reminiからお知らせが。
Remini Webというサービスを始めたそうです。
▲Remini Web
ReminiはiOSアプリですが、iPhoneでローカル処理するわけではなく、サーバにファイルを投げて、その結果を表示する仕組み。一方で、iPhone以外のプラットフォームでという要望も多かったようで、並行してWebサービスも提供するようにしたものが、このRemini Webというわけです。
ただWebサービスにしただけなら興味は惹かれなかったのですが、Remini Webは動画の高精細化にも対応。Reminiは初期段階では動画も部分的にサポートしていたのですが、いつの間にか静止画オンリーになって、使えなくなっていたのでした。それが使えるというのなら申し込む十分な理由になります。
料金は1週間で9.99ドルとそれなりに高額ですが、必要な期間だけ目一杯使ってキャンセルするというやり方もできますし、最初の7日間は無料。月額で24.99ドル、年額では249.99ドルと、割引率がアップします。
試してみた結果はこちら。
動画の高精細化はTopaz Video AIというAIベースの超解像アプリが知られていて、購入して試しているのですが、ハイレゾ化には効果あるものの、顔のディテールを補正する機能は弱く、こちらが期待したレベルではありませんでした。細かくパラメータを追い込んでいけばそれなりの結果を出せるかもしれませんが……。
▲Topaz Video AIには超解像だけでなく手ブレ補正機能もある
それに対して、Remini Webが描画し直した動画は、1986年の自分の結婚式で義父がVHSレコーダーで収録した妻の顔が、最新式のカメラで撮ったようなくっきり画像になっています。また逢えたような、こちらに話しかけてくれるような気になりました。
▲左がRemini Web変換前、右が変換後
CodeFormerでサンプルに挙がっていたヤングいしだあゆみに匹敵するかわいさ、いや、鮮明さではないでしょうか。
作例では解像度640×480ピクセルが1280×960ピクセルへと、縦横2倍に高精細化もされています。
Remini Webはなんでも高精細化できるわけではなく、顔が明確に映っていて、動画の容量が最大60MB、長さが最長で2分という制限があります。容量を抑えるために今回は8秒ほどの短いクリップですが、これからは妻が映った動画をトリミングしてはRemini Webに投げる日々が続きそうです。
CodeFormerのインストールがうまくいって動画補正が可能になったら、そちらとも比較してみようと思います。
AIベースの画像技術の進化によって、思い出補正がリアルにできるというのは素晴らしいことですね。
