NTTは一般的なデジタルカメラでハイパースペクトル画像を撮影できる技術を開発したと発表しました。
ハイパースペクトル画像とは、被写体の反射光を多数の波長に分光して撮像したイメージのこと。撮影の仕組み自体は通常のRGBカメラと同じですが、RGBカメラが目に見える3バンド(赤、緑、青)の波長情報を1枚の平面画像として記録するのに対して、ハイパースペクトルカメラは数十から数百バンドの波長情報を記録できます。
得られたハイパースペクトル画像は波長の情報をバンドの数だけ層状に持っているため、一つのイメージは数十から数百枚の塊(データキューブ)となっています。
多数の波長情報を記録することで得られるメリットは、特定の色を吸収する物質の有無を調べることで、被写体の成分や量などを直接触れることなく、非破壊で調べられる点にあります。
活用分野の一例としては、食品検査の領域における食物鮮度や異物混入の有無の調査などが挙げられますが、被写体の表層だけでなく、その性質までも撮影できるという特性から、農業や医療診断、芸術研究、科学捜査、環境モニタリングなど幅広い分野で応用されている技術です。
従来のハイパースペクトルカメラは、撮影方式によって解像度や感度、フレームレートが極端に低くなってしまうほか、カメラ自体に特殊な機構を搭載する必要があるために大型化が避けらず、結果として利用可能な領域が限られることが課題となってきました。
NTTが開発した新技術では、数百ナノメートル単位のきわめて微細な構造が並んだ「メタレンズ」と、得られた画像から高解像度のスペクトル画像を再構成するAIによって、ハイパースペクトル画像を取得しています。
メタレンズとは、ナノスケールの微細構造により材料本来の特性では実現できない光学特性を実現するレンズのこと。今回NTTが開発したメタレンズでは、それぞれの構造体を精密に設計、作製することで、光の波長ごとに全く異なる機能を持つようデザインされたレンズとして機能させられるとしています。
このメタレンズを通常のデジタルカメラに装着して物体を撮影すると、物体の形状や波長情報を圧縮して記録した「圧縮画像」が取得できます。これをハイパースペクトル画像特有の特徴や性質を学習したAIに復元させるという仕組みです。
今回の発表では実際に一般的なデジタルカメラとメタレンズを用いたハイパースペクトル画像の取得に世界で初めて成功したとしており、実験の結果、HD解像度かつ30fpsの動画を記録し、可視光から近赤外光にわたる45バンドのハイパースペクトル画像が得られました。
この方式ではカメラの大型化を抑え、性能を犠牲にすることなく、将来的にはスマートフォンなどに搭載しているデジタルカメラを自然に拡張してハイパースペクトル画像を得ることが可能になるといいます。
ただし、この方式における「復元」とは、AIが圧縮前の状態を推定してハイパースペクトル画像を得るということであり、最終的には光学的な「撮影」の結果得られたものではないため、推定結果についてはその精度が問題になります。
今回発表された技術は、基本原理の確認が完了した段階です。次はユースケースへの適用実験を通して、ハイパースペクトル画像の再現精度が十分であるかの検証と技術の改良、実用化を目指すとのこと。
スマホに復元用のAIソフトを入れて、ハードウェアとしてメタレンズを実装すればすぐ撮れちゃうじゃん、というわけにはいかないようです。
なお今回の実験でハイパースペクトル画像の撮影に用いられたメタレンズの技術は、従来よりカメラレンズの設計を刷新するものとして期待されています。
一例としては、微細な構造体が光の向きを制御することで歪曲や収差を補正し、従来は複数のレンズを組み合わせていたカメラ用レンズの厚みを抑えることも可能といわれています。
これは例えば、現行のスマートフォンにみられるようなカメラユニット部分の出っぱりを、性能そのままで完全にフラットにできる可能性を示しています。
