今回も少しApple Vision Proの話をする。といっても、Vision Proの話だけをするわけではない。Vision Proで改めて注目された「空間に配置する」という概念について、少し深く考えてみよう。
この概念、文章ではよく出てくるが、実際に体験したことがある人はまだ少ない。
というわけで、過去の機器で「空間に配置する」という要素がどう扱われ、Vision Proでどうなっていて、さらにMeta Quest 3が今後どうなる予定なのかについて整理しておきたい。
Vision Proは「空間を把握している」
Vision Proが「空間コンピューティング・デバイス」と言われる理由は、いわゆる「Mixed Reality（MR）」の仕組みを使い、自分が見ている空間の中にオブジェクトを配置できることにある。
記事や広告でよく見るのは次のような画面だろう。内蔵のカメラから得られた外の映像にアイコンが重なっている。
▲Vision Proでの画面。背景にアイコンが重なって見えるお馴染みのもの
これは、カメラ＋距離センサーによって立体構造が把握されており、「その中のどの深度に重ねればいいのか」ということをOS側が把握して処理しているからできることだ。
以下の画面は、Vision ProでYouTubeの動画を「テレビの中」で見られる「Television」というアプリのもの。昔懐かしい大型のブラウン管テレビを置いてみた。ちゃんと机の上に置かれていて、よく見るとブラウン管の曲率に合わせて反射もある。
▲Vision Pro用アプリ「Television」。その名の通り、空間に好きなデザインのテレビを置き、その中でYouTubeを再生する。よく見ると画面もブラウン管らしく湾曲している
ウィンドウを空間に浮かべておけるのも、すきな場所に配置できるのも同じ理屈に基づく。
▲ウィンドウを好きな位置に置いておける
これはどういうことなのか？
以下の画像は、Vision Pro専用アプリ「A Magic Room」を使い、visionOSが把握している「周囲の立体構造」を可視化したものだ。この作業をリアルタイムで行なっているので、「机の上にものを置く」ということも可能になっているわけだ。
▲「A Magic Room」というアプリを使い、visionOSが把握している「周囲の立体構造」を可視化
この周囲の構造を把握する機能は、家の中を移動しても有効となる。例えば、Vision Proをつけたまま隣の部屋へ移動したとしよう。アプリのウィンドウやオブジェクトは「配置した場所」に置かれたままとなる。現実の世界では、自分に椅子や机はついてきたりはしないわけだが、それと同じと考えていい。部屋に戻ってくれば、元の位置にウィンドウが見えてくる。
ただ「Television」の例でわかるように、奥行きや細かい物体との衝突判定はないので、机の上にあるものにめり込んで見える。
それでも手だけは特別な扱いがなされており、常に現実と同じ位置に、自然な距離感で表示される。他のオブジェクトの前に手を持ってくると「手がオブジェクトの前にある」ように再現されるわけだ。
▲手を前にかざしてみた。何も持っていない左手は手前に描かれるものの、バッテリーを持っている右手は「Television」アプリの後ろ側になっている
これは現実感を高めるための工夫であり、非常に効果的に作用している。だが逆に言えば、現実世界の物体とvisionOSの中にだけある存在、すべてについて正確な立体構造の把握と位置矛盾のシミュレーションを排除し、処理の簡便化を図っている……ということもできる。
「安全な利用」から進んだXRでの空間把握
こうした空間把握は、なにもvisionOSだけの特権ではない。Meta Questシリーズなど、世の中に広く普及しているXR機器では一般的な処理となっている。
▲Meta Quest 3のデモビデオより。Vision Proと同様に周囲の立体構造を把握している
この機能は特に、実世界と仮想の世界を重ねるMR要素をもつ機器では必須だ。
ただ現状、Meta Quest 3などでは、空間にアプリを配置するためというよりも「安全性」のために搭載されている、といった方がいいだろう。
VRでゲームに熱中していたとしよう。周囲の様子がすべて映像で置き換えられていると、目の前に壁が来ていてもわからない。そこで全力で腕を振ったら事故につながる。
そのため「セーフエリア」という考え方が設けられた。壁や家具などの位置を機器側が把握しておき、近づくと警告が出る仕組みだ。Meta Quest ProやQuest 3はカラーでのビデオシースルーMRに対応しているが、それも「セーフエリアのために部屋の立体構造を覚える」ところから発展した技術ということになる。
なお、visionOSにも「Full Space」と呼ばれる、1アプリで空間全体を支配する仕組みがあり、こちらだと、既存のVR向けゲームのような感覚で扱える。この場合には「知らないうちに壁を殴る」危険があるのは同じだ。ただvisionOSではセーフエリアを設定するのではなく、壁やモノに近づくと表示が強制的に半透明になる仕組みになっていて、これで安全を維持するようになっている。
「HoloLens」というオーパーツ
空間を把握してオブジェクトを配置するという意味で、オーパーツのような先進性を備えていたプラットフォームがある。
マイクロソフトの「HoloLens」だ。
以下の画像は、2016年に発売された初代モデルで、周囲の空間を把握した時のものである。解像感はともかく、Vision Proで行われていることにかなり近いのがわかるだろう。
▲HoloLensでの空間把握。解像度こそ低いがVison ProやMeta Quest 3に近く、2016年発売の製品だと思うと、非常に先進的だ
部屋の中にオブジェクトを置いたり、自分の周りにアプリを置いたりできる点も、Vision Proと同じだ。
▲HoloLensで空間にオブジェクトを配置。8年前の機器だが、Vision Proのものにかなり近い
Vision Proにできないこともある。アプリを部屋に置いておくのでなく、自分についてくるようにも設定できたのだ。たとえば自分の顔の横に、常にウェブブラウザーを「ついてくる」ようにして、歩きながら情報を確認する……ということもできたわけだ。
ちなみに、Vision Pro発売直後、歩きながら使うような動画がSNSでバズったことがある。しかし実際には、こうした「ついてくる」モードがないので、歩きながら自由に使うのは難しい。自分の移動に関わらずアプリを配置する「トラベルモード」にすると大丈夫だが、これは飛行機や電車、自動車内などで使うためのもので、ちょっと用途が異なる。
ただ、HoloLensは性能にも限界があり、PC/Macと同じように使うのは難しかった。また、実景に透明なデバイス上の表示を重ねる「光学シースルー」式であり、どうしても視界の中央にしか画像を表示できず、没入感が低いという課題もあった。
光学シースルー式は「デモビデオなどと見え方が大きく異なる」という課題があり、そのことが大きな課題でもあった。建築現場や工場などで使う場合、機器がハングアップしても周囲が見える光学シースルー式には価値があるのだが、やはり現状、用途には限界がある。
空間にオブジェクトをおいて活用するという意味で非常に先進的な構造であったのは間違いないのだが、コンシューマーも納得できる品質として結実させるには、Vision Proの登場を待つ必要があった。
MetaはMR活用の大規模アップデートを準備中
では今後もこのジャンルはVision Proが独走するのだろうか？
おそらくそうではあるまい。
MetaはMeta Quest 3向けに、「オーグメント」という機能を追加すべく準備をしている。本来、9月の発表時のコメントでは「年明けには」という話だったが、搭載は遅れているようだ。
このオーグメント、簡単に言えば、アプリが作ったウィンドウやオブジェクトを部屋の中や壁に配置できるものだ。
▲MetaがQuest 3への実装を予定している「オーグメント」。2024年中の公開が予定されている
ここではAndroid用の2Dアプリや、ウェブベースのPWA（Progressive Web App）が使われ、いままで以上に、Quest 3のビデオシースルーを活用できるようになるだろう。
MetaとしてはPWAアプリの増加に期待を寄せているようだ。本当はGoogle Playがそのまま搭載できると良いのだが、どうもその点、Googleとの関係はあまりよろしくない。
Googleも独自に、MRを軸にしたプラットフォームをサムスンと共に開発中と言われており、そこでの競合や考え方の違いでの衝突があるようである。
どちらにしろ、画質や操作に違いはあるとはいえ、「空間にオブジェクトを置く」こと自体は、2024年後半に向けてもっとあたりまえの要素になっていく。
次に重要なのは、「ではどんなオブジェクトを置けば便利なのか」という点だ。これは、プラットフォーム側の準備が進んでから開拓が進む部分ではある。
Vision Proにしても、便利さの開拓はまだ足りない。
ただ、Vision Proで日本語が使えるようになるだけでもけっこう変わりそうだ。今は日本語を使うにはMac側で作業するのが基本になり、空間が生かしきれない。しかし、日本語入力が可能になってオフィスアプリやブラウザで活用されれば、もっといろいろなアプリを有効に使えるようになる。
Meta Quest 3にしろ、Googleが作っている（らしい）新プラットフォームにしろ、スマホやタブレット、PCと同じくらい快適に日本語が扱えるようにならないと、価値は高まらないだろう。
※この記事は、毎週月曜日に配信されているメールマガジン『小寺・西田の「マンデーランチビュッフェ」』から、一部を転載したものです。今回の記事は2024年3月18日に配信されたものです。メールマガジン購読（月額660円・税込）の申し込みはこちらから。コンテンツを追加したnote版『小寺・西田のコラムビュッフェ』（月額980円・税込）もあります。
