アップルはデベロッパー向けに、開発ツール Xcode 15ベータ版2の配信を開始しました。
中には「visionOS SDK」つまり空間コンピュータVision Proのアプリ開発環境も含まれており、visionOSシミュレータにより機能を仮想的に試すこともできます。
そのコードを分析した開発者Steve Moser氏が、未発表の新機能「Visual Search」機能を発見しました。iPhoneやiPadの「画像を調べる（Visual Look Up）」にも似た機能です。
iOS 16/iPadOS 16の「画像を調べる」は、写真に写った場所やアート、植物やペットの種類を特定したり、含まれるテキストを認識してコピーやシェア、翻訳ができます。
今回発見されたVisual Searchも、モノに関する情報を得たり、現実世界の印刷物や表示からテキストをアプリにコピー＆ペーストしたり、17の異なる言語に翻訳できます。
たとえば資料のプリントアウトにURLが印刷されていた場合、Vision Pro着用者が見ることで検出し、Safariのウィンドウでリンク先のサイトを開いたり、料理のレシピにオンス単位で分量が書かれていれば、自動的にグラムに変換するという具合です。
さらにVision Proのテキスト検出は、iPhoneの写真アプリのように、テキストの翻訳やコピー&ペーストができるとのこと。
iPhone含めスマホではすでに実現している機能ではありますが、スマホでは対象を目にする、スマホを取り出して画像認識の機能やカメラを起動、対象に向ける操作が必要です。
ヘッドセットではユーザーが見た時点でカメラを通じた画像なので、より自然に直感的に役立ちそうです。「現実世界の情報を自動的に抽出し、最適化してユーザーに提供する」という、アイアンマンのJ.A.R.V.I.Sのように良き相棒となるのかもしれません。
なおアップルはWWDC基調講演やセッションでVision Proの様々な機能を説明していますが、すべてを公開、あるいはドキュメント化しているわけではありません。
たとえば、本製品に関して発表前から正確な情報を伝えてきたThe InformationのWayne Ma記者は「Apple Fitness+」関連のアプリや全身トラッキングの開発が社内で進行中だが発表が見送られたことや、「Vision Pro上でMacアプリをそのまま実行できる」機能が、iOSをベースにしたvisionOSでは無理があるとして早期に開発が打ち切られたことを伝えています。
Steve Moser氏は、飛行機内での環境に最適化された「トラベルモード」も発見しています。こちらは公式ティザー動画で、アップルがそれとなく予告していました。
米国でVision Proが2024年前半に発売されるまでの数か月間に、さらなる隠し玉が明らかになることに期待したいところです。
