Apple Vision ProのSDKから未発表の「Visual Search」機能発見。見たものや文字を検索・コピペ・翻訳

ガジェット XR / VR / AR
Kiyoshi Tane

Kiyoshi Tane

フリーライター

  • X

著書に『宇宙世紀の政治経済学』(宝島社)、『ガンダムと日本人』(文春新書)、『教養としてのゲーム史』(ちくま新書)、『PS3はなぜ失敗したのか』(晋遊舎)、共著に『超クソゲー2』『超アーケード』『超ファミコン』『PCエンジン大全』(以上、太田出版)、『ゲーム制作 現場の新戦略 企画と運営のノウハウ』(MdN)など。

特集

アップルはデベロッパー向けに、開発ツール Xcode 15ベータ版2の配信を開始しました。

中には「visionOS SDK」つまり空間コンピュータVision Proのアプリ開発環境も含まれており、visionOSシミュレータにより機能を仮想的に試すこともできます。

そのコードを分析した開発者Steve Moser氏が、未発表の新機能「Visual Search」機能を発見しました。iPhoneやiPadの「画像を調べる(Visual Look Up)」にも似た機能です。

iOS 16/iPadOS 16の「画像を調べる」は、写真に写った場所やアート、植物やペットの種類を特定したり、含まれるテキストを認識してコピーやシェア、翻訳ができます。

今回発見されたVisual Searchも、モノに関する情報を得たり、現実世界の印刷物や表示からテキストをアプリにコピー&ペーストしたり、17の異なる言語に翻訳できます。

たとえば資料のプリントアウトにURLが印刷されていた場合、Vision Pro着用者が見ることで検出し、Safariのウィンドウでリンク先のサイトを開いたり、料理のレシピにオンス単位で分量が書かれていれば、自動的にグラムに変換するという具合です。

さらにVision Proのテキスト検出は、iPhoneの写真アプリのように、テキストの翻訳やコピー&ペーストができるとのこと。

iPhone含めスマホではすでに実現している機能ではありますが、スマホでは対象を目にする、スマホを取り出して画像認識の機能やカメラを起動、対象に向ける操作が必要です。

ヘッドセットではユーザーが見た時点でカメラを通じた画像なので、より自然に直感的に役立ちそうです。「現実世界の情報を自動的に抽出し、最適化してユーザーに提供する」という、アイアンマンのJ.A.R.V.I.Sのように良き相棒となるのかもしれません。

なおアップルはWWDC基調講演やセッションでVision Proの様々な機能を説明していますが、すべてを公開、あるいはドキュメント化しているわけではありません。

たとえば、本製品に関して発表前から正確な情報を伝えてきたThe InformationのWayne Ma記者は「Apple Fitness+」関連のアプリや全身トラッキングの開発が社内で進行中だが発表が見送られたことや、「Vision Pro上でMacアプリをそのまま実行できる」機能が、iOSをベースにしたvisionOSでは無理があるとして早期に開発が打ち切られたことを伝えています

Steve Moser氏は、飛行機内での環境に最適化された「トラベルモード」も発見しています。こちらは公式ティザー動画で、アップルがそれとなく予告していました。

米国でVision Proが2024年前半に発売されるまでの数か月間に、さらなる隠し玉が明らかになることに期待したいところです。


Meta Quest Pro
¥159,500
(価格・在庫状況は記事公開時点のものです)


《Kiyoshi Tane》
Kiyoshi Tane

Kiyoshi Tane

フリーライター

  • X

著書に『宇宙世紀の政治経済学』(宝島社)、『ガンダムと日本人』(文春新書)、『教養としてのゲーム史』(ちくま新書)、『PS3はなぜ失敗したのか』(晋遊舎)、共著に『超クソゲー2』『超アーケード』『超ファミコン』『PCエンジン大全』(以上、太田出版)、『ゲーム制作 現場の新戦略 企画と運営のノウハウ』(MdN)など。

特集

BECOME A MEMBER

『テクノエッジ アルファ』会員募集中

最新テック・ガジェット情報コミュニティ『テクノエッジ アルファ』を開設しました。会員専用Discrodサーバ参加権やイベント招待、会員限定コンテンツなど特典多数です。