3 つの主要なテクノロジーが AR インターフェースにパワーを与える

この記事は技術的な観点から開始し、最近発売された Apple MR を例として、AR の世界が依存する必要がある 3 つの重要な技術点 (視線追跡、手動認識、空間計算) を分析します。これら 3 つの技術的なポイントに関する著者の分析を見てみましょう~

物理世界では、目で観察し、手を使って操作することが最も自然なインタラクション方法です。 AR 世界でこの自然なインタラクションの継続を実現するには、3 つの重要な技術的ポイントに依存する必要があります。

Apple Vision Pro のリリースは、3 つのテクノロジーによって実現される自然なインタラクション機能を実証しているため、私たちは失望しません。

1. 視線追跡技術

現実のオブジェクトとさらに対話する必要がある場合、私たちは自然にそのオブジェクトに目を集中します。私たちが注意を払ってそこに目を集中させるとき、それはすでに私たちの選択を表しています。

このプロセスは、現在のインターフェイス フィールドの 2 つの状態を対象とします。: アクティブ化状態 (フォーカス) とクリック状態 (選択) 。アイトラッキング技術は、見ることと焦点を合わせるプロセスを実現します。

このテクノロジーは確かにこの種のものとしては初めてのものではありません。 AR メガネのパイオニアである Microsoft Holoens 第 2 世代のインタラクションには、目で焦点を合わせる機能である Eye-gaze が搭載されています。

これまで、第 1 世代の Microsoft Holoens の頭と視線のインタラクションには、実際には目で見てアクティブにするという概念がありました。しかし、Head-gaze では、頭をわずかに動かして画面中央の点 (Gaze) を制御し、コンテンツをアクティブにします。毎回それに焦点を合わせる必要はなく、頭と目の動きに頼ってください。

ただし、視線追跡技術は自然なインタラクションの標準をよりよく解決できますが、頭と動きのインタラクションにも利点がないわけではありません。たとえば、私のチームが現在開発しているメガネは、頭と視線のインタラクションのみをサポートしています。このインタラクティブな方法は、コストと技術的難易度が低く、手/マウス/リモコンなどによるフォーカス起動方法と比較して、目で見るという自然なインタラクションの概念に近いものです。

また、視線追跡技術は起動状態は実現していますが、選択、つまりクリック状態はまだ真に実現していません。この機能は、私がそれがそれであることをマシンに伝えることです。

厳密に言えば、操作が必要ないものについては手動による確認ステップを省略することが非常に必要です。たとえば、スナックを食べているときやテレビ番組を見ているときに、作業のたびに汚れた手を拭かなくても済むことを本当に願っています...製造現場では、この種の手を解放したいというニーズがよく上がります。顧客。

より自然なインタラクションを実現するには、これも私たちの想像力の一部になるかもしれません。以前、簡単な確認のために脳波技術に依存した特許について書きました。

2. ジェスチャ認識技術

アイトラッキングは、この部分を目で見るというインタラクションを満たしますが、手で操作するにはジェスチャ認識技術が必要です。

これは新しい技術ではなく、これまで多くの ARVR デバイスに搭載されてきましたが、もちろん実装の程度は実際の経験によって確認する必要があります。

Vision Pro のプロモーション ビデオでは、ジェスチャ認識は非常に自然に見え、手を上げる必要さえありません。これは 4 セットの下向きカメラに依存する必要があります (これがおそらく、 12 台のカメラ構成が必要です)。

Hololens2 のプロモーション ビデオと比較すると、ジェスチャーが頭上のカメラでカバーされていることがわかります。

ジェスチャ認識はカメラに依存しているため(コンピュータは手の動きを知るために入力が必要です)、同じジェスチャを異なる角度から撮影した場合でも結果は異なり、認識結果も影響を受けます。

さらに、2D ジェスチャ認識技術と 3D ジェスチャ認識技術のエクスペリエンスも異なります。

3. 空間計算

目に見やすく、手でより自然に操作できるようにするには、デバイスに空間を理解する能力が必要です。 空間コンピューティングは、Vision Pro が推進したいものであり、この機能を重視する彼らは、この機能が時代を分ける可能性があると信じています。

「空間コンピューティング時代」。

多くのインタラクションは、マシンに空間コンピューティング機能があるため、自然に発生します。つまり、マシンに空間を理解する能力がなければ、これらのインタラクションは自然には発生しません。 Nerf、SLAM、3DOF、および 6DOF はすべて空間コンピューティング テクノロジの一部であり、聞こえてくるものはすべてこのカテゴリに分類されます。

経験の観点から見ると、空間の奥行きによってもたらされる物体間および物体とユーザーの間の距離の知覚、さまざまな位置や姿勢におけるユーザーの視点の向きによってもたらされる物体の形状の変化、実環境の要因の変化空間コンピューティングは、デザイナーに自然なインタラクションのためのより多くのスペースを与えることができます。

空間コンピューティングは、将来ARが通常の画面インターフェースとは異なるものになるためのキーテクノロジーであると言えますが、私たちが本当に期待しているのは、「見ているものすべてがインターフェースになる」ということです。

＃＃＃コラムニスト＃＃＃

Lin Yingluo、WeChat パブリック アカウント: 森に影が落ちています。誰もがプロダクト マネージャーのコラムニストです。カードの遊び方に詳しいユーザー エクスペリエンス デザイナー、『AR インターフェイス デザイン』の著者、10 年の UIUX デザイン経験、AR とインテリジェンスの分野でのユーザー エクスペリエンス デザインに焦点を当てた 6 年間、デザインと心理学の教育歴、国家専門職高度な OH カード認定資格 教師/才能発見コーチ。私の努力が、インテリジェントな未来のデザイン分野に付加価値を与え、デザイナーのキャリアをより価値あるものにすることができれば幸いです

タイトル画像は CC0 プロトコルに基づいた Unsplash からのものです

以上が3 つの主要なテクノロジーが AR インターフェースにパワーを与えるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。