2023 年 12 月 28 日の Yingwei.com のレポートによると、Apple や Meta などのテクノロジー大手は、リングを含む拡張現実 (AR) や仮想現実 (VR) のためのさまざまな入力方法を検討しています。同時に、マイクロソフトも同様の研究を実施しています。 Microsoft は、「マルチフィンガー ジェスチャを可能にするウェアラブル デバイス」というタイトルの特許出願で、ヘッドセットなどの関連端末デバイスの制御に使用できるリング コントローラを紹介しました。この技術はAR/VR分野にさらなる革新をもたらすことが期待されています。
一実施形態では、指輪などのウェアラブルデバイスは、2つのセンサーと1つのコントローラーを含む。第1のセンサは、ユーザの第1の指の1つ以上の動きを検出するように構成され、第2のセンサは、第1の指とは異なる第2の指の1つ以上の動きを検出するように構成されている。
コントローラは、第 1 指と第 2 指の動きに基づいて、第 1 指と第 2 指の間の相対運動を決定するように構成されています。この相対的な動きは、複数指のジェスチャを定義できます。コントローラーは、複数指のジェスチャーに基づいて、ヘッドマウント ディスプレイなどの関連するエンド デバイスを制御できます。
###指輪などのウェアラブルデバイス100は、ユーザの指に装着することができる。ウェアラブルデバイス100は、第1の指201および第2の指202などの2本以上の指の相対的な動きを検出するための1組のセンサを備えている。ウェアラブルデバイス100は、この異なる指の相対的な動きに基づいてマルチフィンガージェスチャを認識し、その後、マルチフィンガージェスチャに基づいて関連する端末装置300を制御する。このようにして、ユーザーはより効率的かつ柔軟にエンドデバイスを制御し、対話することができます。
#### 図11cに示すように、リングなどのウェアラブルデバイス100は、ヘッドマウントディスプレイとともに使用される。 Microsoftによると、ヘッドセットを制御する既存の方法は、音声、ホバージェスチャー、または従来のコントローラーを使用しているという。ただし、音声制御にはプライバシーの問題が避けられず、ホバー ジェスチャは極度の疲労を引き起こす可能性があります。対照的に、ウェアラブルデバイス100は、ユーザが手を挙げる必要がなく、ポケットの中で行うことができるほどプライベートである。
図2に示すように、これはウェアラブルデバイス100の構造を示す一例である。ウェアラブルデバイス100は、外側121、内側122およびそれらの間の側部123から構成されるリング状ハウジング101を採用する。
### ウェアラブルデバイス100は、それぞれ第1のセンサ105および第2のセンサ106と呼ばれる少なくとも2つのセンサ105および106を含む。これら 2 つのセンサーは、ユーザーの少なくとも 2 本の異なる指の動きを検出するために使用されます。###第1のセンサ105および/または第2のセンサ106は、赤外線近接センサであってもよい。赤外線近接センサーは小型・軽量・低消費電力・低コストという特徴を持ち、ウェアラブル機器のさらなる軽量化・低消費電力化を実現します。光学センサ、容量性センサ、超音波センサなどの他の種類の距離測定センサも使用できることを理解されたい。光の透過が必要ない場合には、必要に応じて省略したり、他の構造に調整したりすることができる。
#### 第1のセンサ105は、第1の指201またはその部分の少なくとも1つの動きを検出するように構成され、第2のセンサ106は、第2の指202またはその部分の少なくとも1つの動きを検出するように構成される。###第1および第2のセンサ105、106の一方または両方は、対応する指の複数の部分の動きを検出することができる。強度の高い動きと比較すると、第1および第2のセンサによって検出する必要がある指の動き105、106は、2つの異なる指の間の相対的な動きのみである。これは非常に微妙な動きであり、小さな筋肉の動きを必要とし、手を動かす必要はありません。したがって、検出すべき動作が疲れにくく、通常の指輪と同じようにウェアラブルデバイス100を長時間装着することができる。
さらに、対話に参加するのに必要な指は 2 本だけです。残りの 3 本の指はバッグを持つなど他の作業を実行できるため、片手で操作するよりも適しています。
ウェアラブルデバイス100は、制御モジュール102も含む。制御モジュール102は、コントローラ107、バッテリ115、および通信モジュール114を含み得る。図2に示すように、制御モジュール102は、ダイヤモンド形ハウジングの上部のダイヤモンド形と同様に、環状ハウジング101の上部に配置され得る。これにより、環状ハウジング101の厚みを薄くすることができる。例えば、ハウジング101の厚さは1mm未満とすることができ、不快感なく一日中簡単に装着することができる。
#####コントローラ107は、第1センサ105および第2センサ106によって検出された指の動きデータを受信して分析することによって、2本の指201および202の間の相対的な動きを決定する。このような 2 本の指間の相対的な動きは、2 本指ジェスチャを定義します。さらに、かなり単純で小さな指の動きのみを検出すればよいため、コントローラ107は、8ビットMCUなどの低電力かつ低コストの小型マイクロコントローラとして実装することができる。これにより、ウェアラブルデバイス100のサイズをさらに縮小することができる。####指201、202の動きを検出するために、ウェアラブルデバイス100は、第1の導体コンポーネント103および第2の導体コンポーネント104などの複数の導体コンポーネントを含んでもよい。第1の導体コンポーネント103は、第1の端110および第2の端111を有する。第1の端110は第1のセンサー105に結合され、第2の端111は第1の指201に面する。同様に、第2の導体アセンブリ104は、第2のセンサ106に結合された第3の端部112と、第2のフィンガ202に面する第4の端部113とを有し得る。このように、導体アセンブリの両端の向きを揃えることで、異なる指の動きを検出することができます。
####第2の端部111および第4の端部113は、図2に示すように、環状ハウジング101の底部に位置してもよい。第2の端部111および第4の端部113のうちの少なくとも一方は、環状ハウジング101の底部と側部との間の任意の位置に配置され得る。第1導体部品103は、第1光ファイバ116と第2光ファイバ117とから構成される。例えば、第1の光ファイバ116および第2の光ファイバ117は、ハウジング101内の第1のチャネル108内に配置され得る。第1チャネル108は、ウェアラブルデバイス100の重量を軽減できる中空構造である。
####モジュール102は、システムを制御するために使用され、図1の端末装置300と通信するための通信モジュール114を含む。端末装置300は、有線であっても無線であってもよい。通信モジュール114は、Bluetooth low energyベースのモジュールを使用することができる。
### 図2を参照すると、制御モジュール102はバッテリ115を含むことができる。コントローラ107、第1および第2のセンサ105、106、および他の必要な構成要素の電力消費は非常に低いため、バッテリ115のサイズは非常に小さくすることができる。以下は、複数指のジェスチャの例です。
### 図1を参照すると、この例では、ウェアラブルデバイス100が人差し指201の基部セグメント206に装着されていると仮定される。この場合、第1のセンサ105が親指202の側面から第1のセンサ105までの第1の距離301を検出できるように、第1の導体部品103の第2の端111が親指202の側面を向く。
第2の導体コンポーネント103の第4の端113を人差し指201の中間部分205の腹側部分に向かって移動させ、第2のセンサ106が人差し指の中間部分205の腹側部分から検出できるようにする。 201 から 2 番目のセンサーまで 106 の 2 番目の距離は 302 です。
#### 環状ハウジング101のサイズが小さいため、第1の距離301は実質的に親指202の外側部分から人差し指201の基部セグメント206までの相対距離であるのに対し、第2の距離302は実質的に中間部分の腹側部分 205 人差し指 201 の基部セグメント 206 までの相対距離。このようにして、第1および第2のセンサ105、106は、1つまたは複数の動きのセットを検出することができる。
#### 図4aに示すシングルアクションジェスチャモードによれば、親指202が人差し指201に接触せず静止したままである場合、第1のセンサ105によって検出された距離(距離X301と呼ぶ)と、第1のセンサ105によって検出された距離と、第2のセンサ106(距離Y302と呼ばれる)は変化しないままである。たとえば、距離 X301 は X1 のまま、距離 Y302 は Y1 のままです。
このシナリオでは、写真の親指 202 が人差し指 201 に接触し、静止していることがわかります。この場合、第1センサ105および第2センサ106がそれぞれ検出する距離は変化しない。しかしながら、親指202の位置が変化しているため、距離x301はX2のままであり、X1よりも小さくなる可能性がある。
###この場合、距離Xの値は、親指202が人差し指に接触しているかどうかを示すことができ、これにより、動きが開始されるか終了するかを示すことができる。コントローラ107は、第1の指201と第2の指202との間の相対距離を決定することによって複数指ジェスチャを検出できることが分かる。
### 一実施形態では、コントローラ107は、第1および第2のアクションセットに基づいて、第1および第2の指201、202の間の相関スライドを決定することによって、マルチフィンガージェスチャを検出することができる。異なるスライド方向に応答して、コントローラ107は異なる動作をトリガすることができる。#### コントローラ107は、第1の指201が第2の指202に沿って左から右にスライドしたことを検出すると、端末装置300に関連付けられた特定のアクションをトリガする。同様に、コントローラ107は、第1の指201が第2の指202に沿って右から左にスライドすることを検出すると、端末装置300に関連付けられた別の特定のアクションもトリガする。
#### 図4c〜4dは、親指202が人差し指に沿ってスライドするときに、距離X301と距離Y302がどのように変化するかを示している。親指202の腹側が人差し指201に沿って左から右にスライドすると、第2センサ106は親指202のスライドを検出し、検出データをコントローラ107に送信することができる。同時に、第1のセンサ105は、図4dに示すように、人差し指201がその位置を維持していることを検出し、検出されたデータをコントローラ107に送信することができる。
#### 上述の第1および第2の組の動きに基づいて、コントローラ107は、人差し指201と親指202との間の上述の相対的な動きを決定することによって、マルチフィンガージェスチャを検出することができる。そして、コントローラ107は、マルチフィンガージェスチャに基づいて、端末装置300に関連付けられたアクションをトリガする。
####例えば、制御部107は、「右」操作に対応する制御信号を生成して、端末装置300を制御してもよい。同様に、図4cに示すように、人差し指201の間の上述の相対運動を決定することによって検出された複数指ジェスチャに基づいて、親指202の腹側を人差し指201に沿って右から左にスライドさせる。コントローラ107は、「左」操作に対応し、端末装置300に関連付けられた動作をトリガする制御信号を生成する。図4e〜4fは、人差し指201が親指202に沿って上下にスライドするときの距離X301と距離Y302の変化を示す。上記と同様に、人差し指201の側部が親指202に沿って下方にスライドすると、第2のセンサ106は、人差し指201の中間部205の腹部が下方に移動していることを検出し、検出データを送信することができる。コントローラ107へ。同時に、第1のセンサ105は、図4eに示すように、親指202が静止状態にあることを検出し、検出されたデータをコントローラ107に送信することができる。
#### 上述の第1および第2の組の動きに基づいて、コントローラ107は、人差し指201と親指202との間の上述の相対的な動きを決定することによって、マルチフィンガージェスチャを検出することができる。次に、コントローラ107は、マルチフィンガージェスチャに基づいて、端末装置300に関連するアクションをトリガし、図4eに示すように、「ダウン」操作に対応する制御信号を生成することによって端末装置300を制御する。
同様に、図4fに示すように、人差し指201と親指202の間の上述の相対運動を決定することによって検出された複数指ジェスチャの場合、人差し指201の中間セクション205の腹側部分については、親指202に沿って上方向にスライドさせると、コントローラ107は、「上」操作に対応する制御信号を生成することによって、端末装置300に関連付けられた動作をトリガする。
### 一実施形態では、コントローラ107は、第1の指201と第2の指202との間の相対運動を決定することによってタッピングジェスチャを検出することができる。###指の異なるタッピングセグメントに対して、コントローラ107は異なる動作をトリガすることができる。例えば、コントローラ107は、第1の指201が第2の指202の第2の部分をタップしたことの検出に応答して第1の動作をトリガし、第1の指201が第2の指の第3の部分をタップしたことの検出に応答して第1の動作をトリガしてもよい。指202:第1の動作とは異なる第2の動作。
### 図4は、親指202が人差し指の最も外側のセグメント204(すなわち、第3のセグメント)をタップするか、または最も外側のセグメント204の近くをタップするときに、距離X 301および距離Y 302がどのように変化するかを示す。この場合、第1のセンサ105は、親指202が最も外側のセグメント204に近づいていること、および/または最外側のセグメント204から遠ざかっていることを検出し、検出されたデータをコントローラ107に送信することができ、一方、第2のセンサ106は、人差し指が静止したままであることを検出することができる。 、図4eに示すように、検出されたデータをコントローラ107に送信する。上記の第1および第2のセットの動きに基づいて、コントローラ107は、人差し指201と親指202の間の上記の相対的な動きを決定することによって、マルチフィンガージェスチャを検出する。そして、制御部107は、マルチフィンガージェスチャに基づいて、OK操作に対応する制御信号を生成することにより、端末装置300に関連付けられたアクションをトリガする。
### 図4hは、親指202が人差し指の中間セグメント205をタップするか、中間セグメント205の近くをタップするときに、距離X 301および距離Y 302がどのように変化するかを示す。この場合、第1のセンサ105は、親指202が中央部205に向かって、および/または中央部205から離れるように動いていることを検出し、検出されたデータをコントローラ107に送信することができる。同時に、第2のセンサ106は、図4eに示すように、人差し指が動いていないことを検出し、検出されたデータをコントローラ107に送信することができる。
#### 上記の第1および第2のセットの動きに基づいて、コントローラ107は、人差し指201と親指202との間の相対的な動きを検出することによって、マルチフィンガージェスチャを認識することができる。そして、制御部107は、複数指ジェスチャに応じた「キャンセル」操作に対応する制御信号を生成し、端末装置300上でそれに関連付けられた別の動作をトリガする。
### 上記からわかるように、第1のセンサ105および第2のセンサ106は、人差し指201と親指202の間の1つまたは複数の微妙な相対運動を検出することができ、コントローラ107は、1つまたは複数の動きのセットを決定することができる動作は、複数指のジェスチャを検出し、複数指のジェスチャに基づいて関連する端末装置300を制御することによって行われる。これらの動作は、「ぶら下がる」または「手を上げる」動作よりも使用する筋肉が少なく、動作中の疲労が軽減されます。
###また、第1および第2のセンサ105、106によって検出できる動作は、非常に直観的で理解しやすい。同時に、アクションを実行するときに自然な触覚フィードバックが得られるため、スターオフィサーのアクションを実行するのに目がまったく不要になります。
### 従来の方向カーソル操作に加えて、シングルモーションジェスチャモードでは、特定の複数指ジェスチャを検出することによって、ウェアラブルデバイス100は、X−Yスライダ(7a)およびデュアルボタン(7b)機能を実装することができる。したがって、ウェアラブルデバイス100は、ヘッドマウントディスプレイなどのデバイスの入力モードとして機能することができる。1 本指のジェスチャに加えて、8a および 8b に示すように、関連するジェスチャには複数指のジェスチャが含まれる場合があります。この場合、コントローラ107は、第1の指201を第2の指202に沿って相対的にリズミカルに繰り返す第1の指201のシャトルスライド動作などの一連の動作に従って制御信号を生成することによって、1つまたは複数の動作をトリガすることができる。第2の指202のタップ動作、またはそれらの組み合わせ。
####例えば、マルチアクションジェスチャモードにおいて、第1の指201が第2の指202に沿ってシャトルのスライド動作をリズミカルに繰り返す場合、コントローラ107は、上記アクショングループを決定することによってマルチフィンガージェスチャを検出することができる。検出されたマルチフィンガージェスチャに基づいて、コントローラ107は、例えば、関連する端末装置の特定の機能を起動する起動操作に対応する制御信号を生成することによって、アクション、すなわち、第1のアクションをトリガすることができる。
### 第2の指202が第1の指201に沿ってシャトルのスライド動作をリズミカルに繰り返すことに応答して、コントローラ107は、上記の一連の動作を決定することによってマルチフィンガージェスチャを検出することができる。検出された複数指ジェスチャに基づいて、コントローラ107は別のアクション、すなわち第2のアクションをトリガすることができる。####例えば、第2の指202に沿った第1の指201の急速な(例えば、約120/分以上)リズミカルに繰り返されるシャトルのスライド運動に応答して、複数回(例えば、3回以上)、コントローラ107は、複数の指のジェスチャは、上で説明したように一連の動きを決定することによって検出されます。検出された複数指ジェスチャに基づいて、コントローラ107は、制御信号を生成することによってアクションをトリガすることができる。
### マルチアクションジェスチャモードでは、コントローラ107が複数のアクションセットに基づいてより多くのアクションをトリガできる、すなわち、ウェアラブルデバイス100が複数の方法で端末デバイスを制御できることが分かる。####マルチアクションジェスチャモードでは、コントローラ107にアクションをトリガさせることができる一連のアクションは、日常生活ではめったに現れない特別なアクションのセットでなければならない。たとえば、「速い、速い、遅い、速い」または「遅い、速い、遅い、速い」など、めったに発生しない一連のリズミカルな動きを使用します。ここで、「速い」とは、第2の指202に沿った第1の指201の速いスライド動作を指し、「遅い」とは、速いスライド動作を指す。
### 図9は、ウェアラブルデバイス100に実装される方法のフローチャートを示す。####1320で、第1の指201とは異なる第2の指202の1つまたは複数の動きの第2のセットが第2のセンサ106で検出される。
#### 次に、1330において、コントローラ107を介して、第1および第2のセットの動きに基づいて、第1の指201と第2の指202との間の相対的な動きを決定することができ、それによって複数指のジェスチャ検出が実現される。####1340には、マルチフィンガージェスチャ制御によって互いに関連付けられた端末装置300とウェアラブル装置100が存在する。
### ウェアラブルデバイス100が人差し指に装着されている場合、図10は、シングルモーションジェスチャモードで認識アルゴリズム1400を実行するコントローラ107の例を示す。
####1401で、シングルモーションジェスチャモードが有効になり、その後、1402で、コントローラ107は、最大距離Yと最小距離Yとの差が閾値より大きいか小さいかに基づいて、距離y302が変化するかどうかを判定する。差分Y、最大距離Y 認識期間内に第2センサ106が検出した最大値を示す。同様に、最小距離Yは、認識期間内に第2センサ106によって検出された最小値を表す。最大距離Xは、認識周期内で第1センサ105によって検出される最大値を指し、最小距離Xは、認識周期内で第1センサ105によって検出される最小値を指す。1406において、距離y302が変化する場合、つまり、最大距離Yと最小距離Yとの差が閾値差Yより大きい場合、コントローラ107は、最終的な距離y302が変化したかどうかを判断することによってマルチフィンガージェスチャを検出する。最終的な距離 Y が最大距離 Y と最小距離 Y の平均より大きいかどうかを判断することによって、距離 Y が大きいかどうかを判断します。
####最終距離Yが平均値よりも大きい場合、つまり、最終距離Yが大きい場合、コントローラ107は、中間セクション205の腹側が移動するアクションセットに対応するマルチフィンガージェスチャを検出することができる。人差し指201が上方に移動する。次に、コントローラ107は、「上」操作に対応する制御信号を生成することによって動作をトリガする。逆に、最終距離Yが平均値よりも小さい場合、つまり、最終距離Yが小さい場合である。このようにして、コントローラ107は、人差し指201の中セグメント205の腹側が下方に移動する一連の動きに対応するマルチフィンガージェスチャを検出することができる。コントローラ107は、「ダウン」操作に対応する制御信号を生成することによって動作をトリガする。
#### 距離y302が変化しない場合、すなわち、最大距離Yと最小距離Yとの差が基本的に閾値差Yに等しい場合、コントローラ107は、最大距離Xと最小距離との差が大きいか否かを判定する。 X が閾値差 X より大きい 距離 x301 が変化したかどうか。そして、制御部107は、最終距離Xが最大距離Xと最小距離Xとの平均値より大きいか否かを判定することにより、最終距離Xが大きいか否かを判定し、マルチフィンガージェスチャを検出する。
最終距離 X が平均値、つまり最終距離より大きい場合次に、コントローラ107は、「左」操作に対応する制御信号を生成することによって動作をトリガする。
最終距離の場合次に、コントローラ107は、「右」操作に対応する制御信号を生成することによって動作を開始する。
同様に、マルチアクションのジェスチャ認識アルゴリズムも非常にシンプルです。前述したように、マルチアクション ジェスチャの特別なアクション セットは、ユーザーが事前に設定することも、手動で設定することもできます。次いで、認識アルゴリズムは、ユーザによって実行された一連の動作が特定の動作と実質的に一致するかどうかを検出することによって特定の制御信号を生成し、コントローラ107に動作をトリガさせることができる。
#### 認識アルゴリズムの単純性を利用し、通信モジュール114としてBluetooth low Energyに基づくモジュールを採用することにより、ウェアラブルデバイス100の低消費電力を実現することができる。
関連特許
: Microsoft 特許 | マルチフィンガー ジェスチャを可能にするウェアラブル デバイス「マルチフィンガー ジェスチャを有効にするウェアラブル デバイス」というタイトルの Microsoft 特許出願は、2023 年 8 月に最初に提出され、最近米国特許商標庁によって公開されました。一般的に、米国特許出願は審査後、出願日または優先日から 18 か月後に自動的に公開されるか、または要求に応じて出願日から 18 か月以内に公開されることに注意してください。申請者の。特許出願の公開は、特許が承認されることを意味するものではないことに注意してください。特許出願後、USPTO は実際の審査を必要とし、審査には 1 ~ 3 年かかる場合があります。
また、これはあくまで特許出願であり、必ず承認されるわけではなく、実際に商品化されるかどうか、実際の出願効果は不明です。
以上がMicrosoftの特許更新により、リングコントローラーを介してAR/VRヘッドセットを操作する方法が明らかにの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。