Microsoftの特許更新により、リングコントローラーを介してAR/VRヘッドセットを操作する方法が明らかに-AI-php.cn

2023 年 12 月 28 日の Yingwei.com のレポートによると、Apple や Meta などのテクノロジー大手は、リングを含む拡張現実 (AR) や仮想現実 (VR) のためのさまざまな入力方法を検討しています。同時に、マイクロソフトも同様の研究を実施しています。 Microsoft は、「マルチフィンガージェスチャを可能にするウェアラブルデバイス」というタイトルの特許出願で、ヘッドセットなどの関連端末デバイスの制御に使用できるリングコントローラを紹介しました。この技術はAR/VR分野にさらなる革新をもたらすことが期待されています。

一実施形態では、指輪などのウェアラブルデバイスは、2つのセンサーと1つのコントローラーを含む。第１のセンサは、ユーザの第１の指の１つ以上の動きを検出するように構成され、第２のセンサは、第１の指とは異なる第２の指の１つ以上の動きを検出するように構成されている。

コントローラは、第 1 指と第 2 指の動きに基づいて、第 1 指と第 2 指の間の相対運動を決定するように構成されています。この相対的な動きは、複数指のジェスチャを定義できます。コントローラーは、複数指のジェスチャーに基づいて、ヘッドマウントディスプレイなどの関連するエンドデバイスを制御できます。

＃＃＃指輪などのウェアラブルデバイス１００は、ユーザの指に装着することができる。ウェアラブルデバイス１００は、第１の指２０１および第２の指２０２などの２本以上の指の相対的な動きを検出するための１組のセンサを備えている。ウェアラブルデバイス１００は、この異なる指の相対的な動きに基づいてマルチフィンガージェスチャを認識し、その後、マルチフィンガージェスチャに基づいて関連する端末装置３００を制御する。このようにして、ユーザーはより効率的かつ柔軟にエンドデバイスを制御し、対話することができます。

Microsoftの特許更新により、リングコントローラーを介してAR/VRヘッドセットを操作する方法が明らかに＃＃＃＃図１１ｃに示すように、リングなどのウェアラブルデバイス１００は、ヘッドマウントディスプレイとともに使用される。 Microsoftによると、ヘッドセットを制御する既存の方法は、音声、ホバージェスチャー、または従来のコントローラーを使用しているという。ただし、音声制御にはプライバシーの問題が避けられず、ホバージェスチャは極度の疲労を引き起こす可能性があります。対照的に、ウェアラブルデバイス１００は、ユーザが手を挙げる必要がなく、ポケットの中で行うことができるほどプライベートである。

Microsoftの特許更新により、リングコントローラーを介してAR/VRヘッドセットを操作する方法が明らかに図２に示すように、これはウェアラブルデバイス１００の構造を示す一例である。ウェアラブルデバイス１００は、外側１２１、内側１２２およびそれらの間の側部１２３から構成されるリング状ハウジング１０１を採用する。

＃＃＃ウェアラブルデバイス１００は、それぞれ第１のセンサ１０５および第２のセンサ１０６と呼ばれる少なくとも２つのセンサ１０５および１０６を含む。これら 2 つのセンサーは、ユーザーの少なくとも 2 本の異なる指の動きを検出するために使用されます。

＃＃＃第１のセンサ１０５および／または第２のセンサ１０６は、赤外線近接センサであってもよい。赤外線近接センサーは小型・軽量・低消費電力・低コストという特徴を持ち、ウェアラブル機器のさらなる軽量化・低消費電力化を実現します。光学センサ、容量性センサ、超音波センサなどの他の種類の距離測定センサも使用できることを理解されたい。光の透過が必要ない場合には、必要に応じて省略したり、他の構造に調整したりすることができる。

＃＃＃＃第１のセンサ１０５は、第１の指２０１またはその部分の少なくとも１つの動きを検出するように構成され、第２のセンサ１０６は、第２の指２０２またはその部分の少なくとも１つの動きを検出するように構成される。

＃＃＃第１および第２のセンサ１０５、１０６の一方または両方は、対応する指の複数の部分の動きを検出することができる。強度の高い動きと比較すると、第１および第２のセンサによって検出する必要がある指の動き１０５、１０６は、２つの異なる指の間の相対的な動きのみである。これは非常に微妙な動きであり、小さな筋肉の動きを必要とし、手を動かす必要はありません。したがって、検出すべき動作が疲れにくく、通常の指輪と同じようにウェアラブルデバイス１００を長時間装着することができる。

さらに、対話に参加するのに必要な指は 2 本だけです。残りの 3 本の指はバッグを持つなど他の作業を実行できるため、片手で操作するよりも適しています。

ウェアラブルデバイス100は、制御モジュール102も含む。制御モジュール１０２は、コントローラ１０７、バッテリ１１５、および通信モジュール１１４を含み得る。図２に示すように、制御モジュール１０２は、ダイヤモンド形ハウジングの上部のダイヤモンド形と同様に、環状ハウジング１０１の上部に配置され得る。これにより、環状ハウジング１０１の厚みを薄くすることができる。例えば、ハウジング１０１の厚さは１ｍｍ未満とすることができ、不快感なく一日中簡単に装着することができる。

＃＃＃＃＃コントローラ１０７は、第１センサ１０５および第２センサ１０６によって検出された指の動きデータを受信して分析することによって、２本の指２０１および２０２の間の相対的な動きを決定する。このような 2 本の指間の相対的な動きは、2 本指ジェスチャを定義します。さらに、かなり単純で小さな指の動きのみを検出すればよいため、コントローラ１０７は、８ビットＭＣＵなどの低電力かつ低コストの小型マイクロコントローラとして実装することができる。これにより、ウェアラブルデバイス１００のサイズをさらに縮小することができる。

＃＃＃＃指２０１、２０２の動きを検出するために、ウェアラブルデバイス１００は、第１の導体コンポーネント１０３および第２の導体コンポーネント１０４などの複数の導体コンポーネントを含んでもよい。第１の導体コンポーネント１０３は、第１の端１１０および第２の端１１１を有する。第１の端１１０は第１のセンサー１０５に結合され、第２の端１１１は第１の指２０１に面する。同様に、第２の導体アセンブリ１０４は、第２のセンサ１０６に結合された第３の端部１１２と、第２のフィンガ２０２に面する第４の端部１１３とを有し得る。このように、導体アセンブリの両端の向きを揃えることで、異なる指の動きを検出することができます。

＃＃＃＃第２の端部１１１および第４の端部１１３は、図２に示すように、環状ハウジング１０１の底部に位置してもよい。第２の端部１１１および第４の端部１１３のうちの少なくとも一方は、環状ハウジング１０１の底部と側部との間の任意の位置に配置され得る。

第1導体部品103は、第1光ファイバ116と第2光ファイバ117とから構成される。例えば、第１の光ファイバ１１６および第２の光ファイバ１１７は、ハウジング１０１内の第１のチャネル１０８内に配置され得る。第１チャネル１０８は、ウェアラブルデバイス１００の重量を軽減できる中空構造である。

＃＃＃＃モジュール１０２は、システムを制御するために使用され、図１の端末装置３００と通信するための通信モジュール１１４を含む。端末装置３００は、有線であっても無線であってもよい。通信モジュール１１４は、Ｂｌｕｅｔｏｏｔｈｌｏｗｅｎｅｒｇｙベースのモジュールを使用することができる。

＃＃＃図２を参照すると、制御モジュール１０２はバッテリ１１５を含むことができる。コントローラ１０７、第１および第２のセンサ１０５、１０６、および他の必要な構成要素の電力消費は非常に低いため、バッテリ１１５のサイズは非常に小さくすることができる。

以下は、複数指のジェスチャの例です。

＃＃＃図１を参照すると、この例では、ウェアラブルデバイス１００が人差し指２０１の基部セグメント２０６に装着されていると仮定される。この場合、第１のセンサ１０５が親指２０２の側面から第１のセンサ１０５までの第１の距離３０１を検出できるように、第１の導体部品１０３の第２の端１１１が親指２０２の側面を向く。

第2の導体コンポーネント103の第4の端113を人差し指201の中間部分205の腹側部分に向かって移動させ、第2のセンサ106が人差し指の中間部分205の腹側部分から検出できるようにする。 201 から 2 番目のセンサーまで 106 の 2 番目の距離は 302 です。

＃＃＃＃環状ハウジング１０１のサイズが小さいため、第１の距離３０１は実質的に親指２０２の外側部分から人差し指２０１の基部セグメント２０６までの相対距離であるのに対し、第２の距離３０２は実質的に中間部分の腹側部分 205 人差し指 201 の基部セグメント 206 までの相対距離。このようにして、第１および第２のセンサ１０５、１０６は、１つまたは複数の動きのセットを検出することができる。

＃＃＃＃図４ａに示すシングルアクションジェスチャモードによれば、親指２０２が人差し指２０１に接触せず静止したままである場合、第１のセンサ１０５によって検出された距離（距離Ｘ３０１と呼ぶ）と、第１のセンサ１０５によって検出された距離と、第２のセンサ１０６（距離Ｙ３０２と呼ばれる）は変化しないままである。たとえば、距離 X301 は X1 のまま、距離 Y302 は Y1 のままです。

このシナリオでは、写真の親指 202 が人差し指 201 に接触し、静止していることがわかります。この場合、第１センサ１０５および第２センサ１０６がそれぞれ検出する距離は変化しない。しかしながら、親指２０２の位置が変化しているため、距離ｘ３０１はＸ２のままであり、Ｘ１よりも小さくなる可能性がある。

＃＃＃この場合、距離Ｘの値は、親指２０２が人差し指に接触しているかどうかを示すことができ、これにより、動きが開始されるか終了するかを示すことができる。コントローラ１０７は、第１の指２０１と第２の指２０２との間の相対距離を決定することによって複数指ジェスチャを検出できることが分かる。

＃＃＃一実施形態では、コントローラ１０７は、第１および第２のアクションセットに基づいて、第１および第２の指２０１、２０２の間の相関スライドを決定することによって、マルチフィンガージェスチャを検出することができる。異なるスライド方向に応答して、コントローラ１０７は異なる動作をトリガすることができる。

＃＃＃＃コントローラ１０７は、第１の指２０１が第２の指２０２に沿って左から右にスライドしたことを検出すると、端末装置３００に関連付けられた特定のアクションをトリガする。同様に、コントローラ１０７は、第１の指２０１が第２の指２０２に沿って右から左にスライドすることを検出すると、端末装置３００に関連付けられた別の特定のアクションもトリガする。 Microsoftの特許更新により、リングコントローラーを介してAR/VRヘッドセットを操作する方法が明らかに

＃＃＃＃図４ｃ〜４ｄは、親指２０２が人差し指に沿ってスライドするときに、距離Ｘ３０１と距離Ｙ３０２がどのように変化するかを示している。親指２０２の腹側が人差し指２０１に沿って左から右にスライドすると、第２センサ１０６は親指２０２のスライドを検出し、検出データをコントローラ１０７に送信することができる。同時に、第１のセンサ１０５は、図４ｄに示すように、人差し指２０１がその位置を維持していることを検出し、検出されたデータをコントローラ１０７に送信することができる。

＃＃＃＃上述の第１および第２の組の動きに基づいて、コントローラ１０７は、人差し指２０１と親指２０２との間の上述の相対的な動きを決定することによって、マルチフィンガージェスチャを検出することができる。そして、コントローラ１０７は、マルチフィンガージェスチャに基づいて、端末装置３００に関連付けられたアクションをトリガする。

＃＃＃＃例えば、制御部１０７は、「右」操作に対応する制御信号を生成して、端末装置３００を制御してもよい。同様に、図４ｃに示すように、人差し指２０１の間の上述の相対運動を決定することによって検出された複数指ジェスチャに基づいて、親指２０２の腹側を人差し指２０１に沿って右から左にスライドさせる。コントローラ１０７は、「左」操作に対応し、端末装置３００に関連付けられた動作をトリガする制御信号を生成する。

図４ｅ〜４ｆは、人差し指２０１が親指２０２に沿って上下にスライドするときの距離Ｘ３０１と距離Ｙ３０２の変化を示す。上記と同様に、人差し指２０１の側部が親指２０２に沿って下方にスライドすると、第２のセンサ１０６は、人差し指２０１の中間部２０５の腹部が下方に移動していることを検出し、検出データを送信することができる。コントローラ１０７へ。同時に、第１のセンサ１０５は、図４ｅに示すように、親指２０２が静止状態にあることを検出し、検出されたデータをコントローラ１０７に送信することができる。

＃＃＃＃上述の第１および第２の組の動きに基づいて、コントローラ１０７は、人差し指２０１と親指２０２との間の上述の相対的な動きを決定することによって、マルチフィンガージェスチャを検出することができる。次に、コントローラ１０７は、マルチフィンガージェスチャに基づいて、端末装置３００に関連するアクションをトリガし、図４ｅに示すように、「ダウン」操作に対応する制御信号を生成することによって端末装置３００を制御する。

同様に、図4fに示すように、人差し指201と親指202の間の上述の相対運動を決定することによって検出された複数指ジェスチャの場合、人差し指201の中間セクション205の腹側部分については、親指２０２に沿って上方向にスライドさせると、コントローラ１０７は、「上」操作に対応する制御信号を生成することによって、端末装置３００に関連付けられた動作をトリガする。

＃＃＃一実施形態では、コントローラ１０７は、第１の指２０１と第２の指２０２との間の相対運動を決定することによってタッピングジェスチャを検出することができる。

＃＃＃指の異なるタッピングセグメントに対して、コントローラ１０７は異なる動作をトリガすることができる。例えば、コントローラ１０７は、第１の指２０１が第２の指２０２の第２の部分をタップしたことの検出に応答して第１の動作をトリガし、第１の指２０１が第２の指の第３の部分をタップしたことの検出に応答して第１の動作をトリガしてもよい。指２０２：第１の動作とは異なる第２の動作。

＃＃＃図４は、親指２０２が人差し指の最も外側のセグメント２０４（すなわち、第３のセグメント）をタップするか、または最も外側のセグメント２０４の近くをタップするときに、距離Ｘ３０１および距離Ｙ３０２がどのように変化するかを示す。この場合、第１のセンサ１０５は、親指２０２が最も外側のセグメント２０４に近づいていること、および／または最外側のセグメント２０４から遠ざかっていることを検出し、検出されたデータをコントローラ１０７に送信することができ、一方、第２のセンサ１０６は、人差し指が静止したままであることを検出することができる。、図４ｅに示すように、検出されたデータをコントローラ１０７に送信する。

上記の第1および第2のセットの動きに基づいて、コントローラ107は、人差し指201と親指202の間の上記の相対的な動きを決定することによって、マルチフィンガージェスチャを検出する。そして、制御部１０７は、マルチフィンガージェスチャに基づいて、ＯＫ操作に対応する制御信号を生成することにより、端末装置３００に関連付けられたアクションをトリガする。

＃＃＃図４ｈは、親指２０２が人差し指の中間セグメント２０５をタップするか、中間セグメント２０５の近くをタップするときに、距離Ｘ３０１および距離Ｙ３０２がどのように変化するかを示す。この場合、第１のセンサ１０５は、親指２０２が中央部２０５に向かって、および／または中央部２０５から離れるように動いていることを検出し、検出されたデータをコントローラ１０７に送信することができる。同時に、第２のセンサ１０６は、図４ｅに示すように、人差し指が動いていないことを検出し、検出されたデータをコントローラ１０７に送信することができる。

＃＃＃＃上記の第１および第２のセットの動きに基づいて、コントローラ１０７は、人差し指２０１と親指２０２との間の相対的な動きを検出することによって、マルチフィンガージェスチャを認識することができる。そして、制御部１０７は、複数指ジェスチャに応じた「キャンセル」操作に対応する制御信号を生成し、端末装置３００上でそれに関連付けられた別の動作をトリガする。

＃＃＃上記からわかるように、第１のセンサ１０５および第２のセンサ１０６は、人差し指２０１と親指２０２の間の１つまたは複数の微妙な相対運動を検出することができ、コントローラ１０７は、１つまたは複数の動きのセットを決定することができる動作は、複数指のジェスチャを検出し、複数指のジェスチャに基づいて関連する端末装置３００を制御することによって行われる。これらの動作は、「ぶら下がる」または「手を上げる」動作よりも使用する筋肉が少なく、動作中の疲労が軽減されます。

＃＃＃また、第１および第２のセンサ１０５、１０６によって検出できる動作は、非常に直観的で理解しやすい。同時に、アクションを実行するときに自然な触覚フィードバックが得られるため、スターオフィサーのアクションを実行するのに目がまったく不要になります。

＃＃＃従来の方向カーソル操作に加えて、シングルモーションジェスチャモードでは、特定の複数指ジェスチャを検出することによって、ウェアラブルデバイス１００は、Ｘ−Ｙスライダ（７ａ）およびデュアルボタン（７ｂ）機能を実装することができる。したがって、ウェアラブルデバイス１００は、ヘッドマウントディスプレイなどのデバイスの入力モードとして機能することができる。

1 本指のジェスチャに加えて、8a および 8b に示すように、関連するジェスチャには複数指のジェスチャが含まれる場合があります。この場合、コントローラ１０７は、第１の指２０１を第２の指２０２に沿って相対的にリズミカルに繰り返す第１の指２０１のシャトルスライド動作などの一連の動作に従って制御信号を生成することによって、１つまたは複数の動作をトリガすることができる。第２の指２０２のタップ動作、またはそれらの組み合わせ。

＃＃＃＃例えば、マルチアクションジェスチャモードにおいて、第１の指２０１が第２の指２０２に沿ってシャトルのスライド動作をリズミカルに繰り返す場合、コントローラ１０７は、上記アクショングループを決定することによってマルチフィンガージェスチャを検出することができる。検出されたマルチフィンガージェスチャに基づいて、コントローラ１０７は、例えば、関連する端末装置の特定の機能を起動する起動操作に対応する制御信号を生成することによって、アクション、すなわち、第１のアクションをトリガすることができる。

＃＃＃第２の指２０２が第１の指２０１に沿ってシャトルのスライド動作をリズミカルに繰り返すことに応答して、コントローラ１０７は、上記の一連の動作を決定することによってマルチフィンガージェスチャを検出することができる。検出された複数指ジェスチャに基づいて、コントローラ１０７は別のアクション、すなわち第２のアクションをトリガすることができる。

＃＃＃＃例えば、第２の指２０２に沿った第１の指２０１の急速な（例えば、約１２０／分以上）リズミカルに繰り返されるシャトルのスライド運動に応答して、複数回（例えば、３回以上）、コントローラ１０７は、複数の指のジェスチャは、上で説明したように一連の動きを決定することによって検出されます。検出された複数指ジェスチャに基づいて、コントローラ１０７は、制御信号を生成することによってアクションをトリガすることができる。

＃＃＃マルチアクションジェスチャモードでは、コントローラ１０７が複数のアクションセットに基づいてより多くのアクションをトリガできる、すなわち、ウェアラブルデバイス１００が複数の方法で端末デバイスを制御できることが分かる。

＃＃＃＃マルチアクションジェスチャモードでは、コントローラ１０７にアクションをトリガさせることができる一連のアクションは、日常生活ではめったに現れない特別なアクションのセットでなければならない。たとえば、「速い、速い、遅い、速い」または「遅い、速い、遅い、速い」など、めったに発生しない一連のリズミカルな動きを使用します。ここで、「速い」とは、第２の指２０２に沿った第１の指２０１の速いスライド動作を指し、「遅い」とは、速いスライド動作を指す。

＃＃＃図９は、ウェアラブルデバイス１００に実装される方法のフローチャートを示す。

＃＃＃＃１３２０で、第１の指２０１とは異なる第２の指２０２の１つまたは複数の動きの第２のセットが第２のセンサ１０６で検出される。

＃＃＃＃次に、１３３０において、コントローラ１０７を介して、第１および第２のセットの動きに基づいて、第１の指２０１と第２の指２０２との間の相対的な動きを決定することができ、それによって複数指のジェスチャ検出が実現される。

＃＃＃＃１３４０には、マルチフィンガージェスチャ制御によって互いに関連付けられた端末装置３００とウェアラブル装置１００が存在する。

＃＃＃ウェアラブルデバイス１００が人差し指に装着されている場合、図１０は、シングルモーションジェスチャモードで認識アルゴリズム１４００を実行するコントローラ１０７の例を示す。

＃＃＃＃１４０１で、シングルモーションジェスチャモードが有効になり、その後、１４０２で、コントローラ１０７は、最大距離Ｙと最小距離Ｙとの差が閾値より大きいか小さいかに基づいて、距離ｙ３０２が変化するかどうかを判定する。差分Ｙ、最大距離Ｙ認識期間内に第２センサ１０６が検出した最大値を示す。同様に、最小距離Ｙは、認識期間内に第２センサ１０６によって検出された最小値を表す。最大距離Ｘは、認識周期内で第１センサ１０５によって検出される最大値を指し、最小距離Ｘは、認識周期内で第１センサ１０５によって検出される最小値を指す。

1406において、距離y302が変化する場合、つまり、最大距離Yと最小距離Yとの差が閾値差Yより大きい場合、コントローラ107は、最終的な距離y302が変化したかどうかを判断することによってマルチフィンガージェスチャを検出する。最終的な距離 Y が最大距離 Y と最小距離 Y の平均より大きいかどうかを判断することによって、距離 Y が大きいかどうかを判断します。

＃＃＃＃最終距離Ｙが平均値よりも大きい場合、つまり、最終距離Ｙが大きい場合、コントローラ１０７は、中間セクション２０５の腹側が移動するアクションセットに対応するマルチフィンガージェスチャを検出することができる。人差し指２０１が上方に移動する。次に、コントローラ１０７は、「上」操作に対応する制御信号を生成することによって動作をトリガする。逆に、最終距離Ｙが平均値よりも小さい場合、つまり、最終距離Ｙが小さい場合である。このようにして、コントローラ１０７は、人差し指２０１の中セグメント２０５の腹側が下方に移動する一連の動きに対応するマルチフィンガージェスチャを検出することができる。コントローラ１０７は、「ダウン」操作に対応する制御信号を生成することによって動作をトリガする。

＃＃＃＃距離ｙ３０２が変化しない場合、すなわち、最大距離Ｙと最小距離Ｙとの差が基本的に閾値差Ｙに等しい場合、コントローラ１０７は、最大距離Ｘと最小距離との差が大きいか否かを判定する。 X が閾値差 X より大きい距離 x301 が変化したかどうか。そして、制御部１０７は、最終距離Ｘが最大距離Ｘと最小距離Ｘとの平均値より大きいか否かを判定することにより、最終距離Ｘが大きいか否かを判定し、マルチフィンガージェスチャを検出する。

最終距離 X が平均値、つまり最終距離より大きい場合次に、コントローラ１０７は、「左」操作に対応する制御信号を生成することによって動作をトリガする。

最終距離の場合次に、コントローラ１０７は、「右」操作に対応する制御信号を生成することによって動作を開始する。

同様に、マルチアクションのジェスチャ認識アルゴリズムも非常にシンプルです。前述したように、マルチアクションジェスチャの特別なアクションセットは、ユーザーが事前に設定することも、手動で設定することもできます。次いで、認識アルゴリズムは、ユーザによって実行された一連の動作が特定の動作と実質的に一致するかどうかを検出することによって特定の制御信号を生成し、コントローラ１０７に動作をトリガさせることができる。

＃＃＃＃認識アルゴリズムの単純性を利用し、通信モジュール１１４としてＢｌｕｅｔｏｏｔｈｌｏｗＥｎｅｒｇｙに基づくモジュールを採用することにより、ウェアラブルデバイス１００の低消費電力を実現することができる。