ホームページ テクノロジー周辺機器 AI Microsoft、AR/VR 身体姿勢キャプチャ向けに多関節オブジェクトの姿勢を予測する特許技術を提案

Microsoft、AR/VR 身体姿勢キャプチャ向けに多関節オブジェクトの姿勢を予測する特許技術を提案

Sep 18, 2023 pm 07:37 PM
ar/vr マイクロソフトの特許 体位キャプチャ

(Nweon 2023 年 9 月 18 日) 人間のユーザーの現実世界の姿勢を正確に表現するには、通常、ユーザーの身体部分の位置と方向に関する比較的詳細な情報が必要ですが、この情報は常に利用できるわけではありません。たとえば、ヘッドセットを使用して仮想現実体験を提供する場合、システムはユーザーの頭と手に関連する空間情報しか取得できない場合があります。ただし、ほとんどの場合、人間のユーザーの実際のポーズを正確に再現するにはこれでは十分ではありません

そこでマイクロソフトは、「多関節オブジェクトの姿勢予測」という特許出願で、多関節オブジェクトの姿勢を予測する技術を提案しました。特に、機械学習モデルは、多関節オブジェクトのn個の異なる関節の空間情報を受け取ります。ここで、n個の関節は、多関節オブジェクトのすべての関節よりも小さいです。

人間ユーザーの場合、n 個の関節には人間ユーザーの頭部関節および/または 1 つまたは 2 つの手首関節が含まれ、これらはユーザーの頭および/または手のパラメーターの詳細を示す空間情報に関連付けられます

機械学習モデルは、多関節オブジェクトの n m 個のジョイントに関する入力空間情報を受け取るようにトレーニングされています。ここで、m は 1 以上です。たとえば、初期トレーニング中に、機械学習モデルは、多関節オブジェクトのほぼすべての関節に対応する入力データを受け取ります。 n m 個の関節は、多関節オブジェクトの各関節を含み得る。

他の例では、多関節オブジェクトのすべてのジョイントよりも少ない n m 個のジョイントが存在する可能性があります。トレーニング プロセス中、機械学習モデルに入力されたデータは徐々に隠蔽される場合があります。事前定義された値を使用して、m 個のノード内の特定のノードの対応する入力データを置き換えることも、単純に

を省略することもできます。

言い換えれば、機械学習モデルは、多関節オブジェクトのさまざまな可動部分の位置/方向に関する情報が徐々に少なくなり、多関節オブジェクトの姿勢を正確に予測するようにトレーニングされます。

Microsoft、AR/VR 身体姿勢キャプチャ向けに多関節オブジェクトの姿勢を予測する特許技術を提案

このアプローチを使用すると、機械学習モデルは実行時に多関節オブジェクトの姿勢を正確に予測でき、必要なのはまばらな入力データだけです。 Microsoft は、このテクノロジにより、各関節の向きに関する大量の情報を必要とせずに、人間のユーザーに対して多関節オブジェクトの現実世界のポーズを正確に再現できると述べています。

言い換えれば、発明は、人間のユーザーの実世界のジェスチャーをより正確に再現することにより、人間とコンピューターの対話を改善する技術的利点を提供することができます。これらの技術的利点には、仮想現実体験の没入感の向上やジェスチャ認識システムの精度の向上が含まれます

さらに、説明されているテクノロジーは、姿勢予測プロセスへの入力として収集する必要があるデータの量を削減することで、人間のユーザーの実際の姿勢を正確に再現しながら、コンピューティング リソースの消費を削減できます。

例の方法 200 は、多関節物体の姿勢を予測するための図 2 を示しています。

Microsoft、AR/VR 身体姿勢キャプチャ向けに多関節オブジェクトの姿勢を予測する特許技術を提案

ポイント 202 で、多関節オブジェクトに使用される n 個のジョイントの空間情報を受け取ります。システムは、多関節オブジェクトの n 個の関節の空間情報を受け取ります。これには、多関節オブジェクトのすべての関節よりも少ない関節が含まれます。関節の空間情報を身体各部を結ぶ6自由度の位置と向きとして表現し、関節の状態を推定することができます

###一例として、n個の関節は人体の頭部関節を含むことができ、頭部関節の空間情報は人体の頭部のパラメータを詳細に記述することができる。また、n個の関節は、人体の1つ以上の手首関節を含み、1つ以上の手首関節の空間情報は、人体の1つ以上の手のパラメータを詳細に記述することができる。

Microsoft、AR/VR 身体姿勢キャプチャ向けに多関節オブジェクトの姿勢を予測する特許技術を提案 図 3 は人間のユーザーを示しています。人間のユーザは、頭300と2つの手302Aおよび302Bを有する。コンピューティングシステムは、頭部および/または手首の関節を含む、人間のユーザーの1つまたは複数の関節に関する空間情報を受信することができる。

多関節オブジェクトの n 個の関節の空間情報は、1 つまたは複数のセンサーによって出力された位置データから導き出すことができます。センサーは、人間のユーザーの対応する体の部分によって保持または着用される 1 つまたは複数のデバイスに統合することができます。

たとえば、センサーには、ヘッドマウント ディスプレイ デバイスおよび/またはハンドヘルド コントローラーに統合された 1 つまたは複数の慣性測定ユニットが含まれる場合があります。別の例として、センサーには 1 つ以上のカメラが含まれる場合があります。

図 3 は、さまざまな種類のセンサーを概略的に示しており、センサーからの出力には空間情報が含まれるか、空間情報の導出に使用されます。具体的には、人間のユーザは、頭部300にヘッドマウントディスプレイ装置304を装着する。

### さらに、人間のユーザは、ユーザの手の動きを検出してヘッドセット304および/または空間情報を受信するように構成された別のコンピューティングシステムに報告するように構成され得る位置センサ306Aおよび306Bを保持する。

図 2 では、204 の状況に戻ります。 n 個の関節の空間情報を、事前にトレーニングされた機械学習モデルに渡します。このモデルは、n m 個の関節の空間情報を入力として受け取ります。ここで、m の値は 1 以上です。言い換えれば、前のトレーニング モデルと比較して、この機械学習モデルは受け取る関節空間の情報が少なくなります

####206において、関節オブジェクトの姿勢予測が機械学習モデルからの出力として受信される。予測は少なくともn個の関節の空間情報に基づいており、それらの関節の空間情報は含まれない。つまり、m 個の関節の空間情報が提供されていなくても、機械学習モデルは関節オブジェクトの完全な姿勢を予測できます。

回路図4は、このプロセスを説明するための機械学習モデル400の例を示しています。

Microsoft、AR/VR 身体姿勢キャプチャ向けに多関節オブジェクトの姿勢を予測する特許技術を提案図4では、機械学習モデルは、3つの異なる関節J1、J2、およびJ3に対応する空間情報402を受け取ります。関節の空間情報は、関節に接続された身体部分の位置および/または方向を特定する、またはそれらを導出するために使用できる任意の適切なコンピュータデータの形式をとることができる。

####たとえば、空間情報は、身体部分の位置および方向を直接指定することができ、および/または空間情報は、1つまたは複数の回転軸に対する関節の1つまたは複数の回転を指定することができる。図4では、ユーザの体に重ねられた影付きの円によって示されるように、関節J1、J2、J3は、人間のユーザの頭部関節404Aと2つの手首関節404B/404Cに対応する。

この例では、n 個の関節には人体の頭関節と手首関節に相当する 3 つの関節が含まれています。入力空間情報402に基づいて、機械学習モデルは多関節物体の予測姿勢406を出力する。

さらに、機械学習モデルは、仮想ヒンジによって表される関節に対応する予測された空間情報を出力できます。人間のユーザーは、漫画のようなプロポーションまたは人間以外のプロポーションを持つアバターで表すことができます。例えば、予測された空間情報は、SMPLによって表される関節に対応することができる。

言い換えれば、多関節表現の仮想表現の関節は、多関節オブジェクトの関節と 1:1 の対応関係を持つ必要はありません。したがって、機械学習モデルによって予測される空間情報出力は、多関節オブジェクトの n m 個の関節に直接対応しない関節に関するものである可能性があります。たとえば、仮想表現では、多関節オブジェクトよりも脊椎関節の数が少ない場合があります。

機械学習モデルは、適切な方法でトレーニングできます。一実施形態では、機械学習モデルは、多関節オブジェクトのグラウンドトゥルースラベルを含むトレーニング入力データを使用して事前にトレーニングされていてもよい。

言い換えれば、多関節オブジェクトの関節のトレーニング空間情報を機械学習モデルに提供し、空間情報に対応する多関節オブジェクトの実際の姿勢を指定するグラウンド トゥルース ラベルとしてマークすることができます。

前述したように、機械学習モデルは、n m 個の関節の空間情報を入力として受け取るようにトレーニングできます。これには、最初のトレーニング反復で、すべての n m ジョイントのトレーニング入力データを機械学習モデルに提供することが含まれます。後続の一連のトレーニング反復では、m 個の関節のトレーニング入力データを徐々にマスクすることができます。

たとえば、2 回目のトレーニング反復では、m 個のジョイントのうちの最初のジョイントをマスクできます。この場合、トレーニング データセット内のジョイントの空間情報は、マスクされたジョイントを表す事前定義された値に置き換えられるか、単に省略されます。

例として。 3 回目のトレーニング反復では、m 個のジョイントのうち 2 番目のジョイントをマスクすることができ、m 個のジョイントすべてがマスクされるまで続き、n 個のジョイントの空間情報のみが機械学習モデルに提供されます。

このプロセスは、図 5a ~ 5d に示されています。具体的には、図5Aでは、機械学習モデル400にトレーニング入力データセットが提供される。この実施形態では、トレーニング入力データは、第1の姿勢502Aおよび第2の姿勢502Bを含む多関節オブジェクトの複数の異なる姿勢に対応する空間情報を含む。

図 5A では、機械学習モデルの多関節オブジェクトの n m 個の関節の空間情報を提供します。この人体の簡略化された表現では、関節を表す各円が白い塗りつぶしパターンで表現されています。ただし、図 5B では、コネクタ 504A の円

を表す黒い塗りつぶしパターンで示されているように、504A をシールドしています。

言い換えると、図 5A はトレーニング プロセスの最初の反復を表しており、n m 個の関節すべての空間情報が機械学習モデルに提供されます。図5Bは、訓練プロセスの2回目の繰り返しを示しており、m個の関節のうちの最初の関節504A##がマスクされている。

Microsoft、AR/VR 身体姿勢キャプチャ向けに多関節オブジェクトの姿勢を予測する特許技術を提案 #### 図5Cでは、ヒンジによって表されるm個の関節のうちの第2関節504Bがブロックされている。同様に、図 5D では、m 個の関節のうち 3 番目の関節が閉塞されています。 m 個の関節のそれぞれの空間情報がマスクされ、n 個の関節の空間情報のみが機械学習モデルに提供されるまで、複数のトレーニング反復を続けることができます。

上記のシナリオでは、多関節オブジェクトが人体の全身である状況を説明します。ただし、多関節オブジェクトは他の形式を取ることもできます

Microsoft、AR/VR 身体姿勢キャプチャ向けに多関節オブジェクトの姿勢を予測する特許技術を提案図 7 に示すように、多関節オブジェクトは人間の手であり、人体全体ではありません。具体的には、図7は、機械学習モデル700の例を示す。

####機械学習モデル700は、関節J1、J2、およびJ3に関する空間情報を受け取る。これらは、この例では人間の手706の形態をとる多関節オブジェクトの3つの関節704A〜Cに対応する。

この場合、具体的には、n 個の関節には、人間の手の 1 つ以上の指の関節が含まれます。 1 つまたは複数の指の関節の空間情報は、人間の手の 1 つまたは複数の指または指セグメントのパラメータを詳細に示します。たとえば、空間情報は、手の指の位置/方向、および/または手の関節に適用される回転を指定する場合があります。 #### 位置センサー708などを介して、任意の適切な方法を使用して関節腔情報を収集することができる。たとえば、位置センサーは、手を画像化するように構成されたカメラの形式を取ることができます。別の例として、位置センサーには、手の表面を電磁場にさらし、アンテナでの電磁場インピーダンスに対する導電性人間の皮膚の動きと近接の影響を評価するように構成された適切な無線周波数アンテナが含まれる場合があります。

入力空間情報 702 に従って、機械学習モデルは予測された空間情報のセット 710 を出力します。空間情報710は、多関節物体の予測された姿勢を構築するために使用され得る。前述したように、この空間情報は多関節オブジェクトの身体部分の位置と方向を表すことができます。

関連特許

: Microsoft Patent | 多関節オブジェクトの姿勢予測

マイクロソフトは当初、2022 年 6 月に「多関節オブジェクトのポーズ予測」という特許出願を提出しており、この出願は最近米国特許商標庁によって公開されました。

以上がMicrosoft、AR/VR 身体姿勢キャプチャ向けに多関節オブジェクトの姿勢を予測する特許技術を提案の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Apple AIGC 特許: 音声コマンドを通じて AR/VR 仮想シーンを生成可能 Apple AIGC 特許: 音声コマンドを通じて AR/VR 仮想シーンを生成可能 Jul 16, 2023 pm 05:49 PM

Metaは昨年2月、AIGCのゲームプレイをベースにした仮想世界開発機能「BuilderBot」のデモンストレーションを行い、音声コマンドを認識して仮想シーン内に対応する要素を生成する機能を特徴としており、VRシーン生成の難しさを簡素化できるとしている。 USPTOが最近公開したAppleの特許でも同様のコンセプトが指摘されており、例えばユーザーはSiri音声アシスタントに命令して、物理的なシーンに仮想家具を追加したり、家具の色を変更したりすることができる。 Qingting.com によると、特許番号は US20230206912A1 で、主にワード プロセッサ (テキストの入力、フォントの変更など) や XR シーンなどの制御に使用できる一連の新しい Siri 音声コマンドについて説明しています。 XR専用に設計されたものではありませんが、特許を取得しています。

AR/VR および拡張現実開発をサポートするための Linux システムの構成 AR/VR および拡張現実開発をサポートするための Linux システムの構成 Jul 05, 2023 am 11:17 AM

AR/VR および拡張現実開発をサポートするための Linux システムの構成 はじめに: 拡張現実 (AR) および仮想現実 (VR) テクノロジの開発に伴い、ますます多くの開発者がこれらの新しい分野に注目し始めています。 AR/VR および拡張現実の開発では、Linux システムを正しく構成することが非常に重要です。この記事では、AR/VR および拡張現実開発をサポートするように Linux システムを構成する方法を紹介し、対応するコード例を示します。ステップ 1: 必要なソフトウェアをインストールする 開始する前に、Linux システムに

Microsoft の特許が AR/VR 光投影校正干渉用のモニタリング光源ソリューションを提案 Microsoft の特許が AR/VR 光投影校正干渉用のモニタリング光源ソリューションを提案 Aug 25, 2023 pm 01:01 PM

(Nweon 2023 年 8 月 24 日) XR 機器には、通常、左側のビーム パスに接続された左側のプロジェクターと、右側のビーム パスに接続された右側のプロジェクターが含まれています。左側のプロジェクターは、左側の画像を生成し、その左側の画像を左側のビーム経路を通じてユーザーの左目に伝播するように構成されています。正しいプロジェクターは正しい画像を生成するように構成されており、画像は正しいビーム経路を通ってユーザーの右目に届きます。この XR デバイスの構造は、通常の使用、温度変化、衝撃により変化する可能性があります。 R デバイスの構造が変更されると、画像の視軸が失われ、位置が正しく配置されなくなる可能性があります。この問題は、メガネ型デバイスではさらに深刻になる可能性があります。キャリブレーション画像を投影し、そのキャリブレーション画像を使用して表示が正しいかどうかを判断するように XR 機器を構成します。

AR/VR ソリューション プロバイダーの Vection が VR 小売ソリューション プロバイダーの Invrsion を買収 AR/VR ソリューション プロバイダーの Vection が VR 小売ソリューション プロバイダーの Invrsion を買収 Jun 09, 2023 pm 10:19 PM

6月8日のニュースによると、AR/VRソリューション企業のVectionは、ファッションと小売分野でのXRソリューションと市場機会の加速を目的として、VRスマート小売ソリューションプロバイダーのInvrsionの買収を発表した。買収完了後、Invrsion のテクノロジーは Vection の INTEGRATEDXR スイートと統合され、顧客のニーズをより適切に満たすことができると報告されています。 Qingting.com によると、Invrsion は 2015 年に設立され、以前は 3D 製品デジタル化ビジネスに注力し、6DoFVR に基づくインタラクティブ シミュレーション ソリューションを顧客に提供していました。アプリケーション シナリオには、仮想展示ホール、3D 電子商取引、産業、不動産などが含まれます。クライアント側では、同社はウォルグリーン、フェレロ、ネスレ、コカ・コーラ、D にサービスを提供してきました。

何百もの AR/VR 特許を掘り起こし、Apple XR のあらゆる側面を探索してください 何百もの AR/VR 特許を掘り起こし、Apple XR のあらゆる側面を探索してください Jun 03, 2023 pm 11:40 PM

最近、Apple XR に関する多くのニュースも目にしていますが、さまざまな新事実に注目するよりも、特許から始めて、Apple XR ヘッドセットがどのようなさまざまな方法で再生できるかを確認することをお勧めします。したがって、私たちは近年の Apple の数百件の AR/VR 特許から選択し、XR 製品エクスペリエンスを直接決定し影響を与える可能性のある特許をまとめました。もちろん、これらの特許は 1 つの製品に集中しているわけではないため、Apple XR がどのようなものであるかを正確に伝えることはできませんが、特許を通じてそれを垣間見ることはできます。近年の Apple の AR/VR 特許を整理すると、主に次の特徴が見つかりました: 1) 一部の AR/VR 特許は、PrimeSense、Metaio、NextVR、SMI、Spaces など、以前に買収した企業からのものである; 2) 構造化されているライト

人工知能時代のデザイン業界の未来 人工知能時代のデザイン業界の未来 Apr 10, 2023 am 09:51 AM

人工知能 (AI) はデザインの仕事を引き継ぐのでしょうか? 将来的にはデザイナーに取って代わるのでしょうか? 人工知能について言及されると、すぐに人間の代替として描かれます。人工知能が設計作業の現状を変えることは間違いありませんが、このインテリジェントテクノロジーが人間に取って代わるという考えは完全に正確であるわけではありません。テクノロジーの発展や経済の変化に伴い、ビジネスプロセスが変化するのは当然であり、設計の業務プロセスもその影響を受けます。人工知能がデザインプロセスをどのように大きく変えるかを学ぶにつれて、(デザイナーは)人工知能を脅威と見なすべきではなく、人工知能がデザイン分野にもたらす機会、デザイン実践とデザイン原則への人工知能の影響に焦点を当てる必要があります。 、デザイナーの仕事はどう変わっていくのか。 2 つの設計コンテキストにおける AI の役割設計における AI の役割を理解するには

米国がAR/VR用に6GHz周波数帯を開放、Meta、Apple、Googleが重要措置を表明 米国がAR/VR用に6GHz周波数帯を開放、Meta、Apple、Googleが重要措置を表明 Oct 20, 2023 am 11:25 AM

(Nweon、2023 年 10 月 20 日) CNBC によると、米国連邦通信委員会 (FCC) は最近、6GHz 周波数帯域をウェアラブル デバイスなどの「新しいクラスの超低電力デバイス」に開放することに合意し、この動きは拡張現実および仮想現実ウェアラブルの新しいアプリケーションへの道を開くのに役立ちます。 FCCは声明の中で、このバンドの開設により「ウェアラブル技術、拡張現実、仮想現実を含む最先端アプリケーションのエコシステムの開発が促進され、企業を支援し、学習の機会を増やし、ヘルスケアの機会を促進するだろう」と期待していると述べた。 ."、そして新しいエンターテイメント体験をお届けします。" このニュースについて最初に興奮を表明したのはメタだった。同社のケビン・マーティン氏は声明でこう述べた。

アップルは疲弊しているのか?元マーケティング責任者は、Apple AR/VR ヘッドセットについて楽観的ではありません。 アップルは疲弊しているのか?元マーケティング責任者は、Apple AR/VR ヘッドセットについて楽観的ではありません。 May 26, 2023 pm 11:39 PM

Apple ファンの本拠地、10 年にわたる Apple 携帯電話技術研究のプロ!あなたの周りの Apple エキスパート ~ Apple は近い将来、「Reality Pro」と呼ばれる AR/VR ヘッドセットを発売します。このニュースはもはや秘密ではありませんが、発売日が近づくにつれて、ますます多くの人がこの複合現実に興味を持つようです製品は有望ではありません。これには Apple の内部関係者も含まれており、Apple CEO のティム・クックでさえこのプロジェクトに対してあまり前向きな態度をとっていません。 VRヘッドセット会社オキュラスの創設者パーマー・ラッキー氏は、アップルのヘッドセットを体験した後、この製品を賞賛したが、依然として懐疑的な声を避けることはできない。最近、元アップルのマーケティング担当幹部マイケル・グッテンバーグ氏(マイク・

See all articles