AR/VR 제스처 상호 작용을 위한 객체 감지 및 추적 구성을 개선하기 위한 Qualcomm 특허 제안

최적화된 객체 감지 및 추적 구성

(英伟网Nweon 2024년 1월 4일) 확장 현실 장치는 카메라를 통해 대상 이벤트나 객체를 감지, 추적 및 식별할 수 있습니다. 기존의 추적 시스템은 사용자가 맨손으로 수행하거나 물체를 잡고 있는 사용자가 수행하는 제스처와 같은 사용자 제스처를 올바르게 감지하지 못할 수 있습니다.

'확장 현실 장치의 객체 감지 및 추적'이라는 특허 출원에서 Qualcomm은 최적화된 객체 감지 및 추적 구성을 제안했습니다.

일 실시예에서, 객체 감지 및 추적 장치는 하나 이상의 광학 요소를 포함할 수 있으며, 사용자가 수행하는 입력 제스처를 식별하기 위해 가상 환경에서 사용자의 하나 이상의 객체 또는 신체 부위를 감지할 수 있습니다. 객체 감지 및 추적 장치는 카메라 시야에서 객체를 감지하고 해당 객체가 특정 사용자에 해당하는지 판단할 수 있습니다.

예를 들어, 객체 감지 및 추적 장치는 객체가 사용자에 해당하고 입력 제스처를 제공하는 데 사용되고 있는지 판단할 수 있습니다. 객체 검출 및 추적 장치는 추가적으로 또는 대안적으로 객체가 사용자에 대응하지 않으므로 입력 제스처를 제공하는 데 사용되지 않을 것이라고 결정할 수 있습니다.

다른 실시예에서, 객체 감지 및 추적 장치는 사용자 객체의 고유한 윤곽 감지에 기초하여 추적을 수행하기 위해 객체 감지 및 추적 장치의 메모리에 저장된 명령을 실행하는 하나 이상의 프로세서를 포함할 수 있습니다.

예를 들어, 사용자의 고유 프로필에는 사용자의 손, 손바닥 지문, 손바닥 윤곽, 사용자 손톱 크기, 사용자 손톱 모양, 사물의 색상 등을 특징짓는 하나 이상의 모양이 포함될 수 있습니다. 객체 감지 및 추적 장치는 사용자의 프로필을 기반으로 사용자로부터 하나 이상의 입력 제스처를 감지하기 위해 사용자의 프로필을 기반으로 객체를 추적하기 위한 명령을 수행할 수 있다.

일 실시예에서 객체 감지 및 추적 장치는 하나 이상의 프로세서를 포함할 수 있으며, 프로세서는 하나 이상의 훈련된 기계 학습 프로세스를 수행하여 사용자의 객체를 감지하여 하나 이상의 제스처 입력을 추적하고 수신합니다.

예를 들어, 초기화 과정에서 타겟 탐지 및 추적 장치는 타겟 탐지 및 추적 장치의 카메라 또는 센서에 의해 감지된 객체를 사용자 제스처 입력을 감지하기 위한 객체로 선택하도록 사용자에게 요청할 수 있습니다. 객체 검출 및 추적 장치는 선택된 객체의 복수의 데이터 포인트와 선택된 객체의 다차원 모델을 생성하기 위해 선택된 객체를 특징짓는 이미지 데이터에 훈련된 기계 학습 프로세스를 적용할 수 있습니다.

또한 표적 탐지 및 추적 장치는 훈련된 기계 학습 프로세스를 표적의 다차원 모델에 적용하여 행동 지점을 추정할 수 있습니다. 일례로, 객체 감지 및 추적 장치는 기계 학습 프로세스가 해당 제스처의 3차원 공간에서 동작 지점을 반복적으로 변경할 수 있는 기계 학습 프로세스를 위한 훈련 모드를 구현할 수 있습니다.

예를 들어, 타겟 탐지 및 추적 장치는 생성된 동작 지점을 기반으로 제스처를 결정할 수 있으며, 결정된 제스처가 올바른지 확인하기 위해 사용자에게 확인을 요청하고 받을 수 있습니다.

하나 이상의 프로세서가 객체의 다차원 모델에 기계 학습 프로세스를 적용하여 조회 테이블을 생성할 수 있습니다. 룩업 테이블은 제스처 목록과 객체가 제스처 중에 걸쳐 있을 수 있는 3차원 공간의 추적 지점 시퀀스를 포함할 수 있습니다. 트래킹 포인트는 3차원 공간에서의 각 트래킹 포인트의 x, y, z 좌표를 포함할 수 있다.

훈련 과정이 완료되면 하나 이상의 프로세서가 추적 지점의 값과 시퀀스, 해당 동작을 객체 감지 및 추적 장치의 저장 장치에 조회 테이블로 저장할 수 있습니다. 객체에 대응하는 룩업 테이블은 하나 이상의 프로세서가 객체의 움직임을 추적하면서 객체에 의한 제스처를 감지하고 인식할 수 있게 해준다.

도 1은 예시적인 표적 탐지 및 추적 장치(100)의 블록도이다. 도 1의 실시예에 도시된 바와 같이, 표적 탐지 및 추적 장치(100)는 이미지 센서(112A)와 같은 하나 이상의 이미지 센서(112), 렌즈(113A), 및 카메라 프로세서(114)와 같은 하나 이상의 카메라 프로세서를 포함할 수 있다.

객체 탐지 ​​및 추적 장치(100)는 중앙 처리 장치(116), 인코더/디코더(117), 그래픽 처리 장치(118), GPU(118)의 로컬 메모리(120), 사용자 인터페이스(122), 시스템에 대한 액세스를 제공하는 컴퓨터를 더 포함할 수 있습니다. 메모리(130), 명령 메모리(132), 메모리 컨트롤러(124), 및 디스플레이 인터페이스(126).

객체 검출 및 추적 장치(100)는 사용자 인터페이스(122)를 통해 사용자 입력을 수신할 수 있고, 수신된 사용자 입력에 응답하여 CPU(116) 및/또는 카메라 프로세서(114)는 CPU(116) 및/또는 카메라 프로세서에 대응하는 렌즈를 활성화할 수 있다. 114. 예를 들어, 수신된 사용자 입력은 렌즈(113A)에 의해 보이는 물체/손이 입력 제스처에 대해 추적되어야 하는 사용자의 물체/손이라는 확인에 대응할 수 있습니다.

그림 2A는 XR 시스템의 추적 범위를 보여줍니다. 도 2A는 시야(204)를 갖는 사용자(202)를 포함한다. 도 2A에 도시된 바와 같이, 사용자(202)의 시야(204)는 120도의 각도 확산을 가질 수 있다. 시야(204)는 VR, AR 또는 XR 시스템이 사용자 입력 제스처(202)를 추적할 수 있는 영역일 수 있습니다.

예를 들어 VR, AR 또는 XR 시스템은 시야(204) 내의 객체, 즉 사용자의 손을 추적할 수 있습니다. 시야(204)는 사용자로부터의 제1 반경으로부터 사용자로부터의 제2 반경까지 연장될 수 있다. 도 2a에 도시된 바와 같이, 시야(204)는 사용자(202)의 눈으로부터 약 10cm의 반경으로부터 사용자로부터 60-80cm의 반경까지 확장될 수 있다.

그림 2A는 시야(204)에 있는 사용자(202)의 손을 보여주지만, 서로 다른 사용자의 여러 손이 시야(204)에 나타날 수도 있습니다. VR, AR 또는 XR 시스템은 시야(204)에 삽입된 손을 감지하고, 각 손이 해당 사용자와 연관되어 있는지 여부를 결정하고, 해당 사용자와 연관된 손을 추적할 수 있습니다. 예를 들어 VR, AR 또는 XR 시스템은 각 사용자의 입력 제스처를 감지할 수 있습니다.

그림 2B는 표적 탐지 및 추적을 초기화하는 데 사용되는 배치 영역(206)이 있는 사용자의 시야(204)를 보여줍니다. 도 2B는 시야(204)를 갖는 사용자(202)와 시야(204) 내의 배치 영역(206)을 포함한다.

일 실시예에서, 객체 검출 및 추적 프로세스의 초기화 동안, 객체 검출 및 추적 장치(100)는 가상 환경에서 배치 영역(206)의 하이라이트를 생성하여 사용자(202)에게 표시할 수 있다.

예를 들어, CPU(116)는 검출 유닛(132A)에 저장된 명령을 실행하여 사용자(202)가 배치 영역(206)에 객체를 삽입하라는 요청을 생성할 수 있습니다. 디스플레이 유닛(208)은 배치 영역(206)이 가상 화면에서 강조 표시되도록 할 수 있습니다. 객체 검출 및 추적 장치(100)는 초기화 시, 배치 영역(206)에 존재하는 객체를 사용자(202)의 입력 제스처를 인식하기 위해 추적할 사용자(202)의 객체로 검출할 수 있다.

도 3은 도 1의 객체 감지 및 추적 장치(100)를 이용하여 XR 시스템의 추적 범위에 객체를 삽입하는 모습을 도시한 도면이다. 도 3은 사용자(202)에게 강조된 배치 영역(308)으로의 사용자(202) 손(310)의 삽입 각도 및 삽입 방향을 갖는 배치 영역(308)을 포함한다. 도 3은 배치 영역(308)의 경계(304 및 306)에 의해 둘러싸인 배치 영역(308)을 투영할 수 있는 투영 장치(302)를 포함한다.

프로젝션 장치(302)는 객체 감지 및 추적 장치(100)에 의한 감지를 위해 사용자가 배치 영역(308)에 손(310)을 삽입할 수 있는 각도를 사용자에게 강조할 수 있습니다. 일례에서, 프로젝션 장치(302)는 배치 영역(308)으로의 삽입 방향을 식별하고 손(310)을 감지하는 이미지를 가상 환경에서 생성 및 디스플레이할 수 있다.

일 실시예에서, 타겟 탐지 및 추적 장치(100)는 손(310)의 삽입 각도가 일정 범위 내에 있는지 여부를 판단하고, 판단에 기초하여 손(310)을 사용자의 손으로 식별하는 윤곽 데이터를 생성할 수 있다. 예를 들어, 미리 정해진 범위는 사용자(202)의 시야에 따른 각도 값의 범위일 수 있다.

타겟 탐지 및 추적 장치(100)는 손(310)의 감지 삽입 각도가 미리 정해진 값 범위 내에 있다고 판단하면, 타겟 탐지 및 추적 장치(100)는 손(310)을 사용자가 추적할 대상으로 등록할 수 있다. 마찬가지로, 객체 검출 및 추적 장치(100)는 배치 영역(308)에 삽입되는 방향이 적절한 방향이라고 판단하고, 객체 검출 및 추적 장치(100)는 손(310)을 사용자에게 추적할 객체로 등록할 수 있다.

또 다른 예로, 객체 검출 및 추적 장치(100)는 손(310)의 삽입 각도가 미리 정해진 수치 범위 내에 있지 않다고 판단하여, 손(310)을 사용자와 연관시키지 않을 수도 있다. 유사하게, 객체 검출 및 추적 장치(100)는 배치 영역(308)으로의 삽입 방향이 적절한 방향이 아니라고 결정할 수 있고, 손(310)을 사용자와 연관시키지 않을 수 있다.

이와 같이 객체 검출 및 추적 장치(100)는 손(310)을 추적 대상으로 등록하지 않을 수 있다. 일 실시예에서, 객체 검출 및 추적 장치(100)는 제안된 각도 및/또는 방향으로 손(310)에 다시 들어가도록 사용자(202)에게 요청할 수 있다.

예를 들어, 객체 감지 및 추적 장치(100)는 삽입 각도 및/또는 삽입 방향을 통해 사용자(202)가 손을 삽입할 수 있는 삽입 각도 및/또는 삽입 방향을 사용자(202)에게 나타내기 위해 배치 영역(308) 내부 또는 근처에 투사를 통해 시각적 신호를 제공할 수 있습니다. 310은 XR 시스템을 통해 사용자 202의 손으로 성공적으로 등록되었습니다.

그림 4는 손을 식별하는 데 사용되는 표시 기술을 보여줍니다. 도 4는 손(402, 404)을 포함하며, 각 손은 각각 복수의 랜드마크(406, 408)를 포함한다. 객체 검출 및 추적 장치(100)는 랜드마크(406, 408)에 기초하여 본 명세서에 설명된 바와 같이 사용자(202)의 손을 고유하게 식별할 수 있다.

예를 들어, 각 랜드마크(406, 408)는 각각 사용자(202)의 손(402, 404)의 기하학적 구조를 고유하게 설명하는 점 집합일 수 있습니다. 객체 감지 및 추적 장치(100)는 손 선 그리기를 기반으로 손(402, 404)을 감지하고 식별할 수 있다.

표적 탐지 및 추적 장치(100)는 랜드마크(406, 408)를 표적 탐지 및 추적 장치(100)의 메모리에 저장된 포인트 집합과 비교할 수 있다. 일치 검출에 성공한 객체 검출 및 추적 장치(100)는 배치 영역에 삽입된 손이 사용자(202)의 손이라고 판단하고, 검출된 객체를 사용자(202)의 객체로 등록함으로써, 사용자(202)로부터의 입력 제스처를 추적 및 수신할 수 있다. 사용자(202).

그림 5A는 손을 고유하게 식별하는 데 사용할 수 있는 손바닥 선을 보여줍니다. 도 5A에 도시된 바와 같이, 도 5A는 장문(506)(라인 1-7)을 포함한다. 객체 검출 및 추적 장치(100)는 손바닥 라인(506)을 특징짓는 데이터와 손바닥 라인을 특징짓고 객체 검출 메모리에 저장된 다른 데이터 세트를 비교하는 것에 기초하여 도 5a에 도시된 특징을 갖는 객체를 고유하게 식별하고 검출할 수 있다. 및 추적 장치(100).

일치 성공으로 판단한 후, 타겟 탐지 및 추적 장치(100)는 배치 영역(308)에 삽입된 손을 사용자(202)의 손으로 판단하고, 사용자(202)의 제스처를 판단하는 등 손의 움직임을 추적할 수 있다. 사용자 202. 객체 검출 및 추적 장치(100)는 성공적인 일치를 결정하기 위해 전술한 바와 같이 손바닥 라인(506)을 이용하는 것으로 제한되지 않는다.

일 실시예에서, 객체 검출 및 추적 장치(100)는 손을 고유하게 식별하기 위해 손바닥 윤곽, 손 모양, 손톱 크기, 손톱 모양, 손 색깔 등과 같은 사용자(202) 손의 다른 고유한 특성을 활용할 수 있습니다. . 일단 검출되면, 객체 검출 및 추적 장치(100)는 손을 XR 시스템의 사용자(202)의 손으로 등록하는 윤곽 데이터를 생성할 수 있다. 객체 검출 및 추적 장치(100)는 윤곽 데이터에 기초하여 사용자(202)로부터 입력 제스처를 수신하기 위해 손 동작을 추적할 수 있다.

그림 5B는 손을 고유하게 식별하는 데 사용할 수 있는 손바닥 윤곽 맵을 보여줍니다. 도 5B는 도 5B에 도시된 손바닥 윤곽 이미지 데이터(504)를 포함한다. 손바닥 프로필 이미지 데이터(504)는 객체 검출 및 추적 장치(100)의 카메라(115)에 의해 캡처된 이미지에 기초할 수 있다. 객체 검출 및 추적 장치(100)는 손바닥 프로필 이미지 데이터(504)에 의해 표현되는 손바닥 프로필을 갖는 손을 고유하게 식별하고 검출할 수 있다.

예를 들어, 타겟 탐지 및 추적 장치(100)는 손바닥 프로필 이미지 데이터(504)와 전술한 타겟 탐지 및 추적 장치(100)의 메모리에 저장된 손바닥 프로필 데이터를 비교하여 손바닥 프로필이 일치하는지 판단할 수 있다.

일 실시예에서, 시스템 메모리(132)는 다수의 사용자에 대한 손바닥 프로필 데이터를 저장합니다. 손바닥 윤곽 데이터는 이미지에 캡처된 손 윤곽을 따라 여러 픽셀 위치를 식별하고 특성화할 수 있습니다. 객체 검출 및 추적 장치(100)는 사용자를 식별하기 위해 사용자에 대한 임의의 손바닥 프로필 데이터가 손바닥 프로필 이미지 데이터(504)의 프로필과 일치하는지 여부를 결정하는 동작을 수행할 수 있습니다.

일치에 성공했다고 판단한 후, 타겟 탐지 및 추적 장치(100)는 배치 영역(308)에 삽입된 손을 사용자(202)의 손으로 판단하고, 손 제스처를 사용자(202)의 입력 제스처로 감지 및 추적할 수 있다. .

그림 6은 XR 시스템의 추적 기술을 보여줍니다. 도 6은 시야(604)를 갖는 사용자(602)를 포함한다. 사용자(602)의 시야(604)는 도 6에 도시된 바와 같이 120도와 같은 수 도의 각도 확장을 가질 수 있다. 일반적으로, 시야(604)는 VR, AR 또는 XR 시스템이 사용자(602) 입력 제스처를 추적할 수 있는 실제 환경의 영역일 수 있습니다.

도 6에 도시된 바와 같이, 시야(604)는 사용자의 눈(602)으로부터 약 10 cm의 반경으로부터 사용자로부터 60-80 cm 범위의 반경까지 확장될 수 있다.

그림 7은 손의 20개 지점을 사용한 손 추적 다이어그램을 보여줍니다. 여기에는 20개 지점 각각이 일반 손의 특정 위치에 따라 설명되어 있습니다. 그러나 사용자의 손이 5개가 아닌 4개의 손가락을 가지고 있는 등 불규칙한 모양을 가지고 있거나 사용자가 손을 가리고 있는 경우에는 도 7A에 표시된 20개의 지점 각각이 존재하지 않거나 식별할 수 없습니다.

예를 들어, 그림 8A는 덮개를 씌운 손을 보여주는 개략도입니다. 그림 8A에는 벙어리 장갑이 손을 덮고 있는 손(802)과 손(802)의 모양을 나타내는 윤곽선(804)이 포함되어 있습니다.

그림 7과 비교하면, 사용자의 손을 인식하고 감지하는 데 사용되는 20포인트 모델은 입력 제스처를 인식하는 데 사용되는 손(802)의 움직임을 감지하거나 추적하는 데 사용되지 않을 수 있습니다. 적어도 손(802)은 매핑될 수 없기 때문입니다. 20개 포인트 모두, 또는 20개 포인트 기술을 사용하여 손(802)을 검출하고 추적하기에 충분한 수의 포인트로 매핑합니다.

그림 8B는 불규칙한 모양의 손을 보여주는 개략도입니다. 도 8b는 불규칙한 모양(예: 가운데 손가락이 없음)을 갖는 손(806), 손(806)의 모양을 설명하는 윤곽선(808)을 포함합니다. 도 7과 달리, 사용자의 손을 식별하고 감지하는 데 사용되는 20점 모델은 입력 제스처를 인식하는 데 사용되는 손(806)의 모션을 감지하거나 추적하는 데 사용되지 않을 수 있습니다. 적어도 손(802)이 매핑되지 않을 수 있기 때문입니다. 20개 포인트 모두에 매핑하거나, 20포인트 기술을 사용하여 손(802)을 탐지하고 추적하기에 충분한 수의 포인트에 매핑합니다.

그러나, 도 9에 도시된 초기화 시동 기술을 사용하면 객체 감지 및 추적 장치(100)가 예상치 못한 객체의 모양과 크기를 감지할 수 있습니다.

구체적으로 그림 9는 예상치 못한 모양이나 불규칙한 모양의 손을 추적하는 손 추적 기술을 보여줍니다. 도 9는 윤곽선(904)을 갖는 손(902)을 포함한다. 가려진 손(또는 모양이 불규칙한 손)을 감지한 후, 객체 감지 및 추적 장치(100)는 손(902)의 이미지에 기초하여 손(902)에 대한 복수의 데이터 포인트(906)를 생성할 수 있다.

객체 감지 및 추적 장치(100)는 여러 데이터 포인트(906)를 기반으로 손(902)의 다차원 모델을 생성할 수 있습니다. 예를 들어, 객체 감지 및 추적 장치(100)는 XR 시스템의 하이브리드 환경의 실제 환경에서 손(902)의 하나 이상의 이미지를 캡처하고 3차원 공간에 데이터 포인트(906)를 플롯하여 다차원 모델을 생성할 수 있습니다. 손 902.

다차원 모델은 손(902)의 3D 모델일 수 있습니다. 객체 검출 및 추적 장치(100)는 또한 손(902)의 다차원 모델 및 검출된 제스처에 기초하여 복수의 동작 지점을 생성할 수 있다. 객체 검출 및 추적 장치(100)는 복수의 추적 지점을 더 결정할 수 있다.

추적 지점은 제스처를 할 때 손(902)이 확장될 것으로 예상되는 3차원 공간의 지점일 수 있으며, 추적 지점은 손(902)에 특정한 조회 테이블에 저장될 수 있습니다. 조회 테이블의 추적 지점의 각 시퀀스는 제스처에 대응할 수 있습니다. 손(902)이 3차원 공간에서 이동함에 따라, 객체 검출 및 추적 장치(100)는 룩업 테이블을 이용하여 손(902)의 제스처를 결정할 수 있다.

관련 특허: Qualcomm 특허 | 확장 현실 장치의 객체 감지 및 추적

https://patent.nweon.com/32609

'확장 현실 장치의 객체 감지 및 추적'이라는 제목의 Qualcomm 특허 출원은 원래 2022년 6월에 제출되었으며 최근 미국 특허청에 공개되었습니다.

일반적으로 미국 특허 출원은 검토 후 출원일 또는 우선일로부터 18개월 후에 자동으로 공개되거나, 출원인의 요청에 따라 출원일로부터 18개월 이내에 공개된다는 점에 유의해야 합니다. 응모자. 특허 출원이 공개되었다고 해서 해당 특허가 승인되었음을 의미하는 것은 아닙니다. 특허 출원이 접수된 후 USPTO는 실제 검토를 요구하며, 이는 1~3년 정도 걸릴 수 있습니다.

또한 이는 특허 출원일 뿐 승인을 의미하는 것은 아니며, 실제로 상용화될지 여부와 실제 적용 효과도 확실하지 않습니다.

---

원본링크 : https://news.nweon.com/116552

위 내용은 AR/VR 제스처 상호 작용을 위한 객체 감지 및 추적 구성을 개선하기 위한 Qualcomm 특허 제안의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!