AR 인터페이스에 강력한 힘을 부여하는 세 가지 핵심 기술

이 기사는 기술적인 관점에서 시작하여 최근 출시된 Apple MR을 예로 들어 AR 세계가 의존해야 하는 세 가지 핵심 기술 포인트인 시선 추적, 수동 인식 및 공간 컴퓨팅을 분석합니다. 이 세 가지 기술적 포인트에 대한 저자의 분석을 살펴보겠습니다~

실제 세계에서는 눈으로 관찰하고 손으로 조작하는 것이 가장 자연스러운 상호 작용 방식입니다. AR 세계에서 이러한 자연스러운 상호 작용의 지속을 실현하려면 세 가지 핵심 기술 사항에 의존해야 합니다.

Apple Vision Pro의 출시는 세 가지 기술을 통해 구현되는 자연스러운 상호 작용 기능을 보여주기 때문에 실망하지 않습니다.

1. 시선 추적 기술

현실에서 사물과 더 상호작용해야 한다면 우리는 자연스럽게 그 사물에 시선을 집중하게 됩니다.

이 프로세스는 현재 인터페이스 필드의 두 가지 상태, 즉 활성화 상태(포커스)와 클릭 상태(선택)를 다룹니다. 아이트래킹 기술은 보고 초점을 맞추는 과정을 구현합니다.

이 기술은 확실히 최초의 기술은 아닙니다. AR 안경의 선구자인 Microsoft Holoens 2세대 인터랙션에는 눈을 사용해 초점을 맞추는 기능인 Eye-gaze가 탑재되어 있습니다.

이전에는 1세대 Microsoft Holoens의 머리-시선 상호작용이 실제로 눈으로 보고 활성화하는 개념을 가지고 있었습니다. 그러나 Head-gaze에서는 콘텐츠를 활성화하기 위해 화면 중앙의 점(Gaze)을 제어하기 위해 머리를 약간 이동합니다. 물체에 집중할 필요가 없으며 움직이기 위해 머리에 의존하고 움직이기 위해 눈에 의존하기만 하면 됩니다.

그러나 시선 추적 기술은 자연스러운 상호 작용의 표준을 더 잘 해결할 수 있지만 머리 움직임 상호 작용에도 장점이 있습니다. 예를 들어 현재 우리 팀이 개발한 안경은 머리-시선 상호 작용만 지원할 수 있습니다. 이 인터랙티브 방식은 손/마우스/원격 제어 등을 통한 초점 활성화 방식에 비해 비용과 기술적 난이도가 낮으며, 눈으로 보는 자연스러운 인터랙션 개념에 더 가깝습니다.

또한 시선 추적 기술은 활성화 상태를 구현했지만 아직 선택, 즉 클릭 상태를 실제로 구현하지는 않았습니다. 기능은 내가 확인했다는 것을 기계에 알려주는 것입니다.

엄밀히 말하면 조작이 필요하지 않은 사항에 대해서는 수동 확인 단계를 생략하는 것이 매우 필요합니다. 예를 들어, 간식을 먹거나 TV 프로그램을 볼 때, 모든 작업 전에 더러운 손을 닦지 않아도 되기를 진심으로 바랍니다... 제조 분야에서는 이러한 손을 자유롭게 해야 할 필요성이 종종 제기됩니다. 고객.

더 자연스러운 상호작용을 위해 이것도 상상의 일부가 될 수도 있습니다. 나는 간단한 확인을 위해 뇌파 기술에 의존하기 전에 특허에 대해 썼습니다.

2. 제스처 인식 기술

아이트래킹은 이 부분을 눈으로 보는 상호작용을 만족시키는 반면, 손으로 조작하려면 제스처 인식 기술이 필요합니다.

이것은 이전에 많은 ARVR 장치에 설치된 새로운 기술이 아닙니다. 물론 구현 정도는 실제 경험을 통해 확인해야 합니다.

Vision Pro의 홍보 영상에서는 제스처 인식이 매우 자연스러워 보이며 손을 들 필요조차 없습니다. 이는 4세트의 하향 뷰 카메라에 의존해야 합니다(이것이 아마도 12- 카메라 구성이 필요합니다).

홀로렌즈2의 홍보영상과 비교하면 오버헤드 카메라에 제스처가 가려진 것을 볼 수 있습니다.

동작 인식은 카메라에 의존하기 때문에(컴퓨터는 손이 어떻게 움직이는지 알기 위해 입력이 필요함) 동일한 동작이라도 각도에 따라 다른 결과가 나타나며 인식 결과에도 영향을 미칩니다.

또한 2D 동작 인식과 3D 동작 인식 기술의 경험도 다릅니다.

3. 공간 계산

눈이 더 쉽게 보고 손으로 더 자연스럽게 조작하려면 기기에 공간을 이해하는 능력이 필요합니다. Vision Pro가 홍보하고 싶은 것은 공간 컴퓨팅입니다. 이 기능에 중점을 두는 것은 이 기능이 시대를 나눌 수 있다고 믿게 만듭니다.

"공간 컴퓨팅 시대".

기계에는 공간 컴퓨팅 능력이 있기 때문에 많은 상호 작용이 자연스럽게 발생합니다. 즉, 기계가 공간을 이해하는 능력이 없으면 이러한 상호 작용은 자연스럽게 발생할 수 없습니다. Nerf, SLAM, 3DOF 및 6DOF는 모두 공간 컴퓨팅 기술의 일부이며 여러분이 듣는 모든 것이 이 범주에 속합니다.

경험의 관점에서 볼 때, 공간의 깊이로 인해 발생하는 사물과 사용자 사이의 거리에 대한 인식은 사용자의 관점 방향에 따라 발생하는 사물의 모양 변화입니다. 날씨와 같은 다양한 조명 조건이나 심지어 다른 공간 위치에서 나오는 소리로 인한 시간 및 색상 인식 변화로 인해 공간 컴퓨팅은 디자이너에게 자연스러운 상호 작용을 위한 더 많은 공간을 제공할 수 있습니다.

공간컴퓨팅은 AR이 미래의 일반적인 화면 인터페이스와는 다르게 변할 수 있도록 하는 핵심 기술이라고 할 수 있으며, 우리가 정말로 기대하는 것은 "당신이 보는 모든 것이 인터페이스가 될 수 있다"입니다.

칼럼니스트

Lin Yingluo, WeChat 공개 계정: 숲 속에 그림자가 드리우고 모두가 제품 관리자 칼럼니스트입니다. 카드 놀이를 할 줄 아는 사용자 경험 디자이너, "AR 인터페이스 디자인" 저자, 10년 + UIUX 디자인 경험, 6년 동안 AR 및 지능 분야의 사용자 경험 디자인에 집중 디자인 및 심리학 교육 경력, 국가 전문가. 자격증 시니어 OH 카드 마스터/탤런트 마이닝 코치. 나의 노력이 지능형 미래의 디자인 분야에 가치를 더하고 디자이너의 경력을 더욱 가치있게 만들 수 있기를 바랍니다

CC0 프로토콜을 기반으로 한 Unsplash의 제목 이미지

위 내용은 AR 인터페이스에 강력한 힘을 부여하는 세 가지 핵심 기술의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!