삼성 XR 특허 공유 뇌-컴퓨터 인터페이스는 냄새, 미각 등 완벽한 감각 피드백 자극을 제공합니다.

(2023년 11월 27일) 앞서 첩보에 따르면 삼성은 완전한 메타버스 전략을 수립하고 삼성 중심의 XR 생태계 구축을 목표로 하며, 인재를 적극 채용하고 있다. 특허 출원에 따르면 회사는 실제로 궁극적인 두뇌-컴퓨터 인터페이스를 고려했습니다.

과거에는 뇌-컴퓨터 인터페이스 연구가 Meta, Valve 및 기타 스타트업에서 더 흔했습니다. 물론 Microsoft와 같은 회사도 이를 조사했습니다. 요즘에는 XR 분야에 적극적으로 배포하는 기업들이 보다 발전된 뇌-컴퓨터 인터페이스를 탐색하기 시작하고 있습니다. 삼성은 '정보 생성 방법 및 장치'라는 특허 출원에서 XR 감각 피드백 자극 분야에 뇌-컴퓨터 인터페이스 적용을 제안했습니다

이 회사는 XR 기술에서는 주로 센서를 기반으로 다양한 감각 시뮬레이션이 구현된다고 믿습니다. 하지만 각각의 감각 시뮬레이션은 센서를 통해 구현되기 때문에 그 과정이 번거롭다. 또한 센서가 충분히 포괄적이지 않아 많은 시뮬레이션을 구현할 수 없습니다. 즉, 해당 센서를 사용하여 얻은 효과는 현실과 거리가 멀고 사용자는 현실적인 시뮬레이션을 얻을 수 없습니다.

그래서 삼성은 뇌-컴퓨터 인터페이스 장치를 사용하여 현실적인 감각 시뮬레이션을 제공할 것을 제안합니다. 이 중 시스템은 가상 환경에서 대상 객체에 대한 사용자의 위치 정보를 획득한 후, 위치 정보 및 속성 정보를 기반으로 대상 객체에 해당하는 감각 정보를 결정하고, 최종적으로 감각 정보를 전기 신호로 변환하고, 사용자를 자극하기 위해 뇌-컴퓨터 인터페이스 장치를 통해 전달합니다.

실시예에 따르면, 도 2는 관련 정보 생성 흐름도(200)를 보여준다. 정보 생성 방법은 가상 환경(201)에서 대상 객체에 대한 사용자의 상대적 위치 정보를 획득하는 단계를 포함한다

일 실시예에서, 서로 협력하여 작동하는 하나 이상의 장치를 실행 개체라고 부를 수 있습니다. 실행 주체는 공간적 직각 좌표계를 구축하고, 직각 좌표계에서의 사용자의 위치 정보와 가상 환경에서의 대상 객체의 위치 정보를 실시간으로 획득하고, 사용자의 위치 정보와 객체의 위치 정보를 기반으로 결정할 수 있다. 대상 객체에 대한 사용자의 상대적인 위치 정보입니다.

실행 주체는 직각 좌표계에서의 사용자 위치 정보와 가상 환경에서의 대상 객체의 위치 정보를 주기적으로 얻을 수 있습니다. 대상 개체는 테이블, 물 한잔, 빵 등과 같은 가상 환경의 모든 대상 개체일 수 있습니다.

202단계에서는 대상 물체의 상대적 위치 정보와 속성 정보를 바탕으로 대상 물체에 대응되는 감각 정보를 결정한다.

일 실시예에 따르면, 실행 개체는 가상 환경에서 대상 객체에 대한 사용자의 상대적인 위치 정보를 획득한 후, 대응표 또는 감각 정보 예측에 따라 대상 객체에 대응되는 감각 정보를 더 결정할 수 있다. 모델. 예를 들어, 대응 테이블에는 미리 정해진 상대 위치 정보, 대상체의 속성 정보, 상호 연관된 감각 정보가 저장될 수 있다. 감각 정보 예측 모델은 학습을 통해 결정된 미리 정해진 감각 정보 예측 모델일 수 있다.

실시예에 따르면 대상 객체의 상대적 위치 정보와 감각 정보가 포함된 속성 샘플을 활용하여 모델을 학습함으로써 감각 정보를 예측하는 모델을 얻을 수 있습니다

대상 물체의 감각 정보에는 촉각, 청각, 후각, 미각 중 적어도 하나가 포함될 수 있습니다. 감각 정보는 자극 매개변수로 표현될 수 있습니다. 실제 환경에서 대상 물체에 대해 사용자가 실제로 생성하는 감각 정보를 기반으로 자극 매개변수를 결정할 수 있습니다

흥미롭게도 삼성은 관련 자극기로 뇌 컴퓨터 스타트업 Blackrock의 완전히 프로그래밍 가능한 96채널 신경 자극기인 CereStim을 제안했습니다. 그러나 물론 회사에서는 문제의 장치가 하나의 옵션일 뿐이며 다른 에뮬레이터도 가능하다고 말합니다.

예시 시나리오에서는 사용자가 섭씨 30도에서 물체를 터치하고 신경 포트 신경 신호 수집기를 사용하여 전극 활동이 기록됩니다. 전극에서 기록된 신경 활동은 증폭되어 30kHz의 샘플링 주파수에서 아날로그-디지털(A/D) 샘플링된 다음 신경 포트 신경 신호 프로세서 NSP 시스템을 사용하여 기록됩니다. 그런 다음 CereStim의 Matlab API를 통해 자극 매개변수를 작성하고, 다양한 펄스 자극과 전류 강도 조정을 통해 다시 전극 신호를 얻습니다. 전극 신호가 서로 무한히 가까워지면 섭씨 30도 물체의 자극 매개변수에 닿을 수 있습니다.

마찬가지로 촉각, 청각, 후각에 대한 모든 자극 매개변수를 얻을 수 있습니다.

203가지 연산을 수행할 때 감각정보를 전기신호로 변환하고 뇌-컴퓨터 인터페이스 장치를 통해 사용자를 자극하는 방법입니다

실행 주체는 대상 개체에 해당하는 감각 정보를 파악한 후 뇌-컴퓨터 인터페이스 장치를 사용하여 이러한 감각 정보를 전기 신호로 변환한 다음 사용자의 대뇌 피질의 해당 부분을 자극하여 해당 느낌을 생성할 수 있습니다

다른 실시예에 따르면, 대상 객체의 상대적 위치 정보 및 속성 정보를 기초로 대상 객체에 대응되는 감각 정보를 결정하는 단계는, 사용자의 얼굴 방향 및 대상 객체에 기초하여 대상 객체에 대응되는 감각 정보를 결정하는 것을 포함할 수 있다. 사용자의 머리와 대상 물체 사이의 거리를 측정하고, 상기 후각 정보를 대상 물체에 대응하는 감각 정보로 결정하는 단계;

다른 실시예에 따르면, 상기 방법은 대상 객체에 냄새 속성이 있다고 판단하는 단계, 사용자의 얼굴 방향 및 사용자의 머리와 대상 객체 사이의 거리에 따라 대상 객체에 대응되는 후각 정보를 결정하는 단계를 포함할 수 있다. 대상 객체가 냄새 속성을 갖는다고 판단되면, 후각 정보는 대상 객체에 대응되는 감각 정보로 결정된다.

냄새 속성에는 과일 향기, 꽃 향기, 음식 향기 및 기타 속성 정보가 포함될 수 있습니다.

일 실시예에서는 대상 물체의 상대적 위치 정보와 속성 정보를 활용하여 대상 물체와 관련된 감각 정보를 결정한다. 대상 객체가 소리 속성을 가지고 있음을 확인함으로써, 사용자의 얼굴 방향, 사용자의 머리와 대상 객체 사이의 거리를 기반으로 대상 객체와 관련된 청각 정보를 판단할 수 있으며, 이후 청각 정보는 대상 물체와 관련이 있는 것으로 판단됨

실행 주체는 사용자 머리의 왼쪽과 오른쪽에 있는 웨어러블 포지셔닝 장치를 사용하여 사용자의 왼쪽 좌표와 오른쪽 좌표를 결정하고, 더 나아가 사용자 머리의 왼쪽 좌표와 오른쪽 좌표를 연결하는 선을 결정하고 이를 기반으로 선 위의 좌표와 대상 객체의 좌표가 위치한 평면 방향 사이의 각도에 따라 사용자의 얼굴 방향이 결정됩니다.

그림 3에 따르면, 실행 개체(301)는 UWB 기지국을 원점으로 하여 공간 직각 좌표계를 구축하고, 사용자 머리 왼쪽에 있는 제1 착용형 측위 장치(303)와 제2 착용형 측위 장치를 사용할 수 있다. 사용자 머리 오른쪽의 303. 웨어러블 포지셔닝 장치(304)는 ​​사용자 머리에 해당하는 좌표 A와 B를 획득합니다

예시적인 실시예에 따르면, 착용형 위치 확인 장치(303, 304)는 ​​UWB 칩일 수 있습니다. UWB 기지국은 실행 개체(301)에 의해 구현될 수 있다. A좌표는 칩(303), 즉 사용자 머리의 왼쪽 좌표에 해당하고, B좌표는 칩(304), 즉 사용자 머리 오른쪽 좌표에 해당한다.

동시에 대상 객체(305)의 좌표 M을 구하고, 직선 AB와 M이 위치한 평면 방향 사이의 각도를 사용자 방향으로 결정합니다. 여기서, 대상 객체(305)는 가상의 꽃이며, 실행 개체는 사용자의 얼굴 방향 및 사용자의 머리와 대상 객체 사이의 거리에 따라 미리 설정된 대응표로부터 대상 객체에 대응되는 후각 정보를 결정할 수 있다. 후각 정보는 대상 개체에 해당합니다. 대응표에는 사용자의 얼굴 방향, 사용자의 머리와 대상 물체 사이의 거리 및 관련된 후각 정보가 기록됩니다.

본 실시예에서는 사용자 머리의 왼쪽과 오른쪽에 있는 웨어러블 포지셔닝 장치를 사용하여 사용자 머리의 왼쪽과 오른쪽 좌표를 결정합니다. 사용자의 얼굴 방향은 사용자 머리의 왼쪽과 오른쪽 좌표를 연결한 직선과 대상 객체의 좌표가 위치한 평면의 방향이 이루는 각도를 계산하여 결정됩니다. 이를 통해 사용자의 얼굴 방향을 판단하는 정확도가 효과적으로 향상됩니다

실행 개체는 대상 개체에 대한 사용자 머리의 상대적인 위치 정보를 기반으로 감지할 수 있으며, 대상 개체가 사용자 머리의 미리 정해진 위치에 위치한다는 조건을 기반으로 식용 속성에 해당하는 맛을 판단할 수 있으며, 대상 개체는 대상 개체에 해당하는 감각 정보로 정보를 먹을 수 있습니다.

바나나 맛, 사과 맛 등의 속성 정보를 포함할 수 있습니다.

주의할 점은 대상 물체가 사용자 머리의 미리 정해진 위치에 있다고 판단하기 전에 사용자가 대상 물체를 터치하는 동작이 있을 수도 있고, 사용자가 터치하는 동작이 없을 수도 있다는 점입니다. 미리 정해진 시간 범위 내의 대상 개체.

일 실시예에서는 사용자의 손과 대상 물체 사이의 거리가 미리 정해진 임계값을 충족하는지 여부를 판단하여 사용자가 가상 ​​물체를 터치하는 동작이 있는지 여부를 판단할 수 있습니다.

본 실시예에서는 먼저, 사용자 머리 위의 미리 설정된 대상 물체의 위치와 그 가식 속성에 기초하여, 가식 속성에 대응되는 맛 정보를 대상 물체의 감각 정보로 결정한다. 그런 다음 감각 정보는 전기 신호로 변환되고 뇌-컴퓨터 인터페이스 장치를 통해 자극되어 사용자가 가상 ​​환경에서 물체의 식용 속성을 경험할 수 있도록 돕고 상호 작용의 진정성을 향상시킵니다

개략도는 그림 4

와 같이 정보 생성 방법의 적용 시나리오를 보여줍니다.

그림 4에 표시된 응용 시나리오에서 엔터티(401)는 UWB 기지국을 원점으로 하는 공간 직사각형 좌표계를 설정할 수 있습니다. 사용자(402)의 하나 이상의 신체 부위에 착용 가능한 위치 확인 장치를 사용하면 공간 직사각형 좌표계에서 사용자의 위치 정보를 얻을 수 있습니다

예를 들어, 웨어러블 포지셔닝 장치는 사용자의 손과 머리에 배치될 수 있습니다. UWB 기지국은 실행 개체(401)에 의해 구현될 수 있다. 일 실시예에 따르면, 개체는 가상 축구공과 같은 대상 물체(403)에 대한 위치 정보를 획득하고, 사용자의 위치 정보 및 대상 물체에 대한 위치 정보에 기초하여 대상 물체에 대한 사용자의 상대적인 위치를 결정할 수 있다. 대상 개체 정보입니다.

다음으로, 대응표에 따라 대상 물체에 해당하는 감각 정보를 결정합니다. 이 대응표에는 대상 물체의 미리 설정된 상대 위치 정보, 속성 정보(매끄러움, 부드러움 등) 및 해당 감각 정보가 기록되어 있습니다. 그런 다음 이러한 감각 정보는 전기 신호로 변환되어 뇌-컴퓨터 인터페이스 장치(402

)에 의해 자극됩니다.

정보 생성 방법은 가상 환경에서 대상 객체에 대한 사용자의 상대적 위치 정보를 획득하는 단계, 대상 객체의 상대 위치 정보 및 속성 정보에 따라 대상 객체에 대응되는 감각 정보를 결정하는 단계, 뇌-컴퓨터 인터페이스 장치는 감각 정보를 전기 신호로 변환하여 사용자를 자극합니다. 이는 사용자가 가상 ​​환경에서 사물의 속성을 경험하도록 돕고 상호 작용의 신뢰성을 향상시킵니다.

정보 생성 방법의 흐름도 500인 그림 5를 참조하세요

501 동작에서는 정보 생성 방식을 통해 가상 환경에서 대상 객체에 대한 사용자의 상대 위치 정보를 얻을 수 있습니다

502 동작 수행 시, 사용자의 손과 대상 물체 사이의 거리가 미리 설정된 임계값을 충족하고 대상 물체에 윤곽선 특징이 있는 것으로 판단되면 대상 객체의 윤곽선 특징에 해당하는 촉각 정보가 생성됩니다. 해당 감각정보를 대상 물체로 결정

재작성된 내용: 상대 위치 정보에는 사용자의 손과 대상 개체 사이의 상대적인 위치 정보가 포함될 수 있으며, 실행 개체는 사용자의 손과 대상 개체 사이의 거리를 감지할 수 있습니다. 사용자의 손과 대상 물체 사이의 거리가 미리 정해진 임계값을 만족하고 대상 물체가 윤곽 속성을 가지고 있다고 판단되면, 대상 물체의 윤곽 속성에 대응되는 촉각 정보를 대상 물체에 대응하는 감각 정보로 결정됩니다

프로필, 재질, 질감, 매끄러움, 온도, 품질 및 기타 속성 정보를 포함할 수 있습니다

그 중에서 미리 결정된 임계값은 경험, 실제 요구 사항 및 특정 응용 프로그램 시나리오를 기반으로 설정할 수 있습니다. 예를 들어, 손가락 및/또는 손바닥과 대상체 사이의 거리가 1cm 이하이거나, 손가락 및/또는 손바닥과 대상체 사이의 거리가 0.5cm 이하이고, 이는 본 개시내용에 제한되지 않는다.

구체적으로 시스템은 UWB 기지국을 원점으로 하는 공간 직각 좌표계를 구축하고, 사용자 손에 착용한 데이터 장갑을 이용하여 사용자 손 위치 정보를 획득함과 동시에 대상 물체의 위치 정보를 획득한다. . 대상 물체는 물컵이고, 미리 설정된 임계값은 사용자의 손가락 및/또는 손바닥과 물컵 사이의 거리가 1cm 이하입니다

미리 정해진 임계값을 충족하기 위해 사용자의 손가락 및/또는 손바닥과 물컵 사이의 거리를 결정하고, 물컵의 윤곽 속성, 물컵의 윤곽 속성에 해당하는 촉각 정보를 고려합니다. 물컵의 감각정보로 결정됩니다

동작 503에서는 뇌-컴퓨터 인터페이스 장치를 통해 감각 정보를 전기 신호로 변환하여 사용자를 자극하는 단계를 포함합니다.

도 2의 예시적인 실시예에 도시된 방법과 비교하여, 도 5의 흐름도(500)에 도시된 방법에 따르면, 사용자의 손과 대상 물체 사이의 거리가 미리 정해진 임계값을 만족하는지 확인하기 위해 대상 객체가 윤곽 속성을 갖고 있는 경우, 대상 객체의 윤곽 속성에 대응하는 촉각 정보를 대상 객체에 대응하는 감각 정보로 결정한다.

뇌-컴퓨터 인터페이스 장치를 통해 사용자가 인지한 정보를 전기 신호로 변환하고 사용자가 가상 ​​환경에서 물체의 윤곽 속성을 경험할 수 있도록 자극을 주어 상호 작용의 진정성을 향상시킵니다

추가 읽기: 삼성 특허 정보 생성 방법 및 장치 |

삼성의 특허 출원서 '정보 생성 방법 및 장치'는 원래 2023년 7월에 제출되었으며 최근 미국 특허청에 공개되었습니다.

일반적으로 미국 특허 출원은 검토된 후 자동으로 공개되거나 출원일 또는 우선일로부터 18개월 이내에 출원인의 요청에 따라 공개됩니다. 특허 출원이 공개되었다고 해서 특허가 부여되었음을 의미하는 것은 아닙니다. 특허 출원이 공개된 후 USPTO는 실질적인 검토를 수행해야 하며, 이는 1~3년이 걸릴 수 있습니다

위 내용은 삼성 XR 특허 공유 뇌-컴퓨터 인터페이스는 냄새, 미각 등 완벽한 감각 피드백 자극을 제공합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!