Rokid 알고리즘 책임자 Wang Wenbing: AR의 '소리'는 '훌륭한' 상태입니다.

소리는 우리 일상생활 곳곳에 존재하며 없어서는 안 될 부분입니다. 메타버스 세계에서도 마찬가지입니다. 메타버스의 장면에 대한 완전한 몰입을 달성하기 위해서는 다양한 사운드 기술의 지속적인 업그레이드와 개발이 필요합니다. 최근 51CTO가 주최한 "​​AISummit 글로벌 인공지능 기술 컨퍼런스​"에서 로키드 알고리즘 총괄 왕웬빙(Wang Wenbing)이 "Wonderful"에서 AR 하의 "Sound"에 대해 기조연설을 했다. Land'에서는 로키드가 자체 개발한 6DoF 공간음장 기술의 개념과 주요 기술 모듈, 기술적인 어려움, AR과 결합한 개발 동향, 개발 의도 등을 소개하고, 공간음장 기술의 중요한 구체화에 대해 설명했다. 메타버스 세계.

이제 강의 내용은 다음과 같이 구성됩니다.

6dof 공간음장이란 무엇인가요?

이 문제에 대해 이야기할 때 먼저 기술적 한계를 제쳐두고 AR의 사운드가 어떻게 표현되어야 하는지 상상할 수 있습니다. 실제로 우리가 사용하는 대부분의 TV와 휴대폰은 스테레오처럼 2채널인데, 영화관 등 전문적인 장면에서도 이미 공간적 배치에 스피커가 들어가 있다.

AR에서는 어떻게 표현해야 할까요? 요즘 유행하는 온라인 모임이나 온라인 교육 같은 장면을 상상할 수 있습니다. 오른쪽에 있는 디지털 사람이 메타버스 세계에서 항상 이야기하고 있는데 목소리가 왼쪽에서 나온다면 기분이 이상할까요? 이 시간?

또한, 기존의 2D 비전에서는 시각을 중심으로 소리가 움직일 수 있지만, 3D 장면의 360도 범위에서는 인간의 눈이 전체 장면을 파악할 수 없습니다. 시각적 초점이 있는 반면 소리는 전역 초점을 갖습니다. 이것이 많은 게임에서 사람들이 소리에 따라 관점을 바꾸는 이유입니다. 따라서 우리는 AR의 사운드가 가져야 할 몇 가지 특성을 볼 수 있습니다. 즉, 사운드에 대한 사람들의 높은 민감도, 사운드의 글로벌 포커스 및 사운드의 사실성 요구 사항을 충족해야 합니다.

다음으로 3차원에서 소리 형태의 전개를 소개하겠습니다.

첫째, 공간 표현 차원입니다. 전체 사운드의 표현 차원은 5.1/7.1/9.1/...과 같은 평면의 모노/스테레오부터, 5.1과 같은 공간의 멀티 채널까지 점점 더 많아지고 있습니다. 배치 위치도 평면에서 공간으로 늘어났습니다.

둘째, 인코딩 방식의 차원입니다. 처음부터 채널 기반(즉, 채널 기반 인코딩, 각 채널에는 일반적인 왼쪽 및 오른쪽 채널 표현과 같은 다양한 사운드가 있음)부터 객체 기반(즉, 객체 기반 인코딩)으로 예를 들어, 영화관에서 모두가 본 Dolby Atmos 영화 소스를 포함하여, 포탄이 격추되면 해당 포탄의 물체가 특수하게 코딩되고 그 이동 궤적이 메타데이터에 기록된 후 이를 기반으로 합니다. 해당 스피커 위치가 재생되지만 우리의 궁극적인 목표는 대포알뿐만 아니라 꽃, 풀, 나뭇잎이 떨어지는 소리도 HOA와 같은 파노라마 사운드 방식과 유사하게 장면을 완전히 기반으로 하는 효과를 달성하는 것입니다. 우리 모두는 그것이 공간감을 가질 수 있기를 바랍니다.

셋째, XR 경험 차원입니다. 과거에는 가상 사운드가 현실 세계와 분리되어 있었습니다. 이제 XR, 특히 AR에서는 가상과 현실의 통합을 해왔습니다.

사람들이 소리를 이렇게 세밀하게 구별할 수 있는 이유는 바이노럴 모드 때문인데, 기술적으로 말하면 ITD와 ILD, 즉 두 귀 사이의 시간차와 소리의 세기 차이입니다. 이 두 가지 차이점은 물체의 소리 방향을 빠르게 찾는 데 도움이 됩니다.

그렇다면 어떻게 3D 사운드를 대중화할 수 있을까요? 장소의 한계를 극복하는 방법은 무엇입니까? 사용자 소비 비용을 줄이는 방법은 무엇입니까? 모두가 어떻게 기술을 즐길 수 있나요? Rokid가 자체 개발한 6dof 공간음장은 이러한 문제를 해결하는 데 도움이 될 것입니다.

6dof 공간음장은 이름에서 6dof와 공간음장 두 부분으로 나눌 수 있습니다. 6dof는 주로 6개의 자유도를 표현하는데, 자이로스코프는 XYZ 세 방향을 중심으로 회전을 제공하고, 가속도계는 XYZ 세 방향으로 가속도를 제공합니다.

6dof 공간 음장은 사운드의 생성, 전파, 렌더링, 인코딩 및 디코딩은 물론 프로세스 전반에 걸쳐 가상 사운드와 실제 사운드의 융합 및 상호 작용을 포함합니다.

6dof 공간음장 주요 기술

6dof 공간음장 의 주요 기술 모듈에는 HRTF, 음장 렌더링 및 음향 효과 가 포함됩니다. HRTF는 자유장에서 고막까지의 음원의 충격 함수로, 시뮬레이션된 무향실 환경에서 인간의 귀에 전방위 사운드를 전송하는 과정입니다. 음장 렌더링을 통해 사람들은 청취를 통해 소리의 위치를 ​​구분할 수 있으며, 가상 객체와 실제 객체를 혼합하여 실제 객체가 가상 음원에 미치는 영향을 완벽하게 처리할 수 있습니다. 음향 효과는 프라이버시를 고려하여 설계된 오픈형 스피커를 사용하여 소리 누출을 줄이고 볼륨을 보장하여 음질을 풍부하게 하는 것입니다.

아키텍처 다이어그램 상단의 SDK는 외부 공간 모듈, 즉 공간 엔진 내보내기 및 음성 엔진 내보내기를 제공합니다. 공간 정보를 획득하고 모델링할 수 있어 디지털 세계와 물리적 세계를 통합하는 데 도움이 됩니다.

또한 룸 효과도 일부 수정했습니다. 전체적인 프레임워크는 고전적인 네트워크 구조와 유사합니다. 먼저 네트워크를 구성한 다음 이론적인 무손실 네트워크를 생성합니다. 그런 다음 이 이론을 기반으로 흡수, 폐색, 반사 등 다양한 감쇠 및 손실 관련 설정이 이루어집니다. 등. 사실 우리의 목적은 다양한 음향 효과를 만드는 것이 아닙니다. 단지 극장이나 음악 등 제품의 사용 시나리오를 기반으로 음향 효과를 제공하여 사용자가 좋은 시청각 경험을 얻을 수 있도록 하는 것입니다. 차세대 AR 안경 로키드 맥스.

6dof 공간음장 비교. 왼쪽은 타사 SDK의 영향으로 0도에서 90도로 회전할 때 각 주파수의 변화가 부드럽지 않고 처음에는 감소가 급격하며 이후의 변화는 매우 작습니다. 오른쪽의 Rokid가 만든 6dof 공간 음장은 위치 변화에 따라 다양한 주파수 대역에서 뚜렷한 변화를 보입니다. 그림은 다양한 각도, 다양한 주파수 대역 및 진폭의 성능을 보여줍니다.

6dof 공간음장의 발전 추세

메타버스 시대의 도래와 AR, VR 기술의 대두와 함께 공간음장의 발전도 새로운 기회를 열었습니다.

공간 음장의 발전 추세는 주로 다음 세 가지 측면에 반영됩니다.

첫째, 몰입은 사람들이 현실 세계를 기반으로 피드백을 제공하고 현실과 더 잘 통합하고 상호 작용하며 진정한 몰입형 경험을 달성할 수 있음을 의미합니다. . 가상 세계의 모든 소리는 현실 세계의 모든 사물의 영향에서 자유로워서는 안 됩니다. 그렇게 하면 사람들이 여전히 분리되어 있다는 느낌을 받게 되기 때문입니다. 통합 외에도 상호 작용도 필요합니다. 예를 들어 가상 세계에서는 음성, 제스처 등 다양한 방법을 통해 AR 단말기의 향상된 사운드와 상호 작용하여 다양한 창을 일시 중지하거나 재생하거나 전환할 수 있습니다. 수준과 관점, 관심의 목소리 등을 자신만의 방식으로 느껴보세요.

두 번째는 정제(Refinement)로 HRTF, 해상도, 테스트 방법, 사용자 정의 등 다양한 측면에서 세련된 탐구와 실습이 포함됩니다. 정제하기가 더 어려운 것은 헤드 패스입니다. 헤드 패스 생성 방법 자체가 더 시간이 많이 걸리고 힘들기 때문입니다. 전체 구형 공간에서 서로 다른 거리에 있는 모든 지점을 재생한 다음 외이도를 샘플링해야 하기 때문입니다. . 현재 일부 학자들은 더 적은 수의 샘플링 포인트로 동일한 수준의 미세화를 생성하는 방법과 동시에 보간이나 기타 기술적 수단을 통해 더 높은 정확도를 달성하는 방법을 연구하고 있으며, 장기적인 관점에서 미세화의 한도는 맞춤화되어 있습니다. 구현.

세 번째는 프라이버시와 음향 효과입니다. 다양한 주파수 대역의 소리가 가져다주는 청각의 향연을 경험해 보세요. 다른 고조파나 다른 주파수 대역은 우리에게 다른 느낌을 줍니다. 예를 들어, 심한 잔향은 인간의 청력에 영향을 미치며, 적절한 잔향은 음질 측면에서 풍부한 청취 경험을 제공합니다. 특히 초기 잔향은 종종 3K보다 낮은 음색을 판단하는 데 사용됩니다. 잔향과 측면 반사는 생성하는 데 도움이 됩니다. 공간감과 깊이감이 더 좋아지고, 고주파 성분은 서라운드 느낌을 얻는 데 도움이 됩니다.

공간음장을 탐구하려는 초심

로키드는 왜 공간음장을 만들까요? 세 가지 주요 이유가 있습니다:

첫째, 몰입감. 우리는 게임을 할 때의 생생함, 온라인 회의나 온라인 교육의 현실감 등 디지털 세계와 물리적 세계의 통합을 추구해 왔습니다.

둘째, 가상과 현실의 상호작용. 우리는 이 세상의 미래가 현실과 현실의 융합을 바탕으로 공간지각의 과정, 주관적 행동의 상호작용 등 다양한 상호작용이 이루어질 것이라고 믿습니다. 공간 지각은 사물의 크기, 공간의 크기, 재료 등과 같은 세계의 측면을 의미합니다. 이러한 지각은 가상 소리에 영향을 미치며 주관적 행동의 상호 작용은 인간의 개입, 선택 및 소리와의 상호 작용입니다. 디지털 세상.

셋, 최고의 품질. AR Glass는 휴대폰, 태블릿, TV 및 기타 제품과 다릅니다. 휴대폰을 사용할 때 네트워크 끊김이나 지연은 허용되지만 눈에 착용하는 AR Glass의 실시간 요구 사항은 매우 높습니다. 이렇게 높은 실시간 요구 사항을 어떻게 달성할 수 있습니까? 여기에는 알고리즘, 엔지니어링, 시스템, 하드웨어 및 애플리케이션의 전반적인 최적화가 포함됩니다.

이것이 우리가 추구해 온 사명입니다. Rokid는 이러한 기능을 AR Glass 제품을 통해 대중에게 직접 홍보하고 대중화하는 동시에 이러한 기술을 Yoda OS의 기본 기능으로 출시하기를 희망합니다. 개발자의 사용은 간접적으로 사용자에게 이익을 주고 모든 계층에 힘을 실어줍니다.

이제 컨퍼런스 연설 다시보기와 PPT가 온라인으로 제공됩니다. 공식 웹사이트로 이동하여 흥미로운 콘텐츠를 확인하세요.

위 내용은 Rokid 알고리즘 책임자 Wang Wenbing: AR의 '소리'는 '훌륭한' 상태입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!