Unity Greater China의 플랫폼 기술 이사 Yang Dong: 메타버스에서 디지털 휴먼 여정의 시작

메타버스 콘텐츠 구축의 초석으로서 디지털 피플은 구현되고 지속 가능하게 개발될 수 있는 메타버스 세분화의 가장 초기 성숙 시나리오입니다. 현재 가상 아이돌, 전자상거래 배송, TV 호스팅, 가상 앵커, 등. 상업적 응용은 대중에 의해 인정되었습니다. 메타버스의 세계에서 가장 핵심적인 콘텐츠 중 하나는 바로 디지털 휴먼이다. 왜냐하면 디지털 휴먼은 메타버스 속 현실 세계의 인간의 '화신'일 뿐만 아니라, 우리가 Metaverse에서는 다양한 상호작용을 수행합니다.

사실적인 디지털 휴먼 캐릭터를 만들고 렌더링하는 것은 컴퓨터 그래픽에서 가장 어려운 문제 중 하나라는 것은 잘 알려져 있습니다. 최근 51CTO가 주최한 MetaCon Metaverse 기술 컨퍼런스의 "Game and AI Interaction" 하위 장소에서 Unity 중화권 플랫폼 기술 이사 Yang Dong이 "Unity Digital Human Technology - Starting a Journey to to Journey" 시리즈의 데모 시연을 선보였습니다. the Metaverse" "Unity HD 렌더링 파이프라인 기술의 주제 공유에 대해 자세히 소개합니다.

1. Unity 소개

Unity는 현재 전 세계에서 가장 많이 지원되는 컴퓨팅 플랫폼이며 PC, Mac, Linux, iOS, Android, Switch, PlayStation, Xbox 및 모든 AR/VR, MMAT 및 기타 장치. 3차원 대화형 콘텐츠를 제작하는 경우 현재 Unity가 최선의 선택입니다. 우리는 독립 그래픽 카드가 장착된 일부 시스템에서 고화질 콘텐츠를 렌더링하는 데 고화질 렌더링이 사용된다는 것을 알고 있습니다. 소위 현실적인 디지털 휴먼 기술은 이제 고화질 렌더링 기술에 의존합니다.

현재 Unity China 팀에는 300명이 넘는 정규 직원과 전 세계적으로 약 7,000명의 직원이 있으며, 그 중 70% 이상이 엔지니어입니다. 본사는 상하이에 있고 베이징과 광저우에 사무실이 있으며 해당 직원이 그곳에서 근무하고 있습니다.

2. Unity 엔진의 강력한 측면은 무엇인가요?

현재 Unity는 Kaiyuan 엔진은 아니지만 모듈은 고도로 사용자 정의 가능합니다.

그림은 현재 Unity에서 지원하는 플랫폼을 보여줍니다. 가장 일반적인 플랫폼 중 일부는 이 아이콘에서 찾을 수 있습니다. 이러한 아이콘은 최근 몇 년간 가장 인기 있는 게임일 수 있으며 Honor of Kings, CALL DUTY, League of Legends, Genshin Impact, Fall Bean Man, Shining Nuan Nuan 등 비교적 친숙한 아이콘도 있습니다. 실제로 국내외 Android, iOS 목록에서 가장 수익성이 높은 상위 1,000개 게임 중 70% 이상이 Unity에서 제작되었습니다. 스위치 게임의 절반 이상이 Unity에서 제작됩니다. 매우 복잡해 보이는 고화질 게임과 Xbox에서 처음 출시된 히트 게임이 한 사람에 의해 개발되었다는 사실이 믿기지 않을 수도 있습니다. 이는 Unity 엔진의 유연성과 툴 체인의 강력함을 충분히 보여줍니다.

Unity는 고성능과 효율성을 지향하는 방향으로 발전하고 있습니다. C#Job System, ECS, Burst Compiler라는 세 가지 주요 도트 시스템 구성 요소에 대해 설명하겠습니다. C#Job 시스템은 실제로 개발된 게임이나 응용 프로그램이 통합 CPU의 동시 컴퓨팅 성능을 최대한 활용할 수 있도록 해줍니다. 현재 객체 지향 프로그래밍 모델은 메인 스레드에서 실행되는 프로덕션 콘텐츠이기 때문입니다. 두 번째는 엔터티 컴포넌트 시스템(ECS)입니다. 엔터티 컴포넌트 시스템을 통해 시스템, 즉 게임 로직에서 데이터를 분리할 수 있어 유지 관리가 더 쉽고 메모리 사용에도 더 친화적입니다. 버스트 컴파일러는 타겟 플랫폼을 위한 고성능 기계어 코드를 생성할 수 있습니다.

한편, 높은 이미지 품질도 Unity의 아주 좋은 특징입니다. 아름다운 그래픽을 렌더링하려면 값비싼 PC나 값비싼 Xbox나 플레이스테이션 기기를 사용해야 한다고만 말하면 사실 게임의 다양성이 너무 떨어집니다. Unity는 소위 가변 렌더링 파이프라인인 XRP를 사용하여 모두를 위한 두 가지 기본 렌더링 파이프라인 세트를 만듭니다. 하나는 범용 렌더링 파이프라인 URP이고 두 번째는 HDRP(고화질 렌더링 파이프라인)입니다. . 이름에서 알 수 있듯이 URP의 소위 유니버설 렌더링 파이프라인은 VR 게임, AR 게임 또는 모바일 게임을 개발하는 경우 모든 플랫폼에서 지원되며 URP는 렌더링 작업에 사용될 수 있습니다. HDRP는 실시간 Ray Tracing도 지원하는 PC Mac Linux, Xbox1 및 Basestation4 이상의 플랫폼을 의미합니다.

3. HD 렌더링 파이프라인은 어떻게 디지털 휴먼의 고품질 렌더링을 달성합니까?

"Pagan" 디지털 맨은 실제로 Unity가 제작한 최초의 디지털 맨은 아니지만, "Pagan" 디지털 맨은 고유한 고유성을 가지고 있습니다. 왜냐하면 이 디지털 맨은 매우 현실적이고 완벽한 워크플로우 세트가 형성되기 때문입니다. . "Infidel"과 같은 고품질 렌더링을 달성하려면 고화질 렌더링 파이프라인이 필수적입니다.

디지털 인물 "The Infidel"은 실제로 프로토타입을 가지고 있습니다. 그는 Jack이라는 이름의 영국 연극 배우입니다. 그의 데이터를 스캔하면 이것이 그의 머리를 스캔하는 것입니다. 이 데이터는 전체 디지털 휴먼을 만드는 데 사용됩니다. 4D Volumetric Video 기술을 사용하여 표현 애니메이션을 만들 수도 있습니다. 단점은 실시간 구동이 불가능하다는 점이다. 영화나 TV 속 캐릭터 표현 애니메이션은 문제 없이 할 수 있지만, 실시간 구동은 불가능하다.

성공적인 사례의 경우 눈 렌더링 및 피부 렌더링을 살펴볼 수 있는데, 각각 살펴보겠습니다.

피부의 질을 향상시키기 위해 다음과 같은 기술이 추가되었습니다. 디테일 맵입니다. Secondary Specular Lobe는 두 번째 레이어의 하이라이트이고 Cavity Specular Occlusion은 하이라이트를 차단할 수 있는 함몰을 의미하며 Screen Space Subsurface Scattering은 화면 공간의 표면 아래 산란을 의미합니다.

첫 번째 디테일 맵은 주로 피부 표면의 디테일과 같은 텍스처를 시뮬레이션하는 데 사용됩니다. 이 텍스처는 크지 않고 1K 텍스처입니다.

하이라이트의 두 번째 레이어인 Secondary Specular Lobe는 피부 표면의 오일층을 시뮬레이션하는 데 사용됩니다. 피부가 지성화되고 심지어 피부가 건조해 보이기 때문에 꼭 사용해야 합니다. 두 번째 하이라이트 레이어를 추가하는 방법입니다.

세 번째는 선큰 하이라이트로, 선큰 부위 중앙의 하이라이트를 커버하는 데 사용됩니다. 두 번째 하이라이트 레이어를 추가한 후에는 피부의 움푹 들어간 부분에도 하이라이트가 나타납니다. 이는 확실히 비현실적입니다. 움푹 들어간 부분에 하이라이트가 나타나지 않도록 하이라이트를 마스크해야 합니다.

네 번째는 화면 공간에서의 표면하 산란으로, 피부 자체의 효과를 만드는 데 사용됩니다. 우리는 피부 자체에 소위 3S 효과, 즉 표면하 산란 효과가 있다는 것을 알고 있습니다. 피부는 분명히 하위 표면 산란을 사용해야 하지만 전통적으로 MAYA 또는 3Dmax와 같은 오프라인 렌더링 소프트웨어를 사용하여 이 피부를 시뮬레이션할 때 하위 표면 산란 효과를 렌더링하는 데 매우 시간이 많이 걸립니다. Unity에는 실제로 하위 표면 산란 효과를 렌더링하는 두 가지 기술이 있습니다. 첫 번째는 렌더링 속도가 더 빠른 Screen Space Subsurface Scattering 기술입니다. 두 번째는 가벼운 비행 방식이 더 현실적입니다.

이 캐릭터는 단편 영화 "태엽 감는 음악가"에 나오는 어린 소녀의 캐릭터이기도 합니다. 오른쪽 나뭇잎은 실제로 표면하 산란 효과를 사용합니다.

다음으로 눈 렌더링에 대해 이야기해 보겠습니다. 실제로 눈은 많은 부분으로 구성된 매우 복잡한 개체입니다. 실시간 렌더링으로 실제 안구를 시뮬레이션함으로써 각막, 동공, 홍채, 공막의 네 부분을 시뮬레이션하면 이미 매우 사실적인 효과를 얻을 수 있습니다.

그림에서 보듯이 우리의 안구 자체는 실제로 정면에서 본 것과 측면에서 본 것의 차이가 있는데, 특히 홍채 원근 굴절 현상이 그렇습니다. , 이 사진은 GDC에서 매우 유명한 Digital Man 캐릭터의 사진입니다.

디지털 인간 안구는 실제로 실제 안구 모양을 따라 모델링되었으며, 안구의 다양한 매개변수를 표현하기 위해 특별한 화가가 있습니다. 그 반사를 포함하여 공막과 홍채의 노멀 맵, 서로 다른 노멀 값을 적용하여 얻을 수 있는 효과, 심지어 눈꺼풀의 폐색까지 별도의 컨트롤러로 제어하여 눈꺼풀을 제어할 수 있습니다. .

정리하자면, 실제 인물 스캔 데이터를 활용하여 블렌드 셰이프, 주름 맵, 컬러 맵, 페이셜 리깅 등을 통해 표현을 만들고 컨트롤러를 사용하여 표현을 구동합니다. 물론 이 표현을 구동하는 다른 방법도 많이 있다는 것도 알고 있습니다. 사실 피부나 눈, 머리카락 등을 렌더링할 때 상대적으로 쉽지만 표현 구동이 사실 굉장히 어려운 점이에요.

개발자들이 자신이 사용하는 Unity가 Unity가 생성할 수 있는 효과를 생성할 수 없는 이유가 무엇인지 말하는 것을 자주 듣습니다. Unity에서 제시하는 데모의 효과는 여러 사람들이 많은 노력을 기울여 만든 것이며, 그들이 사용한 기술은 실제로 그들이 제작한 버전에서는 사용할 수 없었기 때문에 이 데모를 완성하고 이러한 기술을 갖추게 되면 점차적으로 결합될 것입니다. 다음 버전에서는 결국 모든 사람이 사용할 수 있는 기능적 버전이 될 것입니다.

4. 디지털휴먼을 만드는 과정은 어떻게 되나요?

"Infidel"을 마친 후 Unity China 팀은 실제로 "Infidel" 기술, 좌식 4D 스캐닝 및 기타 기술을 적용하여 자체 디지털 휴먼을 만들었습니다.

이것은 실제 프로젝트이고 프로세스는 실제로 "Infidel"과 정확히 동일합니다. 여기에는 데이터 정리, 해당 블렌드 셰이프 만들기, Wrinkle Map 만들기, Rig 만들기 및 표현식 구동이 포함됩니다. ASSETStore의 컨트롤러는 애니메이션 클립 및 BlendShape를 사용하여 표현 애니메이션을 표현합니다. 물론 Market을 사용하여 추적하고, ARKit을 사용하여 추적하고, 이미지 데이터를 사용하여 운전하는 등 실제로 얼굴을 캡처하는 방법은 더 많습니다.

실제 개발을 할 때 카메라로 표정을 캡쳐해 사람 머리의 표정을 테스트해 보는 방법도 있습니다. 가장 큰 차이점 중 하나는 그녀가 길게 흐르는 머리카락을 가지고 있다는 것입니다. 이 길게 흐르는 머리카락은 Unity China 팀이 개발한 솔루션으로, 일반 렌더링 파이프라인과 고품질 렌더링 파이프라인 모두에 적합합니다. 머리카락. 머리카락의 렌더링은 기존의 플러그인 방식과 매우 다르며 매우 매끄러울 수 있으며 마치 머리 & 어깨 광고 효과처럼 느껴질 수도 있습니다. 표정은 실제로 AR 케이드를 통해 실시간으로 구동되며, 표정을 구동하는 데에도 AR 케이드가 사용됩니다.

        Unity에는 Emma라는 디지털 휴먼이 있습니다. 이 디지털 휴먼의 표현은 전적으로 Ziva Dynamics 기술에 의해 구동됩니다. 핵심 기술은 실제로 모델 아래 또는 생물학적 피부 아래에서 이러한 근육 그룹을 시뮬레이션하는 것입니다. 공룡의 실제 근육 움직임을 활용해 디지털 인간의 매우 사실적인 표정 시뮬레이션에도 이 기술을 적용할 수 있다. 전통적으로 모델은 외부에 껍질이 있는 빈 껍질이지만, Ziva Dynamics의 기술에서는 실제로 등 부분에 실제 해부학적 근육이 있습니다. 기존의 블렌드 셰이프나 뼈대 바인딩 방식보다 현실감을 더해줍니다.

올해 3월, Unity는 GDC에서 "Enemies"의 최신 디지털 휴먼 예고편을 공개했습니다. 이 디지털 휴먼의 표현은 매우 현실적입니다. 그녀의 헤어는 Unity가 곧 출시할 퍼 렌더링 기술 세트, 즉 HDRP 고화질 렌더링 파이프라인에 적용된 헤어 세트라는 점은 언급할 가치가 있습니다.

메타버스와 디지털 휴먼에 대해 더 자세히 알아보시려면 MetaCon Metaverse Technology Conference 공식 홈페이지를 방문해 주셔서 감사합니다. 주소: https://metacon.51cto.com/

위 내용은 Unity Greater China의 플랫폼 기술 이사 Yang Dong: 메타버스에서 디지털 휴먼 여정의 시작의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!