목차
경량 육안 3D "실제 게임"
▐ 기술적 하이라이트: 클라우드 비용의 과제
3D 인물과 3D 제품이 3D 가상 세계에서 처음으로 만나다
▐ 기술 하이라이트: 사람과 물품 마당의 건설 및 상호 작용
1080P 해상도와 시원한 고화질
▐ 기술 하이라이트: 클라우드 렌더링의 콘텐츠 제작 및 실시간 전송
지연 없는 인터랙티브 가상 화면
▐ 기술 하이라이트: 풀 링크 초저 대기 시간
결론
기술 주변기기 일체 포함 2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개

2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개

Apr 16, 2023 pm 07:19 PM
기술 3d

2022년 8월 24일, 타오바오 메이커 페스티벌이 시작됩니다! 차세대 인터넷 몰입형 쇼핑 경험을 탐색하기 위해 오프라인 캔톤페어 전시장에 20,000제곱미터 규모의 파노라마식 '미래 캠프'를 구축하는 것 외에도 이번 창작 페스티벌에서는 최초로 온라인으로 가상 인터랙티브 공간도 출시했습니다. 온라인으로 수만 명을 동시에 수용할 수 있는 '3D 크레이지' 도시창조 페스티벌 가상 캠프'.

3D 가상 캠프에서 사용자는 가벼운 방식으로 고화질 게임 텍스처를 경험할 수 있으며 가상 캐릭터로 "3D 사람과 물건 마당"의 세계에 참여하고 플레이어 및 3D 제품과 상호 작용하여 새로운 세대의 소비자를 만족시킬 수 있습니다. . 놀고 창조하는 것을 좋아하는 그룹의 요구는 혁신적인 기술로 새로운 소비자 경험을 제공합니다.

2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개

3D 라이브 가상 캠프의 경험과 기술적 하이라이트를 살펴보겠습니다.

경량 육안 3D "실제 게임"

3D 게임에 마음에 들었고 클라이언트가 몇 기가바이트를 다운로드한 경우 하고 싶었는데 메모리를 너무 많이 차지해서 새 게임을 제거해야 해요! 창조 축제의 가상 캠프에서는 구매할 수도 있는 육안 3D, 대화형, 라이브 스트리밍, 고화질 "게임"을 빠르게 로드할 수 있으며, Taobao 앱은 "전혀 더 커지지 않았습니다" ." 휴대폰에 로딩 속도는 "윙윙"~

2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개

▐ 기술적 하이라이트: 클라우드 비용의 과제

모바일 측의 전통적인 3D 게임 애플리케이션 개발에는 수십 또는 수백 개의 M 게임 통합이 필요한 경우가 많습니다. 결국에는 엔진이 필요하며, 또한 수 기가바이트의 자료 리소스를 다운로드해야 하는데 이는 현재 Taobao 앱에서는 비현실적입니다. 클라우드 렌더링을 사용하면 이 문제를 매우 효과적으로 해결할 수 있습니다. 클라우드의 강력한 GPU 덕분에 사용자는 대용량 리소스 파일을 다운로드하거나 콘텐츠를 설치할 필요가 없습니다. 실시간 렌더링된 미디어 흐름을 재생합니다.

하지만 여기서 가장 큰 문제는 클라우드 렌더링 머신의 비용입니다. 클라우드 렌더링 기계 비용을 줄이기 위해 클라우드 렌더링 외에도 모델 표면 축소, DP 병합, 텍스처 최적화, 영상 자료 해상도 감소 등의 성능 최적화 전략도 수행합니다. 기계 스케줄링 측면에서는 기계 활용도를 극대화하기 위해 비즈니스 시나리오를 기반으로 시간 기반의 동적 확장 및 축소 전략을 개발했습니다.

3D 인물과 3D 제품이 3D 가상 세계에서 처음으로 만나다

한때 '타오바오 라이프'에서 분장한 3D 유저들이 처음으로 집 밖으로 '걸어서' 라이브 3D 가상 캠프에 왔습니다. 창조축제. 여기에서는 자유롭게 점프하고, 모닥불을 피우고, 3D 제품을 보고, 판매자의 라이브 방송을 시청하고, 플레이어와 상호 작용할 수 있습니다. 3D 인물, 3D 제품 및 3D 환경이 결합되어 몰입감 있고 멋진 캠프 모험 경험을 제공합니다.

▐ 기술 하이라이트: 사람과 물품 마당의 건설 및 상호 작용

사람 간의 상호 작용. Taobao Life의 3D 캐릭터를 3D 가상 세계에 배치하려면 먼저 특정 자산 변환 및 렌더링 비용이 필요합니다. 사용자가 캠프 주변을 뛰어다니는 것은 사용자의 위치를 ​​실시간으로 동기화하는 것과 관련이 있습니다. 사용자의 실시간 로밍을 위해 프레임 동기화 기술을 사용하여 고정된 빈도로 사용자 위치 정보를 업데이트합니다. 이상적으로는 사용자가 정체감을 느끼지 않지만, 동기화 시간이 일정 간격을 초과하면 네트워크 정체로 인해 필연적으로 프레임 간 지터가 발생합니다. 점프가 발생합니다. 이러한 단점을 보완하기 위해 캐릭터를 렌더링할 때 모션 보상 알고리즘을 사용합니다. 간단히 말하면 알고리즘 시뮬레이션을 사용하여 사용자의 위치 이동 전환을 더 부드럽게 만듭니다. 동시에 대화형 데이터 동기화 측면에서 AOI 그리드 알고리즘을 사용하여 동일한 화면에서 여러 사람의 데이터 동기화 문제를 해결합니다. 이러한 방식으로 3D 캐릭터는 가상 세계에서 더욱 원활하게 실행됩니다.

2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개

사람과 제품의 상호작용. 사용자가 가상 ​​장면에서 3D 제품의 세부 사항을 자유롭게 보는 것은 쉽지 않습니다. 하나는 모바일 렌더링이고 다른 하나는 클라우드 렌더링 중 하나를 선택할 수 있습니다. 모바일 렌더링도 Taobao에서 상대적으로 성숙한 솔루션을 보유하고 있습니다. 불행하게도 모바일 렌더링 엔진과 클라우드 렌더링 엔진은 동일한 세트가 아니므로 동일한 제품 모델을 동시에 사용할 수 없습니다. 모델의 동적 다운로드, 표면 축소. 최적화 등도 고려해야 합니다. 문제는 이러한 단점을 피하기 위해 여전히 클라우드 렌더링 솔루션을 선택했습니다. 카메라 관점을 동적으로 전환하고 사용자의 대화형 지시에 실시간으로 응답함으로써 회전하는 경험을 얻을 수 있습니다. 그리고 3D 제품을 보기 위해 확대/축소를 하기도 합니다.

2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개

1080P 해상도와 시원한 고화질

한번 모바일 앱에서 페이지 미니게임을 해보니 모자이크처럼 흐릿하고 뛰고 프레임이 떨어졌습니다. 창작페스티벌의 새로운 3D 가상캠프는 고화질 영상과 부드러운 효과, 역동적인 무대조명이 당신을 '스타'로 추적합니다~

2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개

▐ 기술 하이라이트: 클라우드 렌더링의 콘텐츠 제작 및 실시간 전송

클라우드에서는 Unreal Engine을 사용하여 실시간 이미지를 렌더링하고 동적 거울 움직임, 동적 무대 조명, 멀티뷰 캐릭터, 파티클 효과 및 이미지를 더욱 멋지고 사용자에게 더 인터랙티브하게 보이게 만드는 다른 기술. 고화질 이미지를 사용자의 휴대폰으로 전송하기 위해서는 타오바오와 알리바바 클라우드가 공동으로 구축한 GRTN 전송 네트워크의 도움으로 화질, 지연, 지연의 균형을 종합적으로 고려해야 합니다. -인코딩 및 디코딩 알고리즘을 개발하여 화질의 선명도를 극대화할 수 있습니다.

지연 없는 인터랙티브 가상 화면

타오바오 앵커의 생방송실에서 "3, 2, 1, 잡기 시작!"을 카운트다운하고 초저지연 플래시 세일의 스릴을 느낀 적이 있습니다. 하지만 화면 밖에서는 인터랙션을 통해 생방송 방에서 진행자의 행동에 직접 개입할 수 없습니다. 3D 가상캠프에서는 춤도 추고 인사도 할 수 있고, 상인의 3D 상품을 클릭하고, 마음에 드는 앵커의 설명도 시청할 수 있어 진정한 '한 프레임 안에서 상인, 앵커와 소통'할 수 있습니다.

2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개

▐ 기술 하이라이트: 풀 링크 초저 대기 시간

간섭 없는 사진 전송과 달리 대화형 환경에서 초저 대기 시간의 원활한 경험을 달성하려면 사용자의 업스트림과 다운스트림을 완료해야 합니다. 100밀리초 이내에 사진을 실시간으로 렌더링하고 렌더링된 사진을 사용자의 휴대폰으로 반환합니다. 우선, 사용자의 머신, 네트워크, 액세스 포인트 조건을 종합적으로 고려하여 사용자에게 가장 가까운 푸시 노드를 동적으로 선택하고 이를 통해 클라우드 푸시 전략(정의 및 인코딩 방법 선택 포함)을 조정해야 합니다. 둘째, 전송 프로세스 중에 실시간 대역폭 피드백, FEC 및 동적 버퍼와 같은 약한 네트워크 제어 전략을 사용하여 네트워크 지터를 방지하여 전체 링크 지연이 합리적인 위치에 도달하고 궁극적으로 네트워크에서 상호 작용을 달성해야 합니다. 가상 세계에서 원활한 대화형 경험을 보장하세요.

결론

이 창작 페스티벌 3D 가상 캠프는 타오바오 가상 인터랙티브 공간 '3D 크레이지 시티' 시리즈의 첫 번째 온라인 시도입니다. 다음 단계에서는 클라우드 실시간 렌더링과 XR/CG 기술을 결합하여 가상 장면 맞춤화를 실현하고 대규모 실시간 사용자 상호 작용을 지원하며 소비자에게 더욱 몰입감 있는 상호 작용 경험을 제공할 것입니다.

위 내용은 2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
4 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

자율주행 분야에서 Gaussian Splatting이 인기를 끌면서 NeRF가 폐기되기 시작한 이유는 무엇입니까? 자율주행 분야에서 Gaussian Splatting이 인기를 끌면서 NeRF가 폐기되기 시작한 이유는 무엇입니까? Jan 17, 2024 pm 02:57 PM

위에 작성됨 및 저자의 개인적인 이해 3DGS(3차원 가우스플래팅)는 최근 몇 년간 명시적 방사선장 및 컴퓨터 그래픽 분야에서 등장한 혁신적인 기술입니다. 이 혁신적인 방법은 수백만 개의 3D 가우스를 사용하는 것이 특징이며, 이는 주로 암시적 좌표 기반 모델을 사용하여 공간 좌표를 픽셀 값에 매핑하는 NeRF(Neural Radiation Field) 방법과 매우 다릅니다. 명시적인 장면 표현과 미분 가능한 렌더링 알고리즘을 갖춘 3DGS는 실시간 렌더링 기능을 보장할 뿐만 아니라 전례 없는 수준의 제어 및 장면 편집 기능을 제공합니다. 이는 3DGS를 차세대 3D 재구성 및 표현을 위한 잠재적인 게임 체인저로 자리매김합니다. 이를 위해 우리는 처음으로 3DGS 분야의 최신 개발 및 관심사에 대한 체계적인 개요를 제공합니다.

카메라 또는 LiDAR를 선택하시겠습니까? 강력한 3D 객체 감지 달성에 대한 최근 검토 카메라 또는 LiDAR를 선택하시겠습니까? 강력한 3D 객체 감지 달성에 대한 최근 검토 Jan 26, 2024 am 11:18 AM

0. 전면 작성&& 자율주행 시스템은 다양한 센서(예: 카메라, 라이더, 레이더 등)를 사용하여 주변 환경을 인식하고 알고리즘과 모델을 사용하는 고급 인식, 의사결정 및 제어 기술에 의존한다는 개인적인 이해 실시간 분석과 의사결정을 위해 이를 통해 차량은 도로 표지판을 인식하고, 다른 차량을 감지 및 추적하며, 보행자 행동을 예측하는 등 복잡한 교통 환경에 안전하게 작동하고 적응할 수 있게 되므로 현재 널리 주목받고 있으며 미래 교통의 중요한 발전 분야로 간주됩니다. . 하나. 하지만 자율주행을 어렵게 만드는 것은 자동차가 주변에서 일어나는 일을 어떻게 이해할 수 있는지 알아내는 것입니다. 이를 위해서는 자율주행 시스템의 3차원 객체 감지 알고리즘이 주변 환경의 객체의 위치를 ​​포함하여 정확하게 인지하고 묘사할 수 있어야 하며,

CLIP-BEVFormer: BEVFormer 구조를 명시적으로 감독하여 롱테일 감지 성능을 향상시킵니다. CLIP-BEVFormer: BEVFormer 구조를 명시적으로 감독하여 롱테일 감지 성능을 향상시킵니다. Mar 26, 2024 pm 12:41 PM

위에 작성 및 저자의 개인적인 이해: 현재 전체 자율주행 시스템에서 인식 모듈은 중요한 역할을 합니다. 자율주행 시스템의 제어 모듈은 적시에 올바른 판단과 행동 결정을 내립니다. 현재 자율주행 기능을 갖춘 자동차에는 일반적으로 서라운드 뷰 카메라 센서, 라이더 센서, 밀리미터파 레이더 센서 등 다양한 데이터 정보 센서가 장착되어 다양한 방식으로 정보를 수집하여 정확한 인식 작업을 수행합니다. 순수 비전을 기반으로 한 BEV 인식 알고리즘은 하드웨어 비용이 저렴하고 배포가 용이하며, 출력 결과를 다양한 다운스트림 작업에 쉽게 적용할 수 있어 업계에서 선호됩니다.

Stable Diffusion 3 논문이 드디어 공개되고, 아키텍처의 세부 사항이 공개되어 Sora를 재현하는 데 도움이 될까요? Stable Diffusion 3 논문이 드디어 공개되고, 아키텍처의 세부 사항이 공개되어 Sora를 재현하는 데 도움이 될까요? Mar 06, 2024 pm 05:34 PM

StableDiffusion3의 논문이 드디어 나왔습니다! 이 모델은 2주 전에 출시되었으며 Sora와 동일한 DiT(DiffusionTransformer) 아키텍처를 사용합니다. 출시되자마자 큰 화제를 불러일으켰습니다. 이전 버전과 비교하여 StableDiffusion3에서 생성된 이미지의 품질이 크게 향상되었습니다. 이제 다중 테마 프롬프트를 지원하고 텍스트 쓰기 효과도 향상되었으며 더 이상 잘못된 문자가 표시되지 않습니다. StabilityAI는 StableDiffusion3이 800M에서 8B 범위의 매개변수 크기를 가진 일련의 모델임을 지적했습니다. 이 매개변수 범위는 모델이 많은 휴대용 장치에서 직접 실행될 수 있어 AI 사용이 크게 줄어든다는 것을 의미합니다.

자율주행과 궤도예측에 관한 글은 이 글이면 충분합니다! 자율주행과 궤도예측에 관한 글은 이 글이면 충분합니다! Feb 28, 2024 pm 07:20 PM

자율주행 궤적 예측은 차량의 주행 과정에서 발생하는 다양한 데이터를 분석하여 차량의 향후 주행 궤적을 예측하는 것을 의미합니다. 자율주행의 핵심 모듈인 궤도 예측의 품질은 후속 계획 제어에 매우 중요합니다. 궤적 예측 작업은 풍부한 기술 스택을 보유하고 있으며 자율 주행 동적/정적 인식, 고정밀 지도, 차선, 신경망 아키텍처(CNN&GNN&Transformer) 기술 등에 대한 익숙함이 필요합니다. 시작하기가 매우 어렵습니다! 많은 팬들은 가능한 한 빨리 궤도 예측을 시작하여 함정을 피하기를 희망합니다. 오늘은 궤도 예측을 위한 몇 가지 일반적인 문제와 입문 학습 방법을 살펴보겠습니다. 관련 지식 입문 1. 미리보기 논문이 순서대로 되어 있나요? A: 먼저 설문조사를 보세요, p

DualBEV: BEVFormer 및 BEVDet4D를 크게 능가하는 책을 펼치세요! DualBEV: BEVFormer 및 BEVDet4D를 크게 능가하는 책을 펼치세요! Mar 21, 2024 pm 05:21 PM

본 논문에서는 자율 주행에서 다양한 시야각(예: 원근 및 조감도)에서 객체를 정확하게 감지하는 문제, 특히 원근(PV) 공간에서 조감(BEV) 공간으로 기능을 효과적으로 변환하는 방법을 탐구합니다. VT(Visual Transformation) 모듈을 통해 구현됩니다. 기존 방법은 크게 2D에서 3D로, 3D에서 2D로 변환하는 두 가지 전략으로 나뉩니다. 2D에서 3D로의 방법은 깊이 확률을 예측하여 조밀한 2D 특징을 개선하지만, 특히 먼 영역에서는 깊이 예측의 본질적인 불확실성으로 인해 부정확성이 발생할 수 있습니다. 3D에서 2D로의 방법은 일반적으로 3D 쿼리를 사용하여 2D 기능을 샘플링하고 Transformer를 통해 3D와 2D 기능 간의 대응에 대한 주의 가중치를 학습하므로 계산 및 배포 시간이 늘어납니다.

옥스포드 대학의 최신 소식! 미키: 3D SOTA로 2D 이미지 매칭! (CVPR\'24) 옥스포드 대학의 최신 소식! 미키: 3D SOTA로 2D 이미지 매칭! (CVPR\'24) Apr 23, 2024 pm 01:20 PM

앞에 적힌 프로젝트 링크: https://nianticlabs.github.io/mickey/ 두 장의 사진이 주어지면 사진 간의 대응 관계를 설정하여 두 장의 사진 사이의 카메라 포즈를 추정할 수 있습니다. 일반적으로 이러한 대응은 2D에서 2D로 이루어지며 추정된 포즈는 규모에 따라 결정되지 않습니다. 언제 어디서나 즉각적인 증강 현실과 같은 일부 애플리케이션은 규모 측정항목의 포즈 추정이 필요하므로 규모를 복구하기 위해 외부 깊이 추정기에 의존합니다. 본 논문에서는 3차원 카메라 공간에서 메트릭 일치성을 예측할 수 있는 키포인트 매칭 프로세스인 MicKey를 제안합니다. 이미지 전반에 걸쳐 3D 좌표 매칭을 학습함으로써 측정 기준을 추론할 수 있습니다.

LLM이 모두 완료되었습니다! OmniDrive: 3D 인식 및 추론 계획 통합(NVIDIA 최신) LLM이 모두 완료되었습니다! OmniDrive: 3D 인식 및 추론 계획 통합(NVIDIA 최신) May 09, 2024 pm 04:55 PM

위에 작성됨 및 저자의 개인적 이해: 이 문서는 자율 주행 애플리케이션에서 현재 다중 모드 대형 언어 모델(MLLM)의 주요 과제를 해결하는 데 전념하고 있습니다. 이는 MLLM을 2D 이해에서 3D 공간으로 확장하는 문제입니다. 자율주행차(AV)가 3D 환경에 대해 정확한 결정을 내려야 하기 때문에 이러한 확장은 특히 중요합니다. 3D 공간 이해는 정보에 입각한 결정을 내리고 미래 상태를 예측하며 환경과 안전하게 상호 작용하는 차량의 능력에 직접적인 영향을 미치기 때문에 AV에 매우 중요합니다. 현재 다중 모드 대형 언어 모델(예: LLaVA-1.5)은 시각적 인코더의 해상도 제한, LLM 시퀀스 길이 제한으로 인해 저해상도 이미지 입력(예:)만 처리할 수 있는 경우가 많습니다. 하지만 자율주행 애플리케이션에는

See all articles