목차
소개
DreamFace 프레임워크 개요
Applications and Outlook
기술 주변기기 일체 포함 DreamFace: 한 문장으로 3D 디지털 휴먼을 생성하시겠습니까?

DreamFace: 한 문장으로 3D 디지털 휴먼을 생성하시겠습니까?

May 16, 2023 pm 09:46 PM
3d 디지털 맨

오늘날 과학과 기술의 급속한 발전으로 인해 생성 인공 지능 및 컴퓨터 그래픽 분야의 연구가 점점 더 주목을 받고 있습니다. 영화, TV 제작, 게임 개발 등의 산업은 엄청난 도전과 기회에 직면해 있습니다. 이 기사에서는 3D 생성 분야의 연구인 DreamFace를 소개합니다. DreamFace는 Production-Ready 3D 자산 생성을 지원하는 최초의 텍스트 기반 프로그레시브 3D 생성 프레임워크로, 텍스트 생성 기반 3D 초현실적 디지털 인물을 구현합니다.

이 작품은 컴퓨터 그래픽 분야 최고의 국제 저널인 Transactions on Graphics에 게재되었으며, 최고의 국제 컴퓨터 그래픽 컨퍼런스인 SIGGRAPH 2023에서 발표될 예정입니다.

DreamFace:一句话生成 3D 数字人?

프로젝트 웹사이트: https://sites.google.com/view/dreamface

사전 인쇄 용지: https://arxiv.org/abs/2304.03117

웹 데모: https://hyperhuman.top

HuggingFace Space: https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

소개

자체 텍스트 및 이미지 생성 기술 이후 획기적인 발전을 이룬 3D 생성 기술은 점차 과학 연구와 산업의 초점이 되었습니다. 그러나 현재 시중에 나와 있는 3D 생성 기술은 CG 파이프라인 호환성 문제, 정확성 문제, 실행 속도 문제 등 여전히 많은 과제에 직면해 있습니다.

이러한 문제를 해결하기 위해 Yingmo Technology와 ShanghaiTech University의 R&D 팀은 텍스트 기반 프로그레시브 3D 생성 프레임워크인 DreamFace를 제안했습니다. 프레임워크는 더 높은 정확도, 더 빠른 실행 속도 및 더 나은 CG 파이프라인 호환성을 통해 CG 제작 표준을 준수하는 3D 자산을 직접 생성할 수 있습니다. 이 기사에서는 DreamFace의 주요 기능을 자세히 소개하고 영화 및 TV 제작, 게임 개발 및 기타 산업에서의 응용 가능성을 살펴보겠습니다.

DreamFace 프레임워크 개요

DreamFace:一句话生成 3D 数字人?

DreamFace 프레임워크에는 주로 기하학 생성, 물리 기반 재료 확산 생성 및 애니메이션 기능 생성의 세 가지 모듈이 포함됩니다. 이 세 가지 모듈은 서로를 보완하여 효율적이고 안정적인 3D 생성 기술을 구현합니다.

기하학 생성

DreamFace:一句话生成 3D 数字人?

기하학 생성 모듈의 핵심 작업은 텍스트 프롬프트를 기반으로 일관된 기하학적 모델을 생성하는 것입니다. DreamFace는 CLIP(Contrastive Language-Image Pre-Training) 기반의 선택 프레임워크를 채택합니다. 이 프레임워크는 먼저 얼굴 기하학적 매개변수 공간 내에서 무작위로 샘플링된 후보 중에서 가장 좋은 대략적인 기하학적 모델을 선택한 다음 LDM(암시적 확산 모델) 기하학을 통해 이를 조각합니다. 머리 모델을 텍스트 단서와 더욱 일관되게 만들기 위한 세부 사항입니다. 또한 프레임워크는 텍스트 프롬프트를 기반으로 헤어 스타일 및 색상 생성도 지원합니다.

DreamFace:一句话生成 3D 数字人?

물리 기반 재료 확산 생성

DreamFace:一句话生成 3D 数字人?

물리 기반 재료 확산 생성 모듈은 예측된 기하학 및 텍스트 단서와 일치하는 얼굴 질감을 예측하도록 설계되었습니다. DreamFace는 먼저 수집된 대규모 UV 재료 데이터세트에서 사전 훈련된 LDM을 미세 조정하여 두 개의 LDM 확산 모델을 얻었습니다. 그런 다음 공동 훈련 방식을 사용하여 두 가지 확산 프로세스를 조정합니다. 하나는 UV 텍스처 맵을 직접 제거하기 위한 것이고 다른 하나는 감독된 렌더링 이미지를 위한 것입니다.

DreamFace:一句话生成 3D 数字人?

생성된 텍스처 맵에 바람직하지 않은 기능이나 조명 상황이 포함되지 않도록 하면서 다양성을 유지하기 위해 힌트 학습 전략이 설계되었습니다. 팀은 고품질 확산 맵을 생성하기 위해 두 가지 방법을 사용합니다. (1) 프롬프트 조정. 손으로 제작한 도메인별 텍스트 큐와 달리 DreamFace는 두 개의 도메인별 연속 텍스트 큐 Cd 및 Cu를 해당 텍스트 큐와 결합합니다. 이는 U-Net 디노이저 훈련 중에 최적화되어 불안정성과 시간 소모적인 프롬프트 수동 작성을 방지합니다. (2) 얼굴이 아닌 부분을 마스킹합니다. LDM 노이즈 제거 프로세스는 결과 확산 맵에 원치 않는 요소가 포함되지 않도록 얼굴이 아닌 영역 마스크로 추가로 제한됩니다.

마지막으로 고품질 렌더링을 위해 초해상도 모듈을 통해 4K 물리적 기반 텍스처를 생성합니다.

DreamFace:一句话生成 3D 数字人?


DreamFace:一句话生成 3D 数字人?

DreamFace:一句话生成 3D 数字人?

애니메이션 능력 생성

DreamFace:一句话生成 3D 数字人?

DreamFace로 생성된 모델에는 애니메이션 기능이 있습니다. 고유한 변형을 예측하고 생성된 Neutral 모델을 애니메이션화하여 맞춤형 애니메이션을 제작할 수 있습니다. DreamFace의 신경 얼굴 애니메이션 접근 방식은 표정 제어를 위해 일반적인 BlendShapes를 사용하는 접근 방식에 비해 더 미세한 표정 디테일을 제공하고 정밀하게 캡처된 성능을 허용합니다.

Applications and Outlook

DreamFace:一句话生成 3D 数字人?

DreamFace 프레임워크는 설명을 기반으로 한 유명인 생성 및 캐릭터 생성에서 탁월한 결과를 얻었습니다. 또한 에이징, 메이크업 등 글로벌 편집 효과를 위해 큐와 스케치를 사용한 텍스처 편집이 지원됩니다. 마스크나 스케치를 더욱 조합하여 문신, 턱수염, 모반 등 다양한 효과를 연출할 수 있습니다.

DreamFace:一句话生成 3D 数字人?

DreamFace의 프로그레시브 생성 프레임워크는 복잡한 3D 생성 작업을 해결하기 위한 효과적인 솔루션을 제공하며 더욱 유사한 연구 및 기술 개발을 촉진할 것으로 예상됩니다. 또한, 물리 기반 소재 확산 생성과 애니메이션 기능 생성을 통해 영화 및 TV 제작, 게임 개발 및 기타 관련 산업에 3D 생성 기술의 적용이 촉진될 것입니다. 앞으로의 개발과 적용을 지켜보겠습니다.

위 내용은 DreamFace: 한 문장으로 3D 디지털 휴먼을 생성하시겠습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

자율주행 분야에서 Gaussian Splatting이 인기를 끌면서 NeRF가 폐기되기 시작한 이유는 무엇입니까? 자율주행 분야에서 Gaussian Splatting이 인기를 끌면서 NeRF가 폐기되기 시작한 이유는 무엇입니까? Jan 17, 2024 pm 02:57 PM

위에 작성됨 및 저자의 개인적인 이해 3DGS(3차원 가우스플래팅)는 최근 몇 년간 명시적 방사선장 및 컴퓨터 그래픽 분야에서 등장한 혁신적인 기술입니다. 이 혁신적인 방법은 수백만 개의 3D 가우스를 사용하는 것이 특징이며, 이는 주로 암시적 좌표 기반 모델을 사용하여 공간 좌표를 픽셀 값에 매핑하는 NeRF(Neural Radiation Field) 방법과 매우 다릅니다. 명시적인 장면 표현과 미분 가능한 렌더링 알고리즘을 갖춘 3DGS는 실시간 렌더링 기능을 보장할 뿐만 아니라 전례 없는 수준의 제어 및 장면 편집 기능을 제공합니다. 이는 3DGS를 차세대 3D 재구성 및 표현을 위한 잠재적인 게임 체인저로 자리매김합니다. 이를 위해 우리는 처음으로 3DGS 분야의 최신 개발 및 관심사에 대한 체계적인 개요를 제공합니다.

Microsoft Teams의 3D Fluent 이모티콘에 대해 알아보기 Microsoft Teams의 3D Fluent 이모티콘에 대해 알아보기 Apr 24, 2023 pm 10:28 PM

특히 Teams 사용자라면 Microsoft가 업무 중심 화상 회의 앱에 새로운 3DFluent 이모티콘을 추가했다는 사실을 기억해야 합니다. Microsoft가 작년에 Teams 및 Windows용 3D 이모티콘을 발표한 후 실제로 플랫폼용으로 업데이트된 기존 이모티콘이 1,800개 이상 나타났습니다. 이 큰 아이디어와 Teams용 3DFluent 이모티콘 업데이트 출시는 공식 블로그 게시물을 통해 처음 홍보되었습니다. 최신 Teams 업데이트로 FluentEmojis가 앱에 제공됩니다. Microsoft는 업데이트된 1,800개의 이모티콘을 매일 사용할 수 있다고 밝혔습니다.

CLIP-BEVFormer: BEVFormer 구조를 명시적으로 감독하여 롱테일 감지 성능을 향상시킵니다. CLIP-BEVFormer: BEVFormer 구조를 명시적으로 감독하여 롱테일 감지 성능을 향상시킵니다. Mar 26, 2024 pm 12:41 PM

위에 작성 및 저자의 개인적인 이해: 현재 전체 자율주행 시스템에서 인식 모듈은 중요한 역할을 합니다. 자율주행 시스템의 제어 모듈은 적시에 올바른 판단과 행동 결정을 내립니다. 현재 자율주행 기능을 갖춘 자동차에는 일반적으로 서라운드 뷰 카메라 센서, 라이더 센서, 밀리미터파 레이더 센서 등 다양한 데이터 정보 센서가 장착되어 다양한 방식으로 정보를 수집하여 정확한 인식 작업을 수행합니다. 순수 비전을 기반으로 한 BEV 인식 알고리즘은 하드웨어 비용이 저렴하고 배포가 용이하며, 출력 결과를 다양한 다운스트림 작업에 쉽게 적용할 수 있어 업계에서 선호됩니다.

카메라 또는 LiDAR를 선택하시겠습니까? 강력한 3D 객체 감지 달성에 대한 최근 검토 카메라 또는 LiDAR를 선택하시겠습니까? 강력한 3D 객체 감지 달성에 대한 최근 검토 Jan 26, 2024 am 11:18 AM

0. 전면 작성&& 자율주행 시스템은 다양한 센서(예: 카메라, 라이더, 레이더 등)를 사용하여 주변 환경을 인식하고 알고리즘과 모델을 사용하는 고급 인식, 의사결정 및 제어 기술에 의존한다는 개인적인 이해 실시간 분석과 의사결정을 위해 이를 통해 차량은 도로 표지판을 인식하고, 다른 차량을 감지 및 추적하며, 보행자 행동을 예측하는 등 복잡한 교통 환경에 안전하게 작동하고 적응할 수 있게 되므로 현재 널리 주목받고 있으며 미래 교통의 중요한 발전 분야로 간주됩니다. . 하나. 하지만 자율주행을 어렵게 만드는 것은 자동차가 주변에서 일어나는 일을 어떻게 이해할 수 있는지 알아내는 것입니다. 이를 위해서는 자율주행 시스템의 3차원 객체 감지 알고리즘이 주변 환경의 객체의 위치를 ​​포함하여 정확하게 인지하고 묘사할 수 있어야 하며,

Windows 11의 Paint 3D: 다운로드, 설치 및 사용 가이드 Windows 11의 Paint 3D: 다운로드, 설치 및 사용 가이드 Apr 26, 2023 am 11:28 AM

새로운 Windows 11이 개발 중이라는 소문이 퍼지기 시작했을 때 모든 Microsoft 사용자는 새 운영 체제가 어떤 모습일지, 어떤 결과를 가져올지 궁금해했습니다. 추측 끝에 Windows 11이 여기에 있습니다. 운영 체제에는 새로운 디자인과 기능 변경이 포함되어 있습니다. 일부 추가 기능 외에도 기능 지원 중단 및 제거가 함께 제공됩니다. Windows 11에 없는 기능 중 하나는 Paint3D입니다. 서랍, 낙서, 낙서에 적합한 클래식 페인트를 계속 제공하지만 3D 제작자에게 이상적인 추가 기능을 제공하는 Paint3D를 포기합니다. 몇 가지 추가 기능을 찾고 있다면 최고의 3D 디자인 소프트웨어로 Autodesk Maya를 추천합니다. 좋다

카드 한장으로 30초만에 가상 3D 아내를 만나보세요! Text to 3D는 Maya, Unity 및 기타 제작 도구와 원활하게 연결되어 명확한 모공 세부 정보를 갖춘 고정밀 디지털 휴먼을 생성합니다. 카드 한장으로 30초만에 가상 3D 아내를 만나보세요! Text to 3D는 Maya, Unity 및 기타 제작 도구와 원활하게 연결되어 명확한 모공 세부 정보를 갖춘 고정밀 디지털 휴먼을 생성합니다. May 23, 2023 pm 02:34 PM

ChatGPT는 AI 산업에 닭의 피를 주입했고, 한때 상상할 수 없었던 모든 것이 오늘날 기본적인 관행이 되었습니다. 계속해서 발전하고 있는 Text-to-3D는 Diffusion(이미지), GPT(텍스트)에 이어 AIGC 분야의 차세대 핫스팟으로 평가되며 전례 없는 주목을 받고 있습니다. 아니요, ChatAvatar라는 제품은 공개 베타 버전으로 출시되어 빠르게 700,000회 이상의 조회수와 관심을 얻었으며 Spacesofttheweek에 소개되었습니다. △ChatAvatar는 AI가 생성한 단일 시점/다중 시점 원본 그림에서 3D 스타일화된 캐릭터를 생성하는 Imageto3D 기술도 지원합니다. 현재 베타 버전에서 생성된 3D 모델은 큰 주목을 받았습니다.

자율주행을 위한 3D 시각 인식 알고리즘의 심층 해석 자율주행을 위한 3D 시각 인식 알고리즘의 심층 해석 Jun 02, 2023 pm 03:42 PM

자율주행 응용을 위해서는 궁극적으로 3D 장면을 인식하는 것이 필요합니다. 그 이유는 간단합니다. 인간 운전자도 이미지를 바탕으로 운전할 수는 없습니다. 물체와의 거리, 장면의 깊이 정보는 2차원 인식 결과에 반영될 수 없기 때문에 이 정보는 자율주행 시스템이 주변 환경을 정확하게 판단하는 데 핵심이 된다. 일반적으로 자율주행차의 시각 센서(예: 카메라)는 차체 위쪽이나 차량 내부 백미러에 설치됩니다. 어디에 있든 카메라가 얻는 것은 투시 뷰(PerspectiveView)(세계 좌표계에서 이미지 좌표계로)에서 실제 세계를 투영하는 것입니다. 이 관점은 인간의 시각 시스템과 매우 유사합니다.

옥스포드 대학의 최신 소식! 미키: 3D SOTA로 2D 이미지 매칭! (CVPR\'24) 옥스포드 대학의 최신 소식! 미키: 3D SOTA로 2D 이미지 매칭! (CVPR\'24) Apr 23, 2024 pm 01:20 PM

앞에 적힌 프로젝트 링크: https://nianticlabs.github.io/mickey/ 두 장의 사진이 주어지면 사진 간의 대응 관계를 설정하여 두 장의 사진 사이의 카메라 포즈를 추정할 수 있습니다. 일반적으로 이러한 대응은 2D에서 2D로 이루어지며 추정된 포즈는 규모에 따라 결정되지 않습니다. 언제 어디서나 즉각적인 증강 현실과 같은 일부 애플리케이션은 규모 측정항목의 포즈 추정이 필요하므로 규모를 복구하기 위해 외부 깊이 추정기에 의존합니다. 본 논문에서는 3차원 카메라 공간에서 메트릭 일치성을 예측할 수 있는 키포인트 매칭 프로세스인 MicKey를 제안합니다. 이미지 전반에 걸쳐 3D 좌표 매칭을 학습함으로써 측정 기준을 추론할 수 있습니다.

See all articles