ICML 2024 | 복잡한 조합의 3D 장면 생성, LLM 대화형 3D 제어 가능 생성 및 편집 프레임워크 출시

AIxiv 칼럼은 본 사이트에 학술적, 기술적 내용을 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com
본 논문의 제1저자와 교신저자는 모두 북경대학교 왕쉬안 컴퓨터 연구소의 VDIG(시각적 데이터 해석 및 생성) 연구소 출신입니다. 첫 번째 저자는 박사과정 학생 Zhou Xiaoyu이고, 교신저자는 박사 지도교수 Wang Yongtao입니다. 최근 몇 년 동안 VDIG 연구소는 IJCV, CVPR, AAAI, ICCV, ICML, ECCV 등 최고의 컨퍼런스에서 다수의 대표적인 결과를 발표했으며 국내 헤비급 대회에서 우승 및 준우승을 차지했습니다. 해외 CV 분야에서도 국내외 유명 대학으로부터 수상 경력이 있으며, 과학 연구 기관과도 폭넓게 협력하고 있습니다.
최근 몇 년 동안 단일 개체에 대한 텍스트-3D 방법은 일련의 획기적인 발전을 이루었지만 텍스트에서 제어 가능한 고품질의 복잡한 다중 개체 3D 장면을 생성하는 것은 여전히 큰 과제에 직면해 있습니다. 이전 방법은 생성된 장면의 복잡성, 기하학적 품질, 텍스처 일관성, 다중 객체 상호 작용, 제어 가능성 및 편집 가능성에 큰 결함이 있습니다.
최근 북경 대학교 왕쉬안 컴퓨터 과학 연구소의 VDIG 연구팀과 협력자들은 최신 연구 결과 GALA3D를 발표했습니다. 다중 객체의 복잡한 3D 장면 생성을 위해 이 연구에서는 다중 객체와 복잡한 대화형 관계가 있는 고품질, 일관성이 높은 3D 장면을 생성할 수 있는 복잡한 3D 장면을 위한 LLM 기반 제어 가능한 생성 프레임워크인 GALA3D를 제안하고 지원합니다. 대화식 상호 작용. 편집자를 제어하여 논문이 ICML 2024에 승인되었습니다.
페이퍼 제목 : Gala3d : 레이아웃 유도 생성 가우시안 스플릿 페이퍼 링크를 통한 텍스트-3D 복잡한 장면 생성을 향해 종이 코드: https://github.com/VDIGPKU/GALA3D
프로젝트 웹사이트: https://gala3d.github.io/
- GALA3D는 고품질 텍스트-3D 복합체입니다. 결합된 장면 생성 및 제어 가능한 편집 프레임워크. 사용자가 설명 텍스트를 입력하면 GALA3D는 여러 객체와 복잡한 상호 작용을 통해 해당 3차원 장면을 제로샷으로 생성할 수 있습니다. GALA3D는 생성된 3D 장면이 텍스트와 고도로 정렬되도록 보장하는 동시에 장면 품질, 여러 개체의 복잡한 상호 작용 및 장면 형상 일관성을 생성하는 데 탁월한 성능을 보여줍니다. 또한 GALA3D는 사용자 친화적인 엔드투엔드 생성 및 제어된 편집을 지원하므로 일반 사용자도 대화 대화에서 3D 장면을 쉽게 사용자 정의하고 편집할 수 있습니다. GALA3D는 사용자와 소통하면서 복잡한 3D 장면의 대화형 및 제어 가능한 편집을 정확하게 실현할 수 있으며, 복잡한 3D 장면의 레이아웃 변환, 디지털 자산 임베딩, 사용자 대화를 기반으로 한 장식 스타일 변경 등 다양한 제어 가능한 편집 요구를 실현할 수 있습니다. 방법 소개
GALA3D의 전체 아키텍처는 아래 그림에 나와 있습니다.
GALA3D는 대규모 언어 모델(LLM)을 사용하여 초기 레이아웃을 생성하고 레이아웃 기반 생성 3D 가우스 표현을 제안하여 구성합니다. 복잡한 3D 장면. GALA3D Design은 적응형 기하학 제어를 통해 3D 가우시안의 모양과 분포를 최적화하여 일관된 기하학, 질감, 규모 및 정밀한 상호 작용을 갖춘 3D 장면을 생성합니다. 또한 GALA3D는 조건부 확산 사전확률과 Vincentian 그래프 모델을 결합하여 일관된 스타일의 3D 다중 객체 장면을 공동으로 생성하는 동시에 LLM에서 추출된 초기 레이아웃 사전확률을 반복적으로 최적화하여 보다 현실적이고 정확한 실제 장면을 얻는 결합 최적화 메커니즘도 제안합니다. 공간배치. 광범위한 정량적 실험과 정성적 연구를 통해 GALA3D가 텍스트-복합 3D 장면 생성에서 기존 Vincent 3D 장면 방법을 능가하는 중요한 결과를 달성한다는 사실이 입증되었습니다.
a, LLM을 기반으로 한 장면 레이아웃
대형 언어 모델은 뛰어난 자연어 이해 및 추론 기능을 보여줍니다. 이 기사에서는 복잡한 3D 장면에서 LLM 대규모 언어 모델의 추론 및 레이아웃 생성 기능을 자세히 살펴봅니다. 수동 설계 없이 상대적으로 합리적인 레이아웃을 얻는 방법은 장면 모델링 및 생성 비용을 줄이는 데 도움이 될 수 있습니다. 이를 위해 우리는 LLM(예: GPT-3.5)을 사용하여 텍스트 입력 인스턴스와 공간 관계를 추출하고 해당 레이아웃 사전을 생성합니다. 그러나 3D 공간 레이아웃과 LLM이 해석한 장면 이전의 레이아웃과 실제 장면 사이에는 일정한 차이가 있으며, 이로 인해 일반적으로 정지/통과 개체가 생성되거나 비율이 지나치게 다른 개체의 조합 등이 발생합니다. 또한, 위에서 생성된 개략적인 레이아웃을 비전 기반 Diffusion Prior 및 Layout-guided Generative 3D Gaussian을 통해 조정하고 최적화하는 Layout Refinement 모듈을 제안합니다.
b, 레이아웃 개선
GALA3D는 위의 LLM에서 생성된 레이아웃을 최적화하기 전에 확산 기반의 레이아웃 레이아웃 최적화 모듈을 사용합니다. 구체적으로 3D 생성 프로세스에 레이아웃 기반 3D 가우시안 공간 레이아웃의 그래디언트 최적화를 추가하고 ControlNet을 통해 LLM 생성 레이아웃의 공간 위치, 회전 각도 및 크기 비율을 조정했습니다. 그림은 3D 장면과 레이아웃을 보여줍니다. 최적화 후. 최적화된 레이아웃은 보다 정확한 공간 위치와 규모를 가지며 3D 장면의 여러 개체 간의 상호 작용을 보다 합리적으로 만듭니다.
c, 레이아웃 기반 생성 3D 가우스 표현
3D 가우시안 표현에 3D 레이아웃 제약 조건을 처음으로 도입하고, 복잡한 빈센트 3D 장면에 대한 레이아웃 기반 생성 3D 가우시안을 제안합니다. 레이아웃 기반 3D 가우스 표현에는 의미론적으로 추출된 여러 인스턴스 개체가 포함되어 있습니다. 여기서 각 인스턴스 개체의 레이아웃 이전은 다음과 같이 매개변수화될 수 있습니다.
여기서 N은 장면에 있는 총 인스턴스 개체 수를 나타냅니다. 구체적으로, 각 인스턴스 3D 가우시안은 적응형 형상 제어를 통해 최적화되어 인스턴스 수준 객체 3D 가우시안 표현을 얻습니다. 또한 상대 위치 관계에 따라 여러 객체 가우시안을 전체 장면으로 결합하고 레이아웃 기반 글로벌 3D 가우시안을 생성하며 글로벌 가우시안 스플래팅을 통해 전체 장면을 렌더링합니다.
d, 적응형 기하 제어
생성 과정에서 3차원 가우시안의 공간적 분포와 기하학적 형태를 더 잘 제어하기 위해 생성적 3차원 가우시안을 위한 적응형 기하 제어 방법을 제안합니다. 첫째, 초기 가우스 세트가 주어지면 레이아웃 범위 내에서 3D 가우스를 제한하기 위해 GALA3D는 밀도 분포 함수 세트를 사용하여 가우스 타원체의 공간 위치를 제한합니다. 그런 다음 분포 함수에 맞게 레이아웃 표면 근처의 가우스를 샘플링합니다. 이후, 우리는 형상 정규화를 사용하여 3D 가우시안의 기하학을 제어할 것을 제안합니다. 3D 생성 프로세스 중에 적응형 형상 제어는 가우시안의 분포와 형상을 지속적으로 최적화하여 더 많은 텍스처 디테일과 규칙적인 형상을 갖춘 3D 다중 객체 및 장면을 생성합니다. 적응형 형상 제어는 또한 레이아웃 기반 생성 3D 가우시안의 더 큰 제어 가능성과 일관성을 보장합니다.
실험 결과
기존 Text-to-3D 생성 방법과 비교하여 GALA3D는 더 나은 3D 장면 생성 품질과 일관성을 보여줍니다. 정량적 실험 결과는 다음 표에 나와 있습니다.
우리는 또한 광범위하고 효과적인 사용자 설문조사가 실시되었으며, 참가자 125명(그 중 39.2%는 관련 분야의 전문가 및 실무자)을 초청하여 본 방법의 생성 시나리오와 기존 방법에 대한 다각적 평가를 수행했으며 그 결과는 다음 표와 같습니다. :
실험 결과 GALA3D는 장면 품질, 기하학적 충실도, 텍스트 일관성, 장면 일관성 등 다차원 평가 지표에서 기존 방식을 능가하며 최적의 생성 품질을 구현하는 것으로 나타났습니다.
아래 그림의 정성적 실험 결과에서 볼 수 있듯이 GALA3D는 제로 샷에서 우수한 일관성을 유지하면서 복잡한 다중 객체 조합 3D 장면을 생성할 수 있습니다.
아래 그림은 GALA3D가 사용자 친화적인 대화형을 지원할 수 있음을 보여줍니다. 제어 가능한 생성 및 편집:
자세한 연구 내용은 원본 논문을 참조하세요.
위 내용은 ICML 2024 | 복잡한 조합의 3D 장면 생성, LLM 대화형 3D 제어 가능 생성 및 편집 프레임워크 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

역시 Tusheng 영상이지만 PaintsUndo는 다른 경로를 택했습니다. ControlNet 작성자 LvminZhang이 다시 살기 시작했습니다! 이번에는 회화 분야를 목표로 삼고 있습니다. 새로운 프로젝트인 PaintsUndo는 출시된 지 얼마 되지 않아 1.4kstar(여전히 상승세)를 받았습니다. 프로젝트 주소: https://github.com/lllyasviel/Paints-UNDO 이 프로젝트를 통해 사용자는 정적 이미지를 입력하고 PaintsUndo는 자동으로 라인 초안부터 완성품 따라가기까지 전체 페인팅 과정의 비디오를 생성하도록 도와줍니다. . 그리는 과정에서 선의 변화가 놀랍습니다. 최종 영상 결과는 원본 이미지와 매우 유사합니다. 완성된 그림을 살펴보겠습니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 이 논문의 저자는 모두 일리노이 대학교 Urbana-Champaign(UIUC)의 Zhang Lingming 교사 팀 출신입니다. Steven Code Repair, 박사 4년차, 연구원

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 인공 지능 개발 과정에서 LLM(대형 언어 모델)의 제어 및 안내는 항상 핵심 과제 중 하나였으며 이러한 모델이 두 가지 모두를 보장하는 것을 목표로 했습니다. 강력하고 안전하게 인간 사회에 봉사합니다. 인간 피드백(RL)을 통한 강화 학습 방법에 초점을 맞춘 초기 노력

AI 모델이 내놓은 답변이 전혀 이해하기 어렵다면 감히 사용해 보시겠습니까? 기계 학습 시스템이 더 중요한 영역에서 사용됨에 따라 우리가 그 결과를 신뢰할 수 있는 이유와 신뢰할 수 없는 경우를 보여주는 것이 점점 더 중요해지고 있습니다. 복잡한 시스템의 출력에 대한 신뢰를 얻는 한 가지 가능한 방법은 시스템이 인간이나 다른 신뢰할 수 있는 시스템이 읽을 수 있는 출력 해석을 생성하도록 요구하는 것입니다. 즉, 가능한 오류가 발생할 수 있는 지점까지 완전히 이해할 수 있습니다. 설립하다. 예를 들어, 사법 시스템에 대한 신뢰를 구축하기 위해 우리는 법원이 자신의 결정을 설명하고 뒷받침하는 명확하고 읽기 쉬운 서면 의견을 제공하도록 요구합니다. 대규모 언어 모델의 경우 유사한 접근 방식을 채택할 수도 있습니다. 그러나 이 접근 방식을 사용할 때는 언어 모델이 다음을 생성하는지 확인하세요.

건배! 종이 토론이 말로만 진행된다면 어떤가요? 최근 스탠포드 대학교 학생들은 arXiv 논문에 대한 질문과 의견을 직접 게시할 수 있는 arXiv 논문에 대한 공개 토론 포럼인 alphaXiv를 만들었습니다. 웹사이트 링크: https://alphaxiv.org/ 실제로 이 웹사이트를 특별히 방문할 필요는 없습니다. URL에서 arXiv를 alphaXiv로 변경하면 alphaXiv 포럼에서 해당 논문을 바로 열 수 있습니다. 논문, 문장: 오른쪽 토론 영역에서 사용자는 저자에게 논문의 아이디어와 세부 사항에 대해 질문하는 질문을 게시할 수 있습니다. 예를 들어 다음과 같이 논문 내용에 대해 의견을 제시할 수도 있습니다.

최근 새천년 7대 과제 중 하나로 알려진 리만 가설이 새로운 돌파구를 마련했다. 리만 가설은 소수 분포의 정확한 특성과 관련된 수학에서 매우 중요한 미해결 문제입니다(소수는 1과 자기 자신으로만 나눌 수 있는 숫자이며 정수 이론에서 근본적인 역할을 합니다). 오늘날의 수학 문헌에는 리만 가설(또는 일반화된 형식)의 확립에 기초한 수학적 명제가 천 개가 넘습니다. 즉, 리만 가설과 그 일반화된 형식이 입증되면 천 개가 넘는 명제가 정리로 확립되어 수학 분야에 지대한 영향을 미칠 것이며, 리만 가설이 틀린 것으로 입증된다면, 이러한 제안의 일부도 그 효과를 잃을 것입니다. MIT 수학 교수 Larry Guth와 Oxford University의 새로운 돌파구

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 서문 최근 몇 년 동안 다양한 분야에서 MLLM(Multimodal Large Language Model)의 적용이 눈에 띄는 성공을 거두었습니다. 그러나 많은 다운스트림 작업의 기본 모델로서 현재 MLLM은 잘 알려진 Transformer 네트워크로 구성됩니다.

LLM에 인과관계 사슬을 보여주면 공리를 학습합니다. AI는 이미 수학자 및 과학자의 연구 수행을 돕고 있습니다. 예를 들어, 유명한 수학자 Terence Tao는 GPT와 같은 AI 도구의 도움을 받아 자신의 연구 및 탐색 경험을 반복적으로 공유했습니다. AI가 이러한 분야에서 경쟁하려면 강력하고 신뢰할 수 있는 인과관계 추론 능력이 필수적입니다. 본 논문에서 소개할 연구에서는 작은 그래프의 인과 전이성 공리 시연을 위해 훈련된 Transformer 모델이 큰 그래프의 전이 공리로 일반화될 수 있음을 발견했습니다. 즉, Transformer가 단순한 인과 추론을 수행하는 방법을 학습하면 보다 복잡한 인과 추론에 사용될 수 있습니다. 팀이 제안하는 공리적 훈련 프레임워크는 시연만으로 패시브 데이터를 기반으로 인과 추론을 학습하는 새로운 패러다임입니다.
