기술 주변기기 일체 포함 CVPR 2024 최고 점수 논문: NeRF 변환 작업을 통합하는 새로운 생성 편집 프레임워크 GenN2N

CVPR 2024 최고 점수 논문: NeRF 변환 작업을 통합하는 새로운 생성 편집 프레임워크 GenN2N

Apr 19, 2024 pm 09:40 PM
git 프로젝트 genn2n

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

저희 웹사이트의 AIxiv 칼럼은 학술 및 기술 콘텐츠에 대한 칼럼입니다. 지난 몇 년 동안 당사 웹사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 다루는 2,000개 이상의 콘텐츠가 접수되어 학술 교류 및 보급을 촉진하는 데 도움이 되었습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일 주소는 liyazhou@jiqizhixin.com입니다.


홍콩과기대와 칭화대학교의 연구원들은 텍스트 기반 NeRF 편집과 같은 다양한 NeRF 변환 작업에 적합한 통합 생성 NeRF-NeRF 변환 프레임워크인 "GenN2N"을 제안했습니다. 셰이딩, 초해상도, 복원 등 성능이 매우 좋습니다! CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务

  • 논문 주소: https://arxiv.org/abs/2404.02788
  • 논문 홈페이지: https://xiangyueliu.github.io/GenN2N/
  • Github 주소: https://github.com/Lxiangyue/GenN2N
  • 논문 제목: GenN2N: Generative NeRF2NeRF Translation

최근 몇 년간 NeRF(Neural Radiation Fields)는 그 컴팩트함으로 인해 많은 주목을 받았습니다. , 높은 품질 및 다양성을 갖춘 3D 재구성, 3D 생성 및 새로운 관점 합성 분야가 광범위한 관심을 끌었습니다. 그러나 NeRF 장면이 생성되면 이러한 방법은 결과적인 형상 및 모양에 대한 추가 제어가 부족한 경우가 많습니다. 따라서 NeRF 편집은 최근 주목할 만한 연구 초점이 되었습니다.

현재 NeRF 편집 방법은 일반적으로 NeRF의 텍스트 기반 편집, 초해상도, 복구 및 색상화와 같은 작업별로 다릅니다. 이러한 방법에는 많은 양의 작업별 도메인 지식이 필요합니다. 2D 이미지 편집 분야에서는 보편적인 이미지 간 변환 방법을 개발하는 것이 추세입니다. 예를 들어 다기능 이미지 편집을 지원하기 위해 2D 생성 모델 Stable Difussion이 사용됩니다. 따라서 우리는 기본 2D 생성 모델을 활용하는 범용 NeRF 편집을 제안합니다.

이와 관련된 과제는 NeRF와 2D 이미지 사이의 표현 격차입니다. 특히 이미지 편집기는 종종 서로 다른 관점에 대해 일관되지 않은 여러 편집을 생성하기 때문입니다. 최근 텍스트 기반 NeRF 편집 방법인 Instruct-NeRF2NeRF가 이를 탐구합니다. 멀티뷰 이미지를 점진적으로 렌더링하고, 이러한 이미지를 편집하고, 편집된 이미지를 NeRF로 집계하여 NeRF 장면을 점진적으로 업데이트하는 "렌더링-편집-집합" 프로세스를 채택합니다. 그러나 이 편집 방법은 특정 편집 요구 사항에 대해 많은 최적화를 거친 후에만 특정 편집 결과를 생성할 수 있습니다. 사용자가 만족하지 않으면 반복적인 시도를 반복해야 합니다.

그래서 우리는 다양한 NeRF 편집 작업에 적합한 일반적인 NeRF-NeRF 프레임워크인 "GenN2N"을 제안했습니다. 그 핵심은 편집 프로세스의 다중 솔루션 특성을 특성화하기 위해 생성적 접근 방식을 사용하는 것입니다. 생성 편집을 사용하여 사용자가 선택해야 하는 요구 사항을 충족하는 많은 수의 편집 결과를 쉽게 생성할 수 있습니다.

GenN2N의 핵심 부분에서는 1) 3D VAE-GAN의 생성 프레임워크가 도입되어 VAE를 사용하여 전체 편집 공간을 표현하고 입력 2D 편집 이미지 세트에 해당하는 가능한 모든 3D NeRF 편집 분포를 학습합니다. 2) 편집 결과의 신뢰성을 보장하기 위해 GAN을 사용하여 NeRF의 다양한 뷰 편집에 대한 합리적인 감독을 제공합니다. 2) 대조 학습을 사용하여 편집 콘텐츠와 관점을 분리하여 다양한 관점 간 편집 콘텐츠의 일관성을 보장합니다. , 사용자는 조건 생성 모델에서 여러 개의 편집 코드를 무작위로 샘플링하는 것만으로도 편집 대상에 해당하는 다양한 3D 편집 결과를 생성할 수 있습니다.

다양한 NeRF 편집 작업(ICCV2023 Oral 등)에서 SOTA 방식과 비교했을 때, GenN2N은 편집 품질, 다양성, 효율성 등의 측면에서 기존 방식보다 우수합니다.

방법 소개

먼저 2D 이미지 편집을 수행한 다음 이러한 2D 편집을 3D NeRF로 업그레이드하여 생성적인 NeRF에서 NeRF로의 변환을 달성합니다.

A. Implicit Distill(Latent Distill)

Latent Distill 모듈을 VAE의 인코더로 사용하여 편집된 각 이미지에 대한 암시적 편집 코드를 학습하고 이를 NeRF-NeRF 변환 편집 코드에 전달합니다. 생성된 콘텐츠를 제어합니다. 모든 편집 코드는 더 나은 샘플링을 위해 KL 손실 제약 조건 하에서 양호한 정규 분포를 따릅니다. 편집 내용과 관점을 분리하기 위해 편집 스타일은 동일하지만 관점이 다른 사진의 편집 코드는 유사하게 하고, 편집 스타일은 다르지만 관점이 같은 사진의 편집 코드는 멀도록 장려하는 대조 학습을 신중하게 설계했습니다. 서로 멀리 떨어져 있습니다.

B.NeRF-to-NeRF 변환(Translated NeRF)

우리는 NeRF-to-NeRF Translation을 VAE의 디코더로 사용합니다. 이는 편집 코드를 입력으로 사용하여 원본 NeRF를 수정합니다. 변환된 NeRF의 경우. 우리는 원래 NeRF 네트워크의 숨겨진 레이어 사이에 잔여 레이어를 추가했습니다. 이러한 잔여 레이어는 편집 코드를 입력으로 사용하여 숨겨진 레이어 뉴런을 변조하므로 변환된 NeRF는 원래 NeRF 정보를 유지할 뿐만 아니라 3D 변환도 제어할 수 있습니다. 편집 코드를 기반으로 합니다. 동시에 NeRF-to-NeRF Translation은 생성적 적대 훈련에 참여하기 위한 생성기 역할도 합니다. 최적화가 아닌 생성을 통해 한 번에 여러 변환 결과를 얻을 수 있어 NeRF 변환 효율성과 결과 다양성이 크게 향상됩니다.

C. 조건부 판별기

NeRF로 변환된 렌더링된 이미지는 구별되어야 하는 생성 공간을 구성합니다. 이러한 이미지의 편집 스타일과 렌더링 관점이 다르기 때문에 생성 공간이 매우 복잡해집니다. . 따라서 판별자에 대한 추가 정보로 조건을 제공합니다. 구체적으로, 판별자가 훈련 데이터에서 생성자가 렌더링한 그림CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务(음성 샘플) 또는 편집된 그림CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务(양성 샘플)을 식별하면 훈련 데이터에서 동일한 관점의 편집된 그림CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务을 조건으로 선택합니다. 판별자는 양성 샘플과 음성 샘플을 구별할 때 관점 요인의 간섭을 받지 않습니다.

D. 추론

GenN2N 최적화 후 사용자는 정규 분포에서 편집 코드를 무작위로 샘플링하고 변환된 NeRF를 입력하여 뷰포인트에 일관된 고품질 3D NeRF를 생성할 수 있습니다. 장면.

실험

우리는 NeRF 텍스트 기반 편집, 색상화, 초해상도, 인페인팅 등 다양한 NeRF 간 작업에 대한 광범위한 실험을 수행했습니다. 실험 결과는 GenN2N의 뛰어난 편집 품질, 멀티뷰 일관성, 생성된 다양성 및 편집 효율성을 보여줍니다.

A. 텍스트 기반 NeRF 편집 CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务B. CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务비교 실험 CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务 다양한 특정 NeRF 작업에 대한 SOTA 방법과 비교( 텍스트 기반 편집, 색상화, 초해상도 및 인페인팅 등 포함). 결과는 일반 프레임워크인 GenN2N이 작업별 SOTA와 같거나 더 나은 성능을 발휘하는 반면 편집 결과는 더 다양하다는 것을 보여줍니다. (다음은 텍스트 기반 NeRF 편집 작업에서 GenN2N과 Instruct-NeRF2NeRF 간의 비교입니다. ).

A. 텍스트 기반 NeRF 편집CVPR 2024高分论文:全新生成式编辑框架GenN2N,统一NeRF转换任务
더 많은 실험과 방법은 논문 홈페이지를 참고해주세요.

팀 소개

이 논문은 홍콩 과학 기술 대학의 Tan Ping 팀, Tsinghua University 3DVICI Lab, Shanghai Artificial Intelligence Laboratory 및 Shanghai Qizhi Research Institute의 저자입니다. 논문은 홍콩과기대 학생 Liu, 청화대 학생 Xue Han, 홍콩과기대 학생 Luo Kunming, 그리고 강사는 칭화대 Yi Li 선생님입니다. 홍콩과기대학교의 대학교수이자 교사인 탄핑(Tan Ping).

위 내용은 CVPR 2024 최고 점수 논문: NeRF 변환 작업을 통합하는 새로운 생성 편집 프레임워크 GenN2N의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

GIT 프로젝트를 로컬로 다운로드하는 방법 GIT 프로젝트를 로컬로 다운로드하는 방법 Apr 17, 2025 pm 04:36 PM

GIT를 통해 로컬로 프로젝트를 다운로드하려면 다음 단계를 따르십시오. GIT를 설치하십시오. 프로젝트 디렉토리로 이동하십시오. 다음 명령을 사용하여 원격 저장소 클로닝 : git 클론 https://github.com/username/repository-name.git

git에서 코드를 업데이트하는 방법 git에서 코드를 업데이트하는 방법 Apr 17, 2025 pm 04:45 PM

GIT 코드를 업데이트하는 단계 : 코드 확인 : git 클론 https://github.com/username/repo.git 최신 변경 사항 가져 오기 : Git Fetch Merge 변경 사항 : GIT 병합 원산지/마스터 푸시 변경 (옵션) : Git Push Origin Master

Git Commit을 사용하는 방법 Git Commit을 사용하는 방법 Apr 17, 2025 pm 03:57 PM

Git Commit은 프로젝트의 현재 상태에 대한 스냅 샷을 저장하기 위해 파일 변경을 GIT 저장소에 기록하는 명령입니다. 사용 방법은 다음과 같습니다. 임시 저장 영역에 변경 사항 추가 제출 메시지를 저장하고 종료하기 위해 간결하고 유익한 제출 메시지를 작성하여 제출을 완료하기 위해 제출물을 완료하십시오. 제출자에 서명을 추가하여 제출 내용을보기 위해 GIT 로그를 사용하십시오.

git에서 코드를 병합하는 방법 git에서 코드를 병합하는 방법 Apr 17, 2025 pm 04:39 PM

GIT 코드 병합 프로세스 : 충돌을 피하기 위해 최신 변경 사항을 가져옵니다. 병합하려는 지점으로 전환하십시오. 병합을 시작하고 병합을 지정합니다. 병합 충돌을 해결하십시오 (있는 경우). 커밋 메시지를 제공하여 병합을 준비하고 커밋합니다.

PHP 프로젝트에서 효율적인 검색 문제를 해결하는 방법은 무엇입니까? Typesense는이를 달성하는 데 도움이됩니다! PHP 프로젝트에서 효율적인 검색 문제를 해결하는 방법은 무엇입니까? Typesense는이를 달성하는 데 도움이됩니다! Apr 17, 2025 pm 08:15 PM

전자 상거래 웹 사이트를 개발할 때 어려운 문제가 발생했습니다. 대량의 제품 데이터에서 효율적인 검색 기능을 달성하는 방법은 무엇입니까? 기존 데이터베이스 검색은 비효율적이며 사용자 경험이 좋지 않습니다. 일부 연구 후, 나는 검색 엔진 타입을 발견하고 공식 PHP 클라이언트 Typeense/Typeense-PHP를 통해이 문제를 해결하여 검색 성능을 크게 향상 시켰습니다.

GIT 다운로드가 활성화되지 않은 경우해야 할 일 GIT 다운로드가 활성화되지 않은 경우해야 할 일 Apr 17, 2025 pm 04:54 PM

해결 : GIT 다운로드 속도가 느리면 다음 단계를 수행 할 수 있습니다. 네트워크 연결을 확인하고 연결 방법을 전환하십시오. GIT 구성 최적화 : 포스트 버퍼 크기를 늘리고 (GIT 구성-글로벌 http.postBuffer 524288000) 저속 제한 (git config --global http.lowspeedlimit 1000)을 줄입니다. git 프록시 (예 : git-proxy 또는 git-lfs-proxy)를 사용하십시오. 다른 git 클라이언트 (예 : Sourcetree 또는 Github 데스크탑)를 사용해보십시오. 화재 보호를 확인하십시오

git로 저장소를 삭제하는 방법 git로 저장소를 삭제하는 방법 Apr 17, 2025 pm 04:03 PM

git 저장소를 삭제하려면 다음 단계를 따르십시오. 삭제하려는 저장소를 확인하십시오. 로컬 리포지토리 삭제 : rm -rf 명령을 사용하여 폴더를 삭제하십시오. 원격으로 창고 삭제 : 창고 설정으로 이동하고 "창고 삭제"옵션을 찾은 후 작동을 확인하십시오.

Git에서 로컬 코드를 업데이트하는 방법 Git에서 로컬 코드를 업데이트하는 방법 Apr 17, 2025 pm 04:48 PM

로컬 git 코드를 업데이트하는 방법은 무엇입니까? Git Fetch를 사용하여 원격 저장소에서 최신 변경 사항을 가져옵니다. Git Merge Origin/& Lt; 원격 지점 이름 & gt; 합병으로 인해 발생하는 갈등을 해결합니다. git commit -m "merge branch & lt; 원격 브랜치 이름 & gt;" 병합 변경 사항을 제출하고 업데이트를 적용합니다.

See all articles