목차
방법 소개
Experiment
기술 주변기기 일체 포함 효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합

효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합

May 06, 2023 pm 05:04 PM
연구 애플리케이션

순전히 MLP 기반 NeRF(Neural Radiation Field)는 제한된 모델 용량으로 인해 대규모 장면 블러 렌더링에서 과소적합 문제를 겪는 경우가 많습니다. 최근 일부 연구자들은 장면을 지리적으로 분할하고 여러 개의 하위 NeRF를 사용하여 각 영역을 개별적으로 모델링하는 방법을 제안했지만 이로 인해 발생하는 문제는 장면이 점차 확장됨에 따라 훈련 비용이 하위 NeRF의 수에 비례한다는 것입니다. 확장하다.

또 다른 솔루션은 복셀 피쳐 그리드 표현을 사용하는 것입니다. 이는 계산적으로 효율적이고 그리드 해상도가 증가하여 대규모 장면으로 자연스럽게 확장됩니다. 그러나 기능 메시는 제약 조건이 적기 때문에 최적이 아닌 솔루션만 달성하는 경우가 많으며, 특히 복잡한 형상과 텍스처가 있는 영역에서 렌더링 시 일부 노이즈 아티팩트가 발생합니다.

이 기사에서는 홍콩 중문대학교, 상하이 인공 지능 연구소 및 기타 기관의 연구원들이 계산 효율성을 고려하면서 도시(Ubran) 장면의 충실도 높은 렌더링을 달성하기 위한 새로운 프레임워크를 제안한 것으로 선정되었습니다. CVPR 2023을 위해. 이 연구에서는 컴팩트한 다중 해상도 지상 특징 평면 표현을 사용하여 장면을 대략적으로 캡처하고 공동으로 학습된 방식으로 렌더링하기 위해 NeRF 분기 네트워크를 통해 위치 인코딩된 입력으로 이를 보완합니다. 이 접근 방식은 두 접근 방식의 장점을 통합합니다. 기능 그리드 표현의 지침에 따라 가벼운 가중치의 NeRF는 세부 사항이 포함된 현실적인 새로운 관점을 제시하기에 충분합니다. 컴팩트한 기능 공간으로 보다 자연스러운 렌더링 결과를 출력합니다.

효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합

  • 논문 주소: https://arxiv.org/pdf/2303.14001.pdf
  • 프로젝트 홈페이지: https://city-super.github.io/ Gridnerf/

아래 그림은 사람들에게 몰입형 도시 로밍 경험을 제공하는 실제 Ubran 장면에 대한 연구 방법의 예시 결과를 보여줍니다.

효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합

방법 소개

암시적 신경을 효과적으로 활용 본 연구에서는 대규모 도시 장면의 재구성을 표현하기 위해 명시적 복셀 그리드 기반 및 암시적 기반 NeRF 방법을 통합하는 통합 장면 표현을 채택하는 이중 분기 모델 아키텍처를 제안합니다. 서로를 보완하십시오.

먼저 사전 훈련 단계에서 특징 메쉬를 사용하여 대상 장면을 모델링하여 장면의 형상과 모양을 대략적으로 포착합니다. 그런 다음 거친 형상 그리드를 사용하여 1) NeRF 포인트 샘플링을 안내하여 장면 표면 주위에 집중되도록 하고 2) 샘플링된 위치의 장면 형상 및 모양에 대한 추가 기능을 NeRF의 위치 인코딩에 제공합니다. 이러한 지침을 통해 NeRF는 크게 압축된 샘플링 공간에서 더 미세한 세부 정보를 효율적으로 수집할 수 있습니다. 또한, 대략적인 수준의 기하학 및 모양 정보가 NeRF에 명시적으로 제공되므로 경량 MLP는 전역 좌표에서 볼륨 밀도 및 색상 값으로의 매핑을 학습하는 데 충분합니다. 두 번째 공동 학습 단계에서는 거친 특징 메시가 NeRF 분기의 그라디언트를 통해 더욱 최적화되고 정규화되므로 단독으로 적용할 때 더 정확하고 자연스러운 렌더링 결과를 얻을 수 있습니다.

이 연구의 핵심은 새로운 이중 분기 구조, 즉 그리드 분기와 NeRF 분기입니다. 1) 연구자들은 먼저 사전 훈련 단계에서 특징 평면의 피라미드 장면을 캡처하고 얕은 MLP 렌더러(그리드 브랜치)를 통해 광선 점을 대략적으로 샘플링하고 픽셀 색상에 대한 볼륨 통합 MSE로 휘도 값을 예측했습니다. 손실 감독. 이 단계에서는 정보가 풍부한 다중 해상도 밀도/외관 특징 평면 세트를 생성합니다. 2) 다음으로 연구자들은 공동학습 단계에 진입하여 보다 정제된 샘플링을 수행한다. 연구원들은 학습된 특징 그리드를 사용하여 NeRF 분기 샘플링을 안내하여 장면 표면에 초점을 맞췄습니다. 샘플링 포인트의 그리드 특성은 형상 평면의 이중선형 보간을 통해 파생됩니다. 그런 다음 이러한 기능은 위치 인코딩과 연결되어 NeRF 분기에 공급되어 체적 밀도와 색상을 예측합니다. 공동 훈련 중에 그리드 분기의 출력은 NeRF 분기의 정밀한 렌더링 결과뿐만 아니라 실제 이미지를 사용하여 계속 감독됩니다.

효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합

목표 시나리오: 이 작업에서 연구는 새로운 그리드 유도 신경 방사선장을 사용하여 대규모 도시 장면 렌더링을 수행합니다. 아래 이미지의 왼쪽은 5,000개 이상의 드론 이미지로 캡처한 2.7km^2 면적에 걸친 대규모 도시 장면의 예를 보여줍니다. 연구에 따르면 NeRF 기반 방법은 흐릿하고 지나치게 매끄럽고 모델 용량이 제한된 결과를 렌더링하는 반면, 고유 그리드 기반 방법은 고해상도 고유 그리드가 있는 대규모 장면에 적응할 때 노이즈가 있는 아티팩트를 표시하는 경향이 있는 것으로 나타났습니다. 본 연구에서 제안하는 이중 분기 모델은 두 방법의 장점을 결합하고 기존 방법에 비해 획기적인 개선을 통해 사실적이고 새로운 뷰 렌더링을 달성합니다. 두 가지 모두 해당 기준선에 비해 상당한 향상을 얻었습니다.

효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합

Experiment

연구원들은 아래 그림과 표에 기준선의 성능과 연구원의 방법을 보고했습니다. 질적으로나 양적으로나 말이죠. 시각적 품질과 모든 지표 측면에서 상당한 개선이 관찰되었습니다. 연구원들의 접근 방식은 순수한 MLP 기반 방법(NeRF 및 Mega-NeRF)보다 더 선명한 형상과 더 미세한 세부 사항을 보여주었습니다. 특히, NeRF의 제한된 용량과 스펙트럼 편향으로 인해 운동장의 초목 및 줄무늬와 같은 기하학 및 색상의 급격한 변화를 항상 시뮬레이션할 수 없습니다. Mega-NeRF 기준선에 표시된 것처럼 장면을 작은 영역으로 지리적으로 나누는 것이 약간 도움이 되지만 제시된 결과는 여전히 너무 매끄러워 보입니다. 반대로, 학습된 특징 그리드에 따라 NeRF의 샘플링 공간은 장면 표면 근처에서 효과적이고 크게 압축됩니다. 그림 3과 같이 지상 특징 평면에서 샘플링된 밀도 및 모양 특징은 장면 콘텐츠를 명시적으로 나타냅니다. 정확도는 떨어지지만 이미 유익한 로컬 기하학과 텍스처를 제공하고 NeRF의 위치 인코딩을 통해 누락된 장면 세부 정보를 수집하도록 권장합니다.

효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합

아래 표 1은 정량적 결과를 보여줍니다.

효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합

그림 6 렌더링 충실도의 급격한 향상을 확인할 수 있습니다.

자세히 알아보기 내용은 원문을 참조하시기 바랍니다.

효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합

위 내용은 효율적이고 사실적인 초대형 도시 렌더링 달성: NeRF와 피처 그리드 기술 결합의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

iPhone 홈 화면에서 삭제를 취소하는 방법 iPhone 홈 화면에서 삭제를 취소하는 방법 Apr 17, 2024 pm 07:37 PM

홈 화면에서 중요한 항목을 삭제하고 다시 복구하려고 하시나요? 다양한 방법으로 앱 아이콘을 화면에 다시 표시할 수 있습니다. 우리는 당신이 따라갈 수 있는 모든 방법과 홈 화면에 앱 아이콘을 다시 넣을 수 있는 방법에 대해 논의했습니다. 방법 1 - 앱 라이브러리에서 앱 아이콘 바꾸기 앱 라이브러리에서 직접 홈 화면에 앱 아이콘을 배치할 수 있습니다. 1단계 – 옆으로 스와이프하여 앱 라이브러리의 모든 앱을 찾습니다. 2단계 – 이전에 삭제한 앱 아이콘을 찾습니다. 3단계 – 메인 라이브러리의 앱 아이콘을 홈 화면의 올바른 위치로 드래그하기만 하면 됩니다. 이것은 응용 다이어그램입니다

PHP에서 화살표 기호의 역할과 실제 적용 PHP에서 화살표 기호의 역할과 실제 적용 Mar 22, 2024 am 11:30 AM

PHP에서 화살표 기호의 역할과 실제 적용 PHP에서 화살표 기호(->)는 일반적으로 객체의 속성과 메서드에 액세스하는 데 사용됩니다. 객체는 PHP의 객체지향 프로그래밍(OOP)의 기본 개념 중 하나입니다. 실제 개발에서는 객체를 조작할 때 화살표 기호가 중요한 역할을 합니다. 이 기사에서는 화살표 기호의 역할과 실제 적용을 소개하고 독자의 이해를 돕기 위해 구체적인 코드 예제를 제공합니다. 1. 객체의 속성에 접근하기 위한 화살표 기호의 역할 화살표 기호를 사용하여 객체의 속성에 접근할 수 있습니다. 쌍을 인스턴스화할 때

초보자부터 숙련자까지: Linux tee 명령의 다양한 응용 시나리오 탐색 초보자부터 숙련자까지: Linux tee 명령의 다양한 응용 시나리오 탐색 Mar 20, 2024 am 10:00 AM

Linuxtee 명령은 기존 출력에 영향을 주지 않고 출력을 파일에 쓰거나 출력을 다른 명령으로 보낼 수 있는 매우 유용한 명령줄 도구입니다. 이 기사에서는 초보자부터 숙련자까지 Linuxtee 명령의 다양한 애플리케이션 시나리오를 심층적으로 살펴보겠습니다. 1. 기본 사용법 먼저 tee 명령어의 기본 사용법을 살펴보겠습니다. tee 명령의 구문은 다음과 같습니다: tee[OPTION]...[FILE]...이 명령은 표준 입력에서 데이터를 읽고 데이터를 다음 위치에 저장합니다.

Go 언어의 장점과 적용 시나리오를 살펴보세요. Go 언어의 장점과 적용 시나리오를 살펴보세요. Mar 27, 2024 pm 03:48 PM

Go 언어는 Google이 개발하여 2007년에 처음 출시된 오픈 소스 프로그래밍 언어입니다. 간단하고 배우기 쉽고 효율적이며 동시성이 높은 언어로 설계되었으며 점점 더 많은 개발자가 선호합니다. 이 기사에서는 Go 언어의 장점을 살펴보고 Go 언어에 적합한 몇 가지 애플리케이션 시나리오를 소개하며 구체적인 코드 예제를 제공합니다. 장점: 강력한 동시성: Go 언어에는 동시 프로그래밍을 쉽게 구현할 수 있는 경량 스레드 고루틴에 대한 지원이 내장되어 있습니다. Goroutin은 go 키워드를 사용하여 시작할 수 있습니다.

클라우드 컴퓨팅 분야에서 Linux의 광범위한 적용 클라우드 컴퓨팅 분야에서 Linux의 광범위한 적용 Mar 20, 2024 pm 04:51 PM

클라우드 컴퓨팅 분야에서 Linux의 광범위한 적용 클라우드 컴퓨팅 기술의 지속적인 개발 및 대중화와 함께 Linux는 오픈 소스 운영 체제로서 클라우드 컴퓨팅 분야에서 중요한 역할을 담당합니다. 안정성, 보안성 및 유연성으로 인해 Linux 시스템은 다양한 클라우드 컴퓨팅 플랫폼 및 서비스에서 널리 사용되며 클라우드 컴퓨팅 기술 개발을 위한 견고한 기반을 제공합니다. 이 기사에서는 클라우드 컴퓨팅 분야에서 Linux의 광범위한 애플리케이션을 소개하고 구체적인 코드 예제를 제공합니다. 1. 클라우드 컴퓨팅 플랫폼에서 리눅스의 애플리케이션 가상화 기술 가상화 기술

MySQL 타임스탬프 이해: 기능, 특징 및 애플리케이션 시나리오 MySQL 타임스탬프 이해: 기능, 특징 및 애플리케이션 시나리오 Mar 15, 2024 pm 04:36 PM

MySQL 타임스탬프는 날짜, 시간 또는 날짜와 시간을 저장할 수 있는 매우 중요한 데이터 유형입니다. 실제 개발 과정에서 타임스탬프를 합리적으로 사용하면 데이터베이스 운영 효율성을 높이고 시간 관련 쿼리 및 계산을 용이하게 할 수 있습니다. 이 기사에서는 MySQL 타임스탬프의 기능, 특징 및 애플리케이션 시나리오를 논의하고 특정 코드 예제를 통해 설명합니다. 1. MySQL 타임스탬프의 기능 및 특징 MySQL에는 두 가지 유형의 타임스탬프가 있는데, 하나는 TIMESTAMP입니다.

Apple이 실행 중인 앱을 종료하는 방법에 대한 튜토리얼 Apple이 실행 중인 앱을 종료하는 방법에 대한 튜토리얼 Mar 22, 2024 pm 10:00 PM

1. 먼저 작은 흰색 점을 클릭합니다. 2. 장치를 클릭하세요. 3. 더보기를 클릭하세요. 4. 애플리케이션 전환기를 클릭합니다. 5. 애플리케이션 배경을 닫으면 됩니다.

구현 지능에 대한 Google의 새로운 연구: RT-2보다 나은 RT-H가 여기에 있습니다. 구현 지능에 대한 Google의 새로운 연구: RT-2보다 나은 RT-H가 여기에 있습니다. Mar 11, 2024 pm 01:10 PM

GPT-4와 같은 대규모 언어 모델이 점점 로봇 공학과 통합되면서 인공 지능이 점차 현실 세계로 이동하고 있습니다. 이에 체화지능(embodied Intelligence)과 관련된 연구도 점점 주목을 받고 있다. 많은 연구 프로젝트 중에서 Google의 "RT" 로봇 시리즈가 항상 선두에 있었으며 최근 이러한 추세가 가속화되기 시작했습니다(자세한 내용은 "대형 모델이 로봇을 재구성하고 있는 방법, Google Deepmind가 미래에 구현된 지능을 정의하는 방법" 참조). 지난해 7월 구글 딥마인드는 시각-언어-행동(VLA) 상호작용을 위해 로봇을 제어할 수 있는 세계 최초 모델인 RT-2를 출시했다. RT-2는 대화 방식으로 지시하는 것만으로도 수많은 사진에서 Swift를 식별하고 그녀에게 콜라 캔을 전달할 수 있습니다. 지금,

See all articles