OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.-일체 포함-php.cn

위 작성 및 작성자 개인 요약

최근 몇 년간 자율주행 분야의 3차원 탑승 예측 작업은 그 특유의 장점으로 인해 학계와 산업계에서 폭넓은 주목을 받아왔습니다. 주변 환경의 3차원 구조를 재구성하여 자율주행 계획 및 네비게이션에 대한 세부 정보를 제공하는 작업입니다. 그러나 대부분의 현재 주류 방법은 LiDAR 포인트 클라우드를 기반으로 생성된 레이블을 사용하여 네트워크 훈련을 감독합니다. 최근 OccNeRF 연구에서 저자는 매개변수화된 점유 필드(Parameterized Occupancy Fields)라는 자체 감독 다중 카메라 점유 예측 방법을 제안했습니다. 이 방법은 야외 장면에서 경계가 없는 문제를 해결하고 샘플링 전략을 재구성합니다. 그런 다음 볼륨 렌더링(Volume Rendering) 기술을 통해 점유된 필드를 다중 카메라 깊이 맵으로 변환하고 다중 프레임 광도 일관성(Photometric Error)으로 감독합니다. 또한 이 방법은 사전 훈련된 개방형 어휘 의미론적 분할 모델을 활용하여 직업 분야에 의미론적 정보를 부여하기 위한 2D 의미론적 라벨을 생성합니다. 이 개방형 어휘 의미론적 분할 모델은 장면의 다양한 객체를 분할하고 각 객체에 의미론적 라벨을 할당할 수 있습니다. 이러한 의미 라벨을 점유 필드와 결합함으로써 모델은 환경을 더 잘 이해하고 더 정확한 예측을 할 수 있습니다. 요약하면, OccNeRF 방법은 매개변수화된 점유 필드, 볼륨 렌더링 및 다중 프레임 측광 일관성과 개방형 어휘 의미론적 분할 모델을 결합하여 자율 주행 시나리오에서 고정밀 점유 예측을 달성합니다. 이 방식은 자율주행 시스템에 더 많은 환경 정보를 제공하고, 자율주행의 안전성과 신뢰성을 향상시킬 것으로 기대된다.

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.

문서 링크: https://arxiv.org/pdf/2312.09243.pdf
코드 링크: https://github.com/LinShan-Bin/OccNeRF

OccNeRF 문제 배경

최근 인공지능 기술의 급속한 발전과 함께 자율주행 분야에서도 큰 발전이 이루어졌습니다. 3D 인식은 자율주행의 기반이 되며, 이후의 계획과 의사결정에 필요한 정보를 제공합니다. 전통적인 방법에서 LiDAR는 정확한 3D 데이터를 직접 캡처할 수 있지만 센서의 높은 비용과 스캐닝 지점이 희박하여 실제 적용이 제한됩니다. 이에 반해 이미지 기반 3D 센싱 방식은 비용이 저렴하고 효과적이어서 점점 더 많은 주목을 받고 있습니다. 멀티 카메라 3D 물체 감지는 한동안 3D 장면 이해 작업의 주류였지만 현실 세계의 무제한 범주에 대처할 수 없고 데이터의 롱테일 배포에 어려움을 겪고 있습니다.

3D 점유 예측은 멀티뷰 입력을 통해 주변 장면의 기하학적 구조를 직접 재구성함으로써 이러한 단점을 잘 보완할 수 있습니다. 대부분의 기존 방법은 이미지 기반 시스템에서는 사용할 수 없는 LiDAR 포인트 클라우드에서 생성된 레이블을 사용하여 네트워크 훈련을 감독하는 모델 설계 및 성능 최적화에 중점을 둡니다. 즉, 훈련 데이터를 수집하기 위해 여전히 값비싼 데이터 수집 수단을 사용해야 하며 LiDAR 포인트 클라우드 지원 주석 없이는 대량의 실제 데이터를 낭비해야 하므로 3D 점유 예측 개발이 어느 정도 제한됩니다. 따라서 자기주도형 3D 점유 예측을 탐구하는 것은 매우 귀중한 방향입니다.

OccNeRF 알고리즘에 대한 자세한 설명

다음 그림은 OccNeRF 방식의 기본 과정을 보여줍니다. 모델은 다중 카메라 이미지

를 입력으로 사용하고 먼저 2D 백본을 사용하여 N 이미지의 특징

을 추출한 다음 간단한 투영 및 이중선형 보간(매개변수화된 공간 아래)을 통해 직접 3D 특징을 얻고 마지막으로 3D를 통해 CNN 네트워크는 3D 기능을 최적화하고 예측을 출력합니다. 모델을 훈련하기 위해 OccNeRF 방법은 볼륨 렌더링을 통해 현재 프레임의 깊이 맵을 생성하고 이전 및 다음 프레임을 도입하여 광도 손실을 계산합니다. 더 많은 타이밍 정보를 제공하기 위해 OccNeRF는 점유 필드를 사용하여 다중 프레임 깊이 맵을 렌더링하고 손실 함수를 계산합니다. 동시에 OccNeRF는 2D 의미 지도를 동시에 렌더링하며 Open Lexicon 의미 체계 분할 모델에 의해 감독됩니다.

매개변수화된 Occupancy Fields OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.

매개변수화된 Occupancy Field는 카메라와 점유 그리드 사이의

인식 범위 격차

문제를 해결하기 위해 제안되었습니다. 이론적으로 카메라는 무한한 거리에 있는 물체를 캡처할 수 있지만, 이전 점유 예측 모델은 더 가까운 공간(예: 40m 이내)만 고려합니다. 감독 방법에서 모델은 감독 신호를 기반으로 먼 물체를 무시하는 방법을 학습할 수 있습니다. 최적화 프로세스에 영향을 미칩니다. 이를 기반으로 OccNeRF는 매개변수화된 점유 필드(Parameterized Occupancy Fields)를 채택하여 무제한의 야외 장면을 모델링합니다.

OccNeRF의 매개변수화 공간은 내부와 외부로 구분됩니다. 내부 공간은 원래 좌표의 선형 매핑으로, 높은 해상도를 유지하는 반면 외부 공간은 무한한 범위를 나타냅니다. 특히 OccNeRF는 3D 공간에서 중간점의 좌표를 다음과 같이 변경합니다.

여기서 는 좌표이고, 는 내부 공간의 해당 경계 값을 나타내는 조정 가능한 매개변수입니다. 또한 조정 가능합니다. 조정된 매개변수는 점유된 내부 공간의 비율을 나타냅니다. 매개변수화된 점유 필드를 생성할 때 OccNeRF는 먼저 매개변수화된 공간에서 샘플링하고 역변환을 통해 원래 좌표를 얻은 다음 원래 좌표를 이미지 평면에 투영하고 마지막으로 샘플링과 3차원 컨볼루션을 통해 점유 필드를 얻습니다.

다중 프레임 깊이 추정

점유 네트워크를 훈련하기 위해 OccNeRF는 볼륨 렌더링을 사용하여 점유를 깊이 맵으로 변환하고 광도 손실 함수를 통해 감독하기로 선택했습니다. 샘플링 전략은 깊이 맵을 렌더링할 때 중요합니다. 매개변수화된 공간에서 깊이나 시차를 기준으로 균일하게 직접 샘플링하면 샘플링 지점이 내부 또는 외부 공간에 고르지 않게 분포되어 최적화 프로세스에 영향을 미칩니다. 따라서 OccNeRF는 카메라 중심이 원점에 가깝다는 전제 하에 매개변수화된 공간에서 균일하게 직접 샘플링하는 것을 제안합니다. 또한 OccNeRF는 훈련 중에 다중 프레임 깊이 맵을 렌더링하고 감독합니다.

아래 그림은 파라메트릭 공간 표현 사용의 장점을 시각적으로 보여줍니다. (세 번째 줄은 매개변수화된 공간을 사용하고 두 번째 줄은 사용하지 않습니다.)

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.

Semantic Label Generation

OccNeRF는 사전 훈련된 GroundedSAM(Grounding DINO + SAM)을 사용하여 2D 의미 체계 라벨을 생성합니다. OccNeRF는 고품질 라벨을 생성하기 위해 두 가지 전략을 채택합니다. 하나는 nuScene의 모호한 카테고리를 정확한 설명으로 대체하는 프롬프트 단어 최적화입니다. OccNeRF에서는 프롬프트 단어를 최적화하기 위해 세 가지 전략이 사용됩니다: 모호한 단어 대체(자동차가 세단으로 대체됨), 단어 대 단어 다중 단어(인공이 건물, 광고판 및 교량으로 대체됨), 추가 정보 도입(자전거가 자전거로 대체됨) 자전거로 대체(자전거 이용자). 두 번째는 SAM에서 제공하는 픽셀별 신뢰도 대신 Grounding DINO의 감지 프레임 신뢰도를 기반으로 카테고리를 결정하는 것입니다. OccNeRF가 생성한 의미 라벨 효과는 다음과 같습니다.

OccNeRF: LiDAR 데이터 감독이 전혀 필요하지 않습니다.