ReSimAD: 가상 데이터를 통해 지각 모델의 일반화 성능을 향상시키는 방법

위에 작성 및 작성자의 개인적인 이해

자율주행차의 센서 수준에서 도메인 변경은 매우 일반적인 현상입니다. 예를 들어 다양한 장면과 위치의 자율주행차, 다양한 조명과 날씨 조건의 자율주행차, 센서 장비가 다르기 때문에 위의 내용은 자율 주행 영역의 고전적인 차이점으로 간주될 수 있습니다. 이러한 도메인 차이는 자율 주행에 대한 과제를 야기합니다. 주로 기존 도메인 지식에 의존하는 자율 주행 모델은 추가 비용 없이 이전에 볼 수 없었던 새로운 도메인에 직접 배포하기 어렵기 때문입니다. 따라서 본 논문에서는 도메인 마이그레이션에 대한 새로운 관점과 방법을 제공하기 위해 ReSimAD(재구성 시뮬레이션 인식) 방식을 제안합니다. 구체적으로, 운전 장면에서 기존 도메인 지식을 얻기 위해 암시적 재구성 기술을 사용합니다. 재구성 프로세스의 목적은 기존 도메인의 도메인 관련 지식을 도메인 불변 표현(Domain-invariant Representations)으로 변환하는 방법을 연구하는 것입니다. 예를 들어, 우리는 3D 장면 수준 메시 표현(3D 메시 표현)이 도메인 불변 표현이라고 믿습니다. 재구성된 결과를 기반으로 시뮬레이터를 사용하여 대상 도메인과 유사한 보다 현실적인 시뮬레이션 포인트 클라우드를 생성합니다. 이 단계는 재구성된 배경 정보와 대상 도메인의 센서 솔루션에 의존하여 수집 및 라벨링 시간을 줄입니다. 후속 감지 프로세스의 새로운 도메인 데이터 비용.

실험적 검증 부분에서는 Waymo-to-KITTI, Waymo-to-nuScenes, Waymo-to-ONCE 등 다양한 크로스 도메인 설정을 고려했습니다. 모든 교차 도메인 설정은 제로샷 실험 설정을 채택하고, 배경 메쉬와 소스 도메인의 시뮬레이션 센서에만 의존하여 대상 도메인 샘플을 시뮬레이션하여 모델 일반화 기능을 향상시킵니다. 결과는 ReSimAD가 일부 비지도 도메인 적응 방법보다 훨씬 더 나은 대상 도메인 장면에 대한 인식 모델의 일반화 능력을 크게 향상시킬 수 있음을 보여줍니다.

논문 정보

• 논문 제목: ReSimAD: Zero-Shot 3D Domain Transfer for Autonomous Driving with Source Reconstruction and Target Simulation
• ICLR-2024 승인
• 논문 출판 단위: Shanghai Artificial Intelligence Laboratory, Shanghai Jiao Tong University, Fudan University, Beihang University
• 논문 주소: https://arxiv.org/abs/2309.05527
• 코드 주소: 시뮬레이션 데이터 세트 및 인식 부분, https://github.com/PJLab-ADG /3DTrans #resimad; 소스 도메인 재구성 부분, https://github.com/pjlab-ADG/neuralsim; 대상 도메인 시뮬레이션 부분, https://github.com/PJLab-ADG/PCSim

연구 동기

과제: 3D 모델은 자율 주행 자동차가 주변을 인식하는 데 도움이 될 수 있지만 기존 기본 모델은 새로운 영역(예: 다른 센서 설정 또는 보이지 않는 도시)으로 일반화하기 어렵습니다. 자율주행 분야의 장기 비전은 모델이 더 낮은 비용으로 도메인 마이그레이션을 달성할 수 있도록 하는 것입니다. 즉, 소스 도메인에서 완전히 훈련된 모델을 대상 도메인 시나리오에 성공적으로 적용하는 것입니다. 도메인은 각각 뚜렷한 데이터 분포 차이가 있는 두 가지 도메인이 있습니다. 예를 들어 소스 도메인은 64빔 센서이고 대상 도메인은 32빔 센서입니다.

일반적으로 사용되는 솔루션 아이디어: 위의 도메인 차이에 직면했을 때 가장 일반적인 솔루션은 대상 도메인 장면에 대한 데이터를 얻고 주석을 추가하는 것입니다. 이 방법은 도메인 차이로 인한 모델 성능 저하를 어느 정도 방지할 수 있습니다. 문제는 1) 데이터 수집 비용, 2) 데이터 라벨링 비용이 엄청나다는 것입니다. 따라서 아래 그림에 표시된 것처럼(두 가지 기본 방법 (a) 및 (b) 참조) 새 도메인에 대한 데이터 수집 및 데이터 주석 비용을 완화하기 위해 시뮬레이션 엔진을 사용하여 시뮬레이션된 일부를 렌더링할 수 있습니다. 포인트 클라우드 샘플. 이는 시뮬레이션-실제 연구 작업을 위한 일반적인 솔루션 아이디어입니다. 또 다른 아이디어는 비지도 도메인 적응(UDA for 3D)입니다. 이러한 유형의 작업의 목적은 레이블이 지정되지 않은 대상 도메인 데이터에만 노출되는 조건에서 대략적으로 완전히 감독된 미세 조정을 달성하는 방법을 연구하는 것입니다. ) 이것이 달성될 수 있다면 대상 도메인 라벨링 비용이 실제로 절약될 것입니다. 그러나 UDA 방법은 대상 도메인의 데이터 분포를 특성화하기 위해 여전히 많은 양의 실제 대상 도메인 데이터를 수집해야 합니다.

그림 1: 다양한 훈련 패러다임 비교

저희 아이디어: 위 두 범주의 연구 아이디어와 달리 아래 그림((c) 기본 프로세스 참조)에서 볼 수 있듯이 가상과 현실을 결합하는 데이터 시뮬레이션-인식 통합 경로에 전념하고 있습니다. 현실은 레이블이 지정된 대규모 소스 도메인 데이터를 기반으로 도메인 불변 표현 구축을 의미합니다. 이 가정은 장기간의 기록 데이터 축적 후에 항상 주석이 달린 소스 도메인 데이터가 존재한다고 생각할 수 있기 때문에 많은 시나리오에 실질적인 의미를 갖습니다. 반면, 가상과 실제를 결합한 시뮬레이션은 소스 도메인 데이터를 기반으로 도메인 불변 표현을 구축한 후 이 표현을 가져올 수 있습니다. 기존 렌더링 파이프라인으로 이동하여 대상 도메인 데이터 시뮬레이션을 수행합니다. 현재의 시뮬레이션-실제 연구 작업과 비교할 때 우리의 방법은 도로 구조, 오르막 및 내리막 경사 등과 같은 실제 정보를 포함하는 실제 장면 수준 데이터로 지원됩니다. 이 정보는 시뮬레이션 엔진에만 의존하여 얻기가 어렵습니다. 그 자체. 대상 도메인에서 데이터를 얻은 후 PV-RCNN과 같은 현재 최고의 인식 모델에 데이터를 통합하여 훈련한 다음 대상 도메인에서 모델의 정확도를 검증합니다. 전체적인 세부 워크플로는 아래 그림을 참조하세요.

그림 2 ReSimAD 흐름도

ReSimAD의 흐름도는 그림 2에 표시되어 있으며, 여기에는 주로 a) Point-to-Mesh 암시적 재구성 프로세스 , 가 포함됩니다. b ) 메시-투-포인트 시뮬레이션 엔진 렌더링 프로세스 , c) 제로 샘플 인식 프로세스 .

ReSimAD: 시뮬레이션 재구성 인식 패러다임

a) Point-to-mesh 암시적 재구성 프로세스: StreetSurf에서 영감을 받아 LiDAR 재구성만을 사용하여 현실적이고 다양한 거리 장면 배경, 역학 교통 흐름 정보를 재구성합니다. 우리는 먼저 순수 포인트 클라우드 SDF 재구성 모듈(LiDAR 전용 Implicit Neural Reconstruction, LINR)을 설계했습니다. 이 모듈의 장점은 조명 변화, 기상 조건 변화 등 카메라 감지로 인한 일부 도메인 차이에 영향을 받지 않는다는 것입니다. 등. . 순수 포인트 클라우드 SDF 재구성 모듈은 LiDAR 광선을 입력으로 사용한 다음 깊이 정보를 예측하고 마지막으로 장면의 3D 메시 표현을 구축합니다.

구체적으로, 원점 에서 방향으로 방출되는 빛 에 대해 SDF(Signed Distance Field) 네트워크를 훈련하기 위해 LiDAR에 볼륨 렌더링을 적용하고 렌더링 깊이 D는 다음과 같이 공식화할 수 있습니다.

샘플 포인트의 샘플링 깊이는 누적 투과율이며 NeuS의 근거리 모델을 사용하여 구합니다.

StreetSurf에서 영감을 받아 이 기사에서 제안된 재구성 프로세스의 모델 입력은 LiDAR 광선에서 나오며 출력은 예측 깊이입니다. 샘플링된 각 LiDAR 빔에서 로그 L1 손실을 에 적용합니다. 즉, 근거리 모델과 원거리 모델이 결합된 렌더링 깊이입니다.

그러나 LINR 방법은 여전히 ​​몇 가지 과제에 직면해 있습니다. LiDAR로 획득한 데이터의 고유한 희박성으로 인해 단일 LiDAR 포인트 클라우드 프레임은 표준 RGB 이미지에 포함된 정보의 일부만 캡처할 수 있습니다. 이러한 차이는 효과적인 훈련을 위해 필요한 기하학적 세부 사항을 제공하는 데 있어서 깊이 렌더링의 잠재적인 단점을 강조합니다. 따라서 결과적으로 재구성된 메시 내에 많은 수의 아티팩트가 발생할 수 있습니다. 이 문제를 해결하기 위해 우리는 모든 프레임을 Waymo 시퀀스로 연결하여 포인트 클라우드의 밀도를 높이는 것을 제안합니다.

Waymo 데이터 세트에 있는 Top LiDAR의 수직 시야 제한으로 인해 -17.6°에서 2.4° 사이의 포인트 클라우드만 얻는 것은 주변 고층 건물을 재구성하는 데 명백한 제한이 있습니다. 이 문제를 해결하기 위해 Side LiDAR의 포인트 클라우드를 재구성을 위한 샘플링 시퀀스에 통합하는 솔루션을 소개합니다. 자율주행차의 전면, 후면, 양측면에 4개의 블라인드 필링 레이더가 설치되어 있으며, 수직 시야각은 [-90°, 30°]에 달해, 시야 범위가 부족한 단점을 효과적으로 보완합니다. 상단 라이더. 측면 라이더와 상단 라이더 사이의 포인트 클라우드 밀도 차이로 인해 고층 건물 장면의 재구성 품질을 향상시키기 위해 측면 라이더에 더 높은 샘플링 가중치를 할당하기로 결정했습니다.

재구축 품질 평가: 동적 객체로 인한 폐색 및 라이더 노이즈의 영향으로 인해 재구성을 위한 일정량의 노이즈에 암시적 표현이 존재할 수 있습니다. 따라서 재구성 정확도를 평가했습니다. 이전 도메인에서 주석이 달린 대규모 포인트 클라우드 데이터를 얻을 수 있기 때문에 재구성된 메쉬의 정확성을 평가하기 위해 이전 도메인을 다시 렌더링하여 이전 도메인의 시뮬레이션된 포인트 클라우드 데이터를 얻을 수 있습니다. RMSE(평균 제곱근 오차)와 CD(모따기 거리)를 사용하여 시뮬레이션된 포인트 클라우드와 원본 실제 포인트 클라우드를 측정합니다.

각 시퀀스의 재구성 점수 및 일부 세부 프로세스에 대한 설명을 참조하세요. 원래 부록에.

b) Mesh-to-Point 시뮬레이션 엔진 렌더링 프로세스: 위의 LINR 방법을 통해 정적 배경 메시를 얻은 후 Blender Python API를 사용하여 메시 데이터를 .ply 형식에서 .fbx의 3D로 변환합니다. 모델 파일 형식을 지정하고 마지막으로 배경 메시를 자산 라이브러리로 오픈 소스 시뮬레이터 CARLA에 로드합니다.

먼저 Waymo의 주석 파일을 얻어 각 교통 참여자의 경계 상자 카테고리와 3차원 객체 크기를 얻습니다. 이 정보를 기반으로 CARLA의 디지털 자산 라이브러리 디지털에서 가장 가까운 크기를 가진 동일한 카테고리의 교통 참여자를 검색합니다. 자산을 생성하고 이 디지털 자산을 교통 참가자 모델로 가져옵니다. CARLA 시뮬레이터에서 제공되는 장면 진위 정보를 기반으로 교통 현장에서 감지 가능한 각 객체에 대한 감지 상자 추출 도구를 개발했습니다. 자세한 내용은 PCSim 개발 도구를 참조하세요.

그림 3 다양한 데이터 세트에서 교통 참여자의 객체 크기(길이, 너비, 높이) 분포. 그림 3에서 볼 수 있듯이, 이 방법을 사용하여 시뮬레이션된 물체 크기의 분포 다양성은 KITTI, nuScenes, Waymo, ONCE 등과 같이 현재 공개된 데이터 세트를 초과할 정도로 매우 넓습니다.

ReSimAD 재구성-시뮬레이션 데이터 세트

Waymo를 소스 도메인 데이터로 사용하고 이를 Waymo에서 재구성하여 보다 사실적인 3D 메쉬를 얻습니다. 동시에 KITTI, nuScenes 및 ONCE를 대상 도메인 시나리오로 사용하고 이러한 대상 도메인 시나리오에서 우리 방법으로 달성한 제로샷 성능을 검증합니다.

위 장의 소개에 따라 Waymo 데이터 세트를 기반으로 3D 장면 수준 메시 데이터를 생성하고 위의 평가 기준을 사용하여 Waymo 도메인에서 어떤 3D 메시가 고품질인지 결정하고 가장 높은 146을 선택합니다. 점수를 기반으로 하는 메시는 후속 대상 도메인 시뮬레이션 프로세스입니다.

평가 결과

ResimAD 데이터 세트의 일부 시각화 예는 다음과 같습니다.

평가 결과

실험 장

실험 설정

• 기본 선택: 제안된 ReSimAD를 Three와 비교합니다. 전형적인 십자가 - 도메인 기준선은 a) 데이터 시뮬레이션을 위해 시뮬레이션 엔진을 직접 사용하는 기준선 b) 시뮬레이션 엔진에서 센서 매개변수 설정을 변경하여 데이터 시뮬레이션을 수행하는 기준선 c) 도메인 적응(UDA) 기준선 .
• 지표: BEV 기반 및 3D 기반 AP를 각각 평가 지표로 사용하여 3D 교차 도메인 객체 감지에 대한 현재 평가 표준을 조정합니다.
• 매개변수 설정: 자세한 내용은 논문을 참조하세요.

실험 결과

여기에는 주요 실험 결과만 표시되어 있으며 자세한 결과는 당사 논문을 참조하세요.

세 가지 교차 도메인 설정에서 PV-RCNN/PV-RCNN++ 모델의 적응 성능

위 표에서 우리는 관찰할 수 있습니다: UDA(Unsupervised Domain Adaptation) 기술을 사용하는 UDA와 ReSimAD의 주요 차이점은 전자는 모델 도메인 마이그레이션을 위해 대상 도메인 실제 장면의 샘플을 사용하는 반면, ReSimAD의 실험 설정은 대상 도메인의 실제 포인트 클라우드 데이터에 액세스할 수 없어야 합니다. 위 표에서 볼 수 있듯이 ReSimAD로 얻은 교차 도메인 결과는 UDA 방법으로 얻은 결과와 유사합니다. 이 결과는 상업적 목적으로 LiDAR 센서를 업그레이드해야 하는 경우, 우리의 방법이 데이터 수집 비용을 크게 절감할 수 있고 도메인 차이로 인해 모델의 재학습 및 재개발 주기를 더욱 단축할 수 있음을 보여줍니다.

ReSimAD 데이터는 타겟 도메인의 콜드 스타트 ​​데이터로 사용되며, 타겟 도메인에서 얻을 수 있는 효과

ReSimAD에서 생성된 데이터를 사용하는 또 다른 이점은 접속하지 않고도 사용할 수 있다는 점입니다. 대상 도메인의 실제 데이터 분포를 동시에 얻을 수 있습니다. 이 프로세스는 실제로 새로운 시나리오에서 자율 주행 모델의 "콜드 스타트" 프로세스와 유사합니다.

위 표는 완전 감독 대상 도메인에서의 실험 결과를 보고합니다. Oracle은 레이블이 지정된 대상 도메인 데이터의 전체 양에 대해 모델이 훈련된 결과를 나타내고, SFT는 기준 모델의 네트워크 초기화 매개변수가 ReSimAD 시뮬레이션 데이터에 대해 훈련된 가중치에 의해 제공됨을 나타냅니다. 위의 실험표는 ReSimAD 방법을 사용하여 시뮬레이션된 포인트 클라우드가 더 높은 초기화 가중치 매개변수를 얻을 수 있으며 성능이 Oracle 실험 설정을 초과한다는 것을 보여줍니다.

ReSimAD 데이터는 다양한 다운스트림 작업에서 AD-PT 사전 학습 방법의 성능을 활용하기 위한 일반 데이터 세트로 사용됩니다.

ReSimAD가 3D 사전 학습에 도움이 되는 더 많은 포인트 클라우드 데이터를 생성할 수 있는지 확인하기 위해 -training, we design 다음과 같은 실험이 수행되었습니다. AD-PT(자율 주행 시나리오에서 백본 네트워크 사전 학습을 위해 최근 제안된 방법)를 사용하여 시뮬레이션된 포인트 클라우드에서 3D 백본을 사전 학습한 다음 다운스트림 실제 장면 데이터는 전체 매개변수 미세 조정에 사용되었습니다.

• ReSimAD를 활용하여 포인트 클라우드의 더 넓은 분포로 데이터를 생성합니다. AD-PT의 사전 훈련 결과와 공정한 비교를 위해 ReSimAD에서 생성된 시뮬레이션 포인트 클라우드 데이터의 목표 볼륨은 약 입니다. 위 표에서 기준 탐지기는 실제 사전 훈련 데이터(ONCE 데이터 세트)와 시뮬레이션된 사전 훈련 데이터(ReSimAD에서 제공)에 대해 AD-PT 방법을 사용하고 KITTI 및 Waymo 데이터 세트에서 3D 사전 훈련을 수행합니다. 다운스트림 미세 조정. 위 표의 결과는 다양한 크기의 시뮬레이션 사전 훈련 데이터를 사용하면 다운스트림에서 모델의 성능을 지속적으로 향상시킬 수 있음을 보여줍니다. 또한 ReSimAD에서 얻은 사전 훈련 데이터의 데이터 획득 비용은 모델 사전 훈련에 ONCE를 사용한 것과 비교하여 매우 낮으며 ReSimAD에서 얻은 사전 훈련 성능은 사전 훈련과 비슷하다는 것을 알 수 있습니다. ONCE 데이터 세트의 성능 비교.

ReSimAD를 사용하여 재구성한 시뮬레이션과 CARLA 기본 시뮬레이션을 사용하여 시각적 비교

Waymo 데이터세트를 기반으로 재구성한 메시와 VDBFusion을 사용하여 재구성한 메시의 시각적 비교

S 움마리

at 이 작업에서 우리는 제로 샘플 대상 도메인 모델 전송 작업을 실험하는 방법을 연구하는 데 전념하고 있습니다. 이 작업을 수행하려면 모델이 어떤 환경에도 노출되지 않고 소스 도메인의 사전 훈련된 모델을 대상으로 성공적으로 전송할 수 있어야 합니다. 대상 도메인 시나리오의 샘플 데이터 정보. 이전 연구와 달리 소스 도메인의 암시적 재구성과 타겟 도메인의 다양성 시뮬레이션을 기반으로 한 3차원 데이터 생성 기술을 처음으로 탐색했으며, 이 기술이 데이터 분포에 노출되지 않고도 더 나은 모델을 달성할 수 있음을 검증했습니다. 마이그레이션 성능은 일부 UDA(Unsupervised Domain Adaptation) 방법보다 훨씬 뛰어납니다.

원본 링크: https://mp.weixin.qq.com/s/pmHFDvS7nXy-6AQBhvVzSw

위 내용은 ReSimAD: 가상 데이터를 통해 지각 모델의 일반화 성능을 향상시키는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!