원제: LidarDM: 생성된 세계에서의 생성적 LiDAR 시뮬레이션
논문 링크: https://arxiv.org/pdf/2404.02903.pdf
코드 링크: https://github.com/vzyrianov/lidardm
저자 소속: 일리노이 대학교, 매사추세츠 공과대학
본 논문에서는 현실적이고 레이아웃을 인식하며 물리적으로 믿을 수 있고 시간적으로 일관된 LiDAR 비디오를 생성할 수 있는 새로운 LiDAR 생성 모델인 LidarDM을 소개합니다. LidarDM은 LiDAR 생성 모델링에 두 가지 전례 없는 기능을 갖추고 있습니다. (1) 주행 시나리오에 따라 유도되는 LiDAR 생성으로 자율 주행 시뮬레이션에 상당한 인센티브를 제공합니다. (2) 현실적이고 일시적으로 일관된 LiDAR 시퀀스 생성이 가능한 4D LiDAR 포인트 클라우드 생성이 가능합니다. 우리 모델의 핵심은 새롭고 포괄적인 4D 세계 생성 프레임워크입니다. 특히 이 논문에서는 잠재 확산 모델을 사용하여 3D 장면을 생성하고 이를 동적 배우와 결합하여 기본 4D 세계를 형성한 다음 이 가상 환경에서 사실적인 레이저 인식 데이터를 생성합니다. 우리의 실험은 우리의 방법이 충실도, 시간적 일관성 및 레이아웃 일관성 측면에서 경쟁 알고리즘보다 우수한 것으로 나타났습니다. 또한 이 백서는 LidarDM이 인식 모델을 훈련하고 테스트하기 위한 생성적 세계 시뮬레이터로 사용될 수 있음을 보여줍니다.
개발된 생성 모델은 이미지 및 비디오 생성 [10, 33, 52-55], 3D 객체 생성 [10,19 등 데이터 배포 및 콘텐츠 생성 처리에서 점점 더 많은 관심을 끌고 있습니다. ,38,52], 압축[5,29,68] 및 편집[37,47] 및 기타 필드입니다. 생성 모델은 또한 시뮬레이션에 대한 뛰어난 잠재력을 보여[6, 11, 18, 34, 46, 60, 64, 66, 76, 82] 안전 교육 및 평가를 위한 현실적인 시나리오 및 관련 감각 데이터를 생성할 수 있습니다. 중요 지능 기능 로봇이나 자율주행차와 같은 현실세계를 수동으로 모델링할 필요가 없습니다. 이러한 기능은 광범위한 환경 교육이나 시나리오 테스트에 의존하는 애플리케이션에 매우 중요합니다.
조건부 이미지 및 비디오 생성의 발전은 눈부시지만, 자율 주행 애플리케이션을 위한 기능적 특정 시나리오를 위한 현실적인 LiDAR 포인트 클라우드 시퀀스를 생성하는 구체적인 작업은 아직 연구가 부족합니다. 현재 LiDAR 생성 방법은 두 가지 주요 범주로 분류되며 각 범주는 특정 문제에 직면해 있습니다.
이러한 문제를 해결하기 위해 본 논문에서는 현실적이고 레이아웃을 인식하며 물리적으로 믿을 수 있고 시간적으로 일관된 LiDAR 비디오를 생성할 수 있는 LidarDM(Lidar Diffusion Model)을 제안합니다. 이 백서에서는 이전에 다루지 않은 두 가지 새로운 기능을 탐구합니다. (i) 자율 주행 시뮬레이션에 대한 큰 잠재력을 가진 주행 시나리오에 따른 LiDAR 합성과 (ii) 사실적이고 주석이 달린 LiDAR 포인트 클라우드 생성을 목표로 하는 순차 4D LiDAR 포인트 클라우드 합성. 이 문서에서 이러한 목표를 달성하기 위한 핵심 통찰력은 먼저 기본 4D 세계를 생성 및 결합한 다음 이 가상 환경 내에서 현실적인 지각 관찰을 생성하는 데 있습니다. 이를 달성하기 위해 본 논문에서는 기존의 3D 객체 생성 방법을 통합하여 동적 배우를 생성하고 잠재 확산 모델을 기반으로 하는 대규모 3D 장면 생성을 위한 새로운 방법을 개발합니다. 이러한 접근 방식은 입자의 의미론적 레이아웃을 통해 사실적으로 다양한 3D 주행 장면을 연출할 수 있으며, 본 논문이 아는 한 첫 번째 시도이다. 이 기사에서는 궤적을 적용하여 3D 세계를 생성하고 확률론적 레이캐스팅 시뮬레이션을 수행하여 최종 4D LiDAR 시퀀스를 생성합니다. 그림 1에서 볼 수 있듯이 본 논문에서 생성된 결과는 다양하고 레이아웃 조건에 맞춰 조정되었으며 현실적이고 시간적으로 일관성이 있습니다.
본 논문의 실험 결과는 LidarDM으로 생성된 단일 프레임 이미지가 사실성과 다양성을 나타내며 그 성능이 최첨단 줄무늬 없는 단일 프레임 레이저 포인트 클라우드 생성 기술과 비슷하다는 것을 보여줍니다. 또한 이 백서는 LidarDM이 강력한 확산 센서 생성 기준을 넘어 시간적으로 일관된 레이저 포인트 클라우드 비디오를 생성할 수 있음을 보여줍니다. 우리가 아는 한, 이는 이 기능을 갖춘 최초의 레이저 포인트 클라우드 생성 방법입니다. 이 논문은 생성된 레이저 포인트 클라우드와 일치하는 지도 항목에서 실제 레이저 포인트 클라우드 사이의 좋은 일치를 보여줌으로써 LidarDM의 항목 생성 기능을 추가로 보여줍니다. 마지막으로, 이 논문에서는 LidarDM을 사용하여 생성된 데이터가 실제 데이터에 대해 훈련된 인식 모듈로 테스트할 때 최소한의 도메인 간격을 나타내며 훈련 데이터를 확장하는 데 사용될 수도 있어 3D 감지기의 성능을 크게 향상시킬 수 있음을 보여줍니다. 이는 생성된 레이저 포인트 클라우드 모델을 사용하여 운전 모델을 훈련하고 테스트하기 위한 현실적이고 제어 가능한 시뮬레이션 환경을 만들기 위한 전제 조건을 제공합니다.
그림 1: 이 문서에서는 새로운 4D LiDAR 생성 모델인 LidarDM을 보여줍니다. 본 기사에서 생성된 LiDAR 비디오는 사실성, 레이아웃 조건성, 물리적 신뢰성, 다양성 및 시간적 일관성이라는 장점을 동시에 가지고 있습니다.
그림 2: LidarDM 적용: (a) 3D 캡처 또는 모델링 없이 지도와 밀접하게 정렬된 라이더 생성(색상 상자는 라이더와 지도 간의 일관성을 강조함) b) 기존 교통 시뮬레이터에 센서 데이터 제공( Waymax [20]), 순수 센서 데이터만으로 안전에 중요한 시나리오를 평가할 수 있습니다. (c) 사전 훈련을 통해 인식 모델을 개선하기 위해 제어 가능한 장애물 위치(무료로 사용 가능한 실제 라벨로 간주)가 포함된 대량의 LiDAR 데이터를 생성합니다. 값비싼 데이터 캡처 및 주석 없이.
그림 3: LidarDM 개요: 시간 t = 0의 교통 레이아웃 입력이 주어지면 LidarDM은 먼저 교통 행위자와 정적 장면을 생성합니다. 그런 다음 이 기사에서는 교통 참여자(배우)와 자가 차량의 움직임을 생성하고 기본 4D 세계를 구축합니다. 마지막으로 생성 및 물리 기반 시뮬레이션을 사용하여 사실적인 4D 센서 데이터를 생성합니다.
그림 4: 이 기사의 3D 장면 생성 프로세스. 먼저, 누적된 포인트 클라우드를 사용하여 각 실제 메시 샘플을 재구성합니다. 다음으로, VAE(Variational Autoencoder)는 그리드를 암시적 인코딩으로 압축하도록 훈련됩니다. 마지막으로, 맵에 따라 조정된 확산 모델은 VAE의 잠재 공간 내에서 샘플링하여 새로운 샘플을 생성하도록 훈련됩니다.
그림 5: 인지적 노이즈 시뮬레이션을 위한 무작위 레이드롭 네트워크로 현실감을 더욱 향상시킵니다. 이 기사에서는 위의 마스크된 거리 지도와 마스크된 LiDAR 이미지에서 레이드롭된 지점을 빨간색으로 강조 표시합니다.
그림 6: 경쟁 방법의 조건 없는 샘플과 비교한 실제 KITTI-360 샘플. UltraLiDAR 샘플 시각화는 논문에서 직접 가져옵니다. 이전 방법과 비교하여 LidarDM은 더 많은 수의 보다 상세한 주요 개체(예: 자동차, 보행자), 보다 명확한 3D 구조(예: 직선 벽) 및 보다 현실적인 도로 레이아웃을 사용하여 샘플을 생성합니다.
그림 7: 2 Waymax [20] 맵 시퀀스에 대한 맵 조건 시퀀스 생성의 정성적 결과. 이 백서는 또한 LidarDM의 시간적 일관성을 강조하기 위해 해당 누적 포인트 클라우드를 보여줍니다.
본 논문은 현실적인 LiDAR 포인트 클라우드를 생성하기 위한 레이아웃 조건을 기반으로 하는 새로운 잠재 확산 모델인 LidarDM을 제안합니다. 우리의 접근 방식은 공동 4D 세계 생성 및 인식 데이터 생성 작업으로 문제를 구성하고 3D 장면을 생성하기 위한 새로운 잠재 확산 모델을 개발합니다. 결과적으로 생성된 포인트 클라우드 비디오는 사실적이고 일관적이며 레이아웃을 인식합니다.
위 내용은 LiDAR 시뮬레이션을 위한 새로운 아이디어 | LidarDM: 4D 세계 생성에 도움이 되는 시뮬레이션 킬러~의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
