CVPR 2024 | 자율주행 세계 모델의 4차원 시공간 사전 훈련

북경대학교와 EVLO 혁신팀은 자율주행을 위한 4차원 시공간 사전 훈련 알고리즘인 DriveWorld를 공동으로 제안했습니다. 이 방법은 사전 훈련을 위해 세계 모델을 사용하고, 4차원 시공간 모델링을 위한 메모리 상태 공간 모델을 설계하고, 장면의 점유 그리드를 예측하여 자율주행이 직면하는 무작위 불확실성과 지식 불확실성을 줄입니다. 이 논문은 CVPR 2024에 승인되었습니다.

논문 제목: DriveWorld: 4D Pre-trained Scene Understanding via World Models for Autonomous Driving

논문 링크: https://www.php.cn/link/293643def1ba1161bcdcfbfe434ab76d

1. 동기 부여

자율주행의 장면 이해 작업에는 장면 인식, 미래 변화 예측 등 여러 수준이 포함됩니다. 이러한 수준에는 공간의 3차원 구조뿐만 아니라 시간 차원의 동적 변화도 포함됩니다. 이러한 복잡한 장면 이해를 위해서는 모델이 정확한 결정을 내리기 위해 4차원 공간과 시간의 본질적인 상관관계를 포착하고 이해할 수 있어야 합니다. 4차원 시공간 표현을 학습하는 것은 자연 장면의 확률론적 특성, 환경의 로컬 관찰 가능성 및 다양한 다운스트림 작업의 다양성으로 인해 매우 어렵습니다. 사전 훈련은 대량의 데이터로부터 보편적인 표현을 얻어 보편적인 지식을 갖춘 기본 모델을 구축하는 데 핵심적인 역할을 합니다. 그러나 자율주행에 있어서 4차원 시공간에 대한 사전 훈련 연구는 아직 상대적으로 적은 편이다.

자율 주행 시스템의 설계와 구현은 다양한 불확실성에 직면하고 처리해야 하며, 이는 주로 우연적 불확실성과 인식적 불확실성의 두 가지 범주로 나뉩니다. 우연적 불확실성은 보행자의 갑작스러운 움직임이나 차량의 예상치 못한 행동과 같은 세상에 내재된 무작위성에서 발생합니다. 인식적 불확실성은 폐쇄 또는 센서 제한으로 인한 정보 부족과 같은 환경에 대한 불완전한 지식으로 인해 발생합니다. 이러한 불확실성을 효과적으로 처리하기 위해 자율주행 시스템은 과거 경험을 활용하여 가능한 미래 상태를 예측하고 보이지 않는 영역에 대해 추론할 수 있어야 합니다. 이 작업은 인식, 예측 및 계획 작업에서 자율 주행 시스템의 성능을 향상시키는 것을 목표로 4차원 시공간 사전 훈련된 세계 모델을 통해 이러한 과제를 해결합니다.

2. 방법

자율주행 서라운드 카메라 시스템이 관찰한 T개의 비디오 프레임 o1:T와 그에 상응하는 전문가 행동 a1:T 및 3차원 점유 그리드 라벨 y1:T에 대해, 여기서 3D LiDAR 포인트 클라우드 및 자세 데이터를 사용하여 3차원 점유 래스터 라벨을 얻을 수 있습니다. 우리는 과거의 다중 시점 이미지와 행동으로부터 현재와 미래의 3D 점유 그리드를 예측하는 세계 모델로부터 소형 BEV 표현을 학습하는 것을 목표로 합니다.

2.1 시계열 확률 모델

모델에 4차원 공간과 시간을 모델링할 수 있는 기능을 부여하기 위해 먼저 두 가지 잠재적 변수(h1:T, s1:T)를 도입합니다. 여기서 ht는 시간 단계 t의 모든 과거 정보를 포함한 과거 정보 변수, st는 미래 상태를 예측하는 모델의 핵심인 무작위 상태 변수를 나타냅니다. ht는 과거 정보 h1:t−1과 무작위 상태 s1:t−1을 통해 업데이트됩니다. 미래 상태를 예측하기 위해 RSSM(Recurrent State-Space Model)을 따르고 사후 상태 분포 q(st∣o≤t,a

BEV 특징의 차원성이 높다는 점을 고려하여 이를 1차원 벡터 xt로 변환한 다음 (ht,at−1,xt)에서 가우스 분포를 샘플링하여 사후 상태 분포를 생성합니다.
p(st ∣ht− 1,st−1)∽N(μθ(ht,a^t−1),σθ(ht,a^t−1)I),
여기서 st는 대각 공분산을 갖는 정규 분포로 매개변수화됩니다. 초기 분포는 s1∽N(0,I)로 설정됩니다. ( μ , σ )는 매개변수화된 사후 상태 분포를 갖는 다층 퍼셉트론입니다.

관찰된 이미지가 없는 경우 모델은 과거 정보와 예측된 작업을 기반으로 사전 상태 분포를 도출합니다.
p(st∣ht−1,st−1)∽N(μθ(ht,a^t− 1) ,σθ(ht,a^t−1)I),
여기서 (μθ,σθ)는 이전 상태 분포를 매개변수화합니다. ??는 과거 정보 ht−1과 무작위 상태 st−1을 기반으로 행동 a^t−1을 예측하는 데 사용되는 정책 네트워크입니다.

2.1.1 동적 메시징

Dalam pemahaman adegan pemanduan autonomi, mempertimbangkan pergerakan objek adalah penting untuk meramalkan keadaan masa hadapan dengan tepat. Untuk menangkap maklumat dinamik ini, kami mencadangkan untuk memodelkan gerakan objek dengan memperkenalkan parameter gerakan untuk mencapai persepsi gerakan semasa penyebaran maklumat dinamik. Kami memperkenalkan normalisasi lapisan sedar gerakan (MLN). Atribut gerakan termasuk halaju v dan selang masa relatif Δt. (v,Δt) diratakan dan diubah menjadi vektor afin γ dan β melalui dua lapisan linear (ξ1,ξ2): γ=ξ1(v,Δt),β=ξ2(v,Δt). Transformasi afin kemudiannya dilakukan untuk mendapatkan keadaan stokastik yang mendasari persepsi gerakan, dinyatakan sebagai st=γ⋅LN(st)+β. Semasa kenderaan bergerak, keadaan sejarah yang menentukan ht boleh membina perpustakaan memori dinamik h1:t. Dengan melakukan pengiraan mekanisme silang perhatian dengan bank memori dinamik, keadaan sejarah yang menentukan ht boleh diperolehi.
Keadaan sejarah penentu ialah ht+1=fθ(ht,st).

2.1.2 Pemindahan maklumat spatial

Dalam pemahaman adegan pemanduan autonomi, selain maklumat perubahan dinamik, maklumat struktur ruang adalah sama penting. Memandangkan bingkai adegan berterusan biasanya mengandungi hanya perubahan kecil, dan kandungan utama adegan itu selalunya terdiri daripada objek statik, seperti jalan raya, pokok dan tanda lalu lintas, apabila memproses maklumat ini, adalah mungkin untuk menukar imej input secara terus kepada vektor satu dimensi Ini akan menyebabkan kehilangan maklumat struktur spatial utama. Kami secara rawak memilih bingkai o 'daripada bingkai 1 hingga T dan menggunakan ciri BEVnya b' untuk membina perwakilan statik terpendam b^=zθ(b') yang menerangkan struktur persepsi spatial. Kami menggabungkan perwakilan statik b^ yang sedar dari segi ruang dengan st perwakilan gerakan yang berubah secara dinamik untuk mendapatkan gambaran menyeluruh bagi pemandangan sekeliling.

2.2 Pra-latihan tugas tambahan

Pemahaman menyeluruh tentang persekitaran sekeliling adalah penting untuk pemanduan autonomi. Kami mencadangkan untuk memodelkan dunia fizikal sebagai struktur grid penghunian tiga dimensi untuk menerangkan persekitaran di sekeliling kenderaan. Penyahkod grid penghunian tiga dimensi ditetapkan kepada y^t=lθ(mθ(h~t,st),b^), dengan mθ ialah rangkaian yang memanjangkan ciri satu dimensi ke dimensi BEV, dan lθ digunakan untuk ramalkan rangkaian konvolusi 3D grid penghunian. Pra-latihan grid penghunian empat dimensi ini bukan sahaja dapat menangkap struktur statik tempat kejadian, tetapi juga memahami perubahan dinamik tempat kejadian dari semasa ke semasa, memberikan pemahaman alam sekitar yang lebih kaya dan lebih dinamik untuk sistem pemanduan autonomi.

2.3 Mekanisme gesaan tugas

Walaupun perwakilan spatiotemporal empat dimensi boleh dipelajari melalui tugas pra-latihan yang direka oleh model dunia, tugas hiliran yang berbeza memfokuskan pada maklumat yang berbeza. Untuk mengurangkan masalah ini, diilhamkan oleh isyarat semantik untuk pengecaman imej beberapa tangkapan dan isyarat berpandukan contoh visual dalam pembelajaran berbilang tugas, mekanisme "petunjuk tugas" diperkenalkan untuk menyediakan isyarat khusus untuk tugasan yang berbeza untuk membimbing mereka mengekstrak berkaitan tugasan. ciri. Memandangkan terdapat korelasi semantik antara tugasan yang berbeza, kami menggunakan model bahasa besar gφ(⋅) (cth., BERT, CLIP) untuk membina pembayang tugas ini. Sebagai contoh, gesaan tugas untuk tugas pembinaan semula grid penghunian tiga dimensi lebih menumpukan pada adegan semasa dan ditetapkan kepada "tugasnya adalah untuk meramalkan grid penghunian tiga dimensi adegan semasa." Kami memasukkan ptext gesaan ke dalam gφ(⋅) untuk mendapatkan pengekodan segera gφ(ptext). Ia kemudiannya dilanjutkan kepada dimensi BEV, dilambangkan sebagai qφ(gφ(pteks)), dan disepadukan dengan ciri spatiotemporal yang dipelajari.

2.4 Fungsi objektif pra-latihan

Objektif pra-latihan DriveWorld termasuk meminimumkan perbezaan antara taburan keadaan posterior dan taburan keadaan sebelumnya (iaitu perbezaan Kullback-Leibler (KL)), dan meminimumkan perbezaan antara masa lalu dan Kerugian yang berkaitan dengan grid penghunian tiga dimensi masa hadapan (iaitu, kehilangan entropi silang (CE)) dan tindakan (iaitu, kehilangan L1). Kami mengguna pakai model untuk memerhati input untuk langkah masa T dan kemudian meramalkan grid pekerjaan tiga dimensi masa depan dan langkah L tindakan.

3. Eksperimen

3.1 Tetapan percubaan

Kami telah melatih awal tentang nuScenes dan OpenScenes pada set data pemanduan autonomi, dan diperhalusi pada nuScenes. Kami menggunakan pengagregatan awan titik LiDAR berbilang bingkai untuk mendapatkan label grid penghunian 3D yang padat.

3.2 Keputusan eksperimen

Sebahagian daripada keputusan ditunjukkan di sini Untuk mendapatkan keputusan lanjut, sila rujuk kertas.

4. Ringkasan

DriveWorld mempertingkatkan pemahaman sistem pemanduan autonomi dan keupayaan ramalan persekitaran sekeliling melalui pra-latihan ruang masa empat dimensi berdasarkan model dunia, dan mengurangkan ketidakpastian yang dihadapi oleh pemanduan autonomi. DriveWorld mencadangkan model ruang keadaan memori untuk pemodelan spatiotemporal, yang termasuk modul storan memori dinamik untuk pembelajaran perwakilan sedar masa dan modul penyebaran adegan statik untuk pembelajaran perwakilan sedar ruang. Untuk meningkatkan lagi kebolehsuaian dan fleksibiliti model, DriveWorld turut memperkenalkan mekanisme gesaan tugas, yang membolehkan model menyesuaikan perwakilannya secara adaptif mengikut keperluan tugas semasa, dengan itu mencapai prestasi terbaik dalam tugas pemanduan autonomi yang berbeza.

Rujukan

[1]Chen Min, et al. Pra-Latihan Bersepadu Berbilang Kamera Melalui Pembinaan Semula Adegan 3D[J]. Occupancy-mae: Awan titik lidar berskala besar pralatihan sendiri dengan pengekod auto penghunian bertopeng[J]. Transaksi IEEE pada Kenderaan Pintar, 2023.

Pengenalan Pasukan Inovasi EVOL

hao China

Pengarah Perisikan dan saintis muda Multimedia Cognitive Learning Laboratory (EVOL Lab) Institut Penyelidikan Pintar, penyelidik dan penyelia kedoktoran di Institut Optoelektronik dan Kecerdasan Universiti Politeknik Barat Laut Beliau berkelulusan PhD kepentingan penyelidikan termasuk analisis multimedia, keselamatan tempatan, dan penjelmaan.

Sejumlah lebih daripada 60 kertas CCF-A telah diterbitkan, termasuk satu T-PAMI×2 (JIKA: 24.314) dan IJCV×3 (JIKA: 13.369 pencipta pertama telah membenarkan 5 paten ciptaan negara. Pencapaian teknologi yang berkaitan telah digunakan oleh enam syarikat terkemuka dalam industri teknologi, termasuk Baidu, Ant Financial dan Qihoo 360, dan telah menghasilkan faedah yang ketara. Beliau telah dipilih ke dalam "Projek Promosi Bakat Muda" Persatuan Sains dan Teknologi China dan Persatuan Sains dan Teknologi Beijing, dan menjadi tuan rumah 6 projek termasuk Dana Sains Belia Asli Negara. Memenangi Anugerah Belia Cemerlang Kecerdasan Buatan Wu Wenjun (2023), hadiah pertama Anugerah Sains Semula Jadi Kecerdasan Buatan Wu Wenjun (2/5, 2022), Pengiktirafan Corak Singapura dan Persatuan Perisikan Mesin (PREMIA) Anugerah Lee Hwee Kuan, dan hanya pelajar terbaik Anugerah Kertas Multimedia ACM (karya pertama, 1/208, persidangan CCF-A, 2018), memenangi kejohanan sebanyak 7 kali dalam acara saintifik dan teknologi antarabangsa yang penting.

Berkhidmat sebagai pengarah Persatuan Imej dan Grafik Beijing, ahli lembaga editorial jurnal terkenal antarabangsa "Kemajuan Kecerdasan Buatan" dan "IET Computer Vision", editor jemputan bagi terbitan khas "Surat Pengecaman Pola" dan "Elektronik ", pengerusi bidang kanan VALSE dan penjaring ACM Multimedia 2021. Pengerusi Forum, Pengerusi Kawasan CICAI 2022/2023, Pengerusi Forum CCBR 2024, ahli kanan Persatuan Kecerdasan Buatan China/Persatuan Imej dan Grafik China, hakim "Cabaran Pertandingan Kerja Sains dan Teknologi Pelajar Kolej", ahli Jawatankuasa Pakar Pertandingan Kepintaran Buatan China, dsb.

Laman utama GitHub:

https://zhaoj9014.github.io

Laman utama Kolej:

https://www.php.cn/link/2e36742b377be90ffbf55399215iin Lei

, Beijing Post and Telecommunications University Distinguished Associate Penyelidik, Arahan Penyelidikan Utama termasuk penglihatan komputer, perlombongan data, dan pengecaman corak, dengan penyelidikan mendalam tentang anggaran postur manusia, pengecaman tindakan manusia, analisis badan manusia dan subbahagian lain yang berkaitan telah diterbitkan dalam persidangan dan jurnal peringkat tinggi seperti sebagai CVPR, AAAI, NIPS dan ACMMM, dan telah diterbitkan secara keseluruhannya Terdapat lebih daripada 40 makalah terindeks SCI/EI, termasuk 11 makalah peringkat tinggi, termasuk makalah yang diterbitkan sebagai pengarang pertama di JCR Kawasan 1 Akademi Cina. Sains (Transaksi IEEE pada MultiMedia), CVPR persidangan CCF-A, kertas kerja ACMMM, JCR Kawasan 2 dari Akademi Sains China (Sensors) , IEEE Sensor Journal), dsb. Menjadi tuan rumah Dana Belia Yayasan Sains Semula Jadi Kebangsaan China, mengambil bahagian dalam dua projek R&D utama negara dan empat projek Yayasan Sains Semula Jadi China. Kami telah bergantung pada persidangan teratas untuk menganjurkan bengkel ICCV2021/CVPR2023 (Bengkel & Cabaran Anti-UAV) berkali-kali. Membimbing pelajar untuk memenangi hadiah pertama dalam Pertandingan "Tiga Inovasi" Teknologi Bio-Internet dan Aplikasi Kolej Kebangsaan (pertandingan kategori A yang diiktiraf oleh Universiti Pos dan Telekomunikasi Beijing).

Min Cheng

, Ph.D. dari Sekolah Sains Komputer, Universiti Peking, pembantu penyelidik khas di Institut Teknologi Pengkomputeran, Akademi Sains China termasuk pemanduan autonomi, kecerdasan yang terkandung, dan tiga-. pembinaan semula dimensi. Keputusan yang berkaitan telah diterbitkan dalam persidangan dan persidangan peringkat tinggi seperti Jurnal CVPR, ICCV, ICRA dan RAL, termasuk CVPR persidangan CCF-A sebagai pengarang pertama, persidangan robotik teratas ICRA, jurnal robotik berwibawa RAL, dsb. . Mengambil bahagian dalam beberapa projek R&D utama negara.

위 내용은 CVPR 2024 | 자율주행 세계 모델의 4차원 시공간 사전 훈련의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!