


Idea baharu untuk simulasi LiDAR | LidarDM: Membantu menjana dunia 4D, pembunuh simulasi~
Tajuk asal: LidarDM: Simulasi LiDAR Generatif dalam Dunia Terhasil
Pautan kertas: https://arxiv.org/pdf/2404.02903.pdf
Pautan kod: https://github.com/vzyrianov/lidardm
Gabungan pengarang: University of Illinois, Massachusetts Institute of TechnologyIdea tesis:
Kertas kerja ini memperkenalkan LidarDM, model generasi lidar novel yang mampu menghasilkan video lidar yang realistik, sedar reka letak, boleh dipercayai dari segi fizikal dan koheren dari segi masa. LidarDM mempunyai dua keupayaan yang tidak pernah berlaku sebelum ini dalam pemodelan penjanaan lidar: (1) penjanaan lidar berpandukan senario pemanduan, memberikan insentif yang ketara untuk simulasi pemanduan autonomi; (2) penjanaan awan titik lidar 4D, membolehkan penciptaan jujukan lidar koheren yang realistik dan sementara adalah mungkin. Teras model kami ialah rangka kerja penjanaan dunia 4D komprehensif novel. Khususnya, kertas kerja ini menggunakan model resapan terpendam untuk menghasilkan pemandangan 3D, menggabungkannya dengan pelakon dinamik untuk membentuk dunia 4D yang mendasari, dan kemudian menjana data persepsi laser yang realistik dalam persekitaran maya ini. Percubaan kami menunjukkan bahawa kaedah kami mengatasi algoritma bersaing dari segi kesetiaan, koheren temporal dan ketekalan reka letak. Kertas ini juga menunjukkan bahawa LidarDM boleh digunakan sebagai simulator dunia generatif untuk latihan dan menguji model persepsi.Reka bentuk rangkaian:
Model generatif yang dibangunkan telah menarik lebih banyak perhatian dalam memproses pengedaran data dan penciptaan kandungan, seperti penjanaan imej dan video [10, 33, 52-55], penjanaan objek 3D [10,19 ,38,52], mampatan [5,29,68] dan menyunting [37,47] dan medan lain. Model generatif juga menunjukkan potensi yang sangat baik untuk simulasi [6, 11, 18, 34, 46, 60, 64, 66, 76, 82], membolehkan penciptaan senario realistik dan data deria yang berkaitan untuk latihan dan penilaian keselamatan Keupayaan kecerdasan kritikal , seperti robot dan kenderaan pandu sendiri, menghapuskan keperluan untuk pemodelan manual yang mahal di dunia sebenar. Keupayaan ini adalah penting untuk aplikasi yang bergantung pada latihan alam sekitar yang meluas atau ujian senario. Kemajuan dalam penjanaan imej dan video bersyarat adalah luar biasa, tetapi tugas khusus untuk menjana jujukan awan titik lidar yang realistik untuk senario khusus dari segi fungsi untuk aplikasi pemanduan autonomi masih kurang diterokai. Kaedah penjanaan lidar semasa terbahagi kepada dua kategori utama, setiap satunya menghadapi cabaran tertentu.- Kaedah pemodelan penjanaan lidar semasa [8, 72, 79, 83] terhad kepada penjanaan bingkai tunggal dan tidak menyediakan cara untuk kebolehkawalan semantik dan ketekalan temporal.
- Simulasi semula Lidar [14, 17, 46, 65, 67, 74] sangat bergantung pada aset yang dikumpul oleh pengguna atau dunia sebenar. Ini menambah kos operasi yang tinggi, mengehadkan kepelbagaian dan mengehadkan kebolehgunaan yang lebih luas.
Rajah 1: Kertas kerja ini menunjukkan LidarDM, model generatif lidar 4D novel. Video lidar yang dijana dalam artikel ini mempunyai kelebihan realisme, syarat reka letak, kredibiliti fizikal, kepelbagaian dan koheren temporal pada masa yang sama.
Rajah 2: Aplikasi LidarDM: (a) Menjana lidar sejajar dengan peta tanpa tangkapan atau pemodelan 3D (kotak berwarna menyerlahkan ketekalan antara lidar dan peta b) menyediakan data penderia kepada simulator trafik sedia ada (); Waymax [20]), membolehkannya menilai senario kritikal keselamatan daripada data penderia tulen sahaja; (c) menjana sejumlah besar data lidar dengan lokasi halangan yang boleh dikawal (dilihat sebagai label sebenar yang tersedia secara percuma) untuk menambah baik model persepsi melalui pra-latihan tanpa tangkapan dan anotasi data yang mahal.
Rajah 3: Gambaran Keseluruhan LidarDM: Memandangkan input susun atur trafik pada masa t = 0, LidarDM mula-mula menjana pelakon trafik dan adegan statik. Kemudian, artikel ini menjana pergerakan peserta trafik (pelakon) dan kenderaan sendiri, dan membina dunia 4D yang mendasari. Akhir sekali, gunakan simulasi berasaskan generatif dan fizik untuk mencipta data penderia 4D yang realistik.
Rajah 4: Proses penjanaan pemandangan 3D artikel ini. Pertama, awan titik terkumpul digunakan untuk membina semula setiap sampel mesh sebenar. Seterusnya, pengekod auto variasi (VAE) dilatih untuk memampatkan grid menjadi pengekodan tersirat. Akhir sekali, model resapan yang dikondisikan pada peta dilatih untuk mengambil sampel dalam ruang terpendam VAE untuk menjana sampel baharu.
Rajah 5: Rangkaian titisan sinar rawak untuk simulasi hingar persepsi, mempertingkatkan lagi realisme. Artikel ini menyerlahkan titik jatuh sinar berwarna merah dalam peta jarak bertopeng dan imej lidar bertopeng di atas.
Hasil eksperimen:
Rajah 6: Sampel KITTI-360 sebenar berbanding sampel tanpa syarat daripada kaedah bersaing. Visualisasi sampel UltraLiDAR diambil terus daripada kertas mereka. Berbanding dengan kaedah sebelumnya, LidarDM menjana sampel dengan lebih banyak objek menonjol yang lebih terperinci (cth., kereta, pejalan kaki), struktur 3D yang lebih jelas (cth., dinding lurus) dan susun atur jalan yang lebih realistik.
Rajah 7: Hasil kualitatif penjanaan jujukan bersyarat peta pada jujukan peta 2 Waymax [20]. Kertas ini juga menunjukkan awan titik kumulatif yang sepadan untuk menyerlahkan ketekalan temporal LidarDM.
Ringkasan:
Kertas kerja ini mencadangkan LidarDM, model penyebaran terpendam novel berdasarkan keadaan susun atur untuk menjana awan titik lidar yang realistik. Pendekatan kami membingkaikan masalah itu sebagai tugas penjanaan data persepsi dan penciptaan dunia 4D bersama, dan membangunkan model penyebaran terpendam yang baru untuk mencipta adegan 3D. Video awan titik yang terhasil adalah realistik, koheren dan sedar reka letak.
Atas ialah kandungan terperinci Idea baharu untuk simulasi LiDAR | LidarDM: Membantu menjana dunia 4D, pembunuh simulasi~. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Perpustakaan yang digunakan untuk operasi nombor terapung dalam bahasa Go memperkenalkan cara memastikan ketepatannya ...

Giteepages Statik Laman Web Penggunaan Gagal: 404 Penyelesaian Masalah dan Resolusi Ralat Semasa Menggunakan Gitee ...

Perpustakaan mana yang dibangunkan oleh syarikat besar atau projek sumber terbuka yang terkenal? Semasa pengaturcaraan di GO, pemaju sering menghadapi beberapa keperluan biasa, ...

Menjalankan projek H5 memerlukan langkah -langkah berikut: memasang alat yang diperlukan seperti pelayan web, node.js, alat pembangunan, dan lain -lain. Membina persekitaran pembangunan, membuat folder projek, memulakan projek, dan menulis kod. Mulakan pelayan pembangunan dan jalankan arahan menggunakan baris arahan. Pratonton projek dalam penyemak imbas anda dan masukkan URL Server Pembangunan. Menerbitkan projek, mengoptimumkan kod, menggunakan projek, dan menyediakan konfigurasi pelayan web.

Penerangan Soalan: Bagaimana untuk mendapatkan data kawasan perkapalan versi luar negara? Adakah sumber sedia ada yang ada? Dapatkan tepat dalam e-dagang rentas sempadan atau perniagaan global ...

Bermula dengan Python: Lukisan Grafik Hourglass dan Pengesahan Input Artikel ini akan menyelesaikan masalah definisi berubah -ubah yang dihadapi oleh pemula python dalam program lukisan grafik Hourglass. Kod ...

Masalah menggunakan redisstream untuk melaksanakan beratur mesej dalam bahasa Go menggunakan bahasa Go dan redis ...

Di bawah rangka kerja beegoorm, bagaimana untuk menentukan pangkalan data yang berkaitan dengan model? Banyak projek beego memerlukan pelbagai pangkalan data untuk dikendalikan secara serentak. Semasa menggunakan beego ...
