Adakah teknologi hujung ke hujung dalam bidang pemanduan autonomi menggantikan rangka kerja seperti Apollo dan perisian auto?

Memikirkan Semula Penilaian Gelung Terbuka Pemanduan Autonomi Hujung-ke-Hujung dalam nuScenes

• Unit pengarang: Baidu
• Pengarang: Jiang-Tian Zhai, Ze Feng, Baidu Wang Jingdong Group
• Diterbitkan: arXiv
• https://arxiv.org/abs/2305.10430
• Pautan kod: https://github.com/E2E-AD/AD-MLP

Kata kunci: pemanduan autonomi hujung ke hujung, penilaian gelung terbuka nuScenes

1. Ringkasan

Sistem pemanduan autonomi sedia ada biasanya dibahagikan kepada tiga tugas utama: persepsi, ramalan dan perancangan melibatkan meramalkan trajektori kenderaan berdasarkan niat dalaman dan persekitaran luaran, dan mengawal kenderaan. Kebanyakan penyelesaian sedia ada menilai kaedah mereka pada set data nuScenes, dan penunjuk penilaian adalah ralat L2 dan kadar perlanggaran Artikel ini menilai semula penunjuk penilaian sedia ada untuk meneroka sama ada ia boleh mengukur kelebihan kaedah yang berbeza. Artikel ini juga mereka bentuk kaedah berasaskan MLP yang mengambil data sensor mentah (trajektori sejarah, kelajuan, dll.) sebagai input dan secara langsung mengeluarkan trajektori masa hadapan kenderaan tanpa menggunakan sebarang persepsi dan maklumat ramalan, seperti imej kamera atau LiDAR. Yang menghairankan: kaedah mudah sedemikian mencapai prestasi perancangan SOTA pada dataset nuScenes, mengurangkan ralat L2 sebanyak 30%. Analisis kami yang lebih mendalam memberikan beberapa cerapan baharu tentang faktor yang penting untuk merancang tugasan pada set data nuScenes. Pemerhatian kami juga mencadangkan bahawa kami perlu memikirkan semula skim penilaian gelung terbuka untuk pemanduan autonomi hujung ke hujung dalam nuScenes.

2. arahan lanjutan digunakan ( Sejumlah vektor 21 dimensi) boleh digunakan sebagai input untuk mencapai SOTA Perancangan pada nuScenes. Oleh itu, penulis menunjukkan ketidakbolehpercayaan penilaian gelung terbuka pada nuScenes dan memberikan dua analisis: trajektori kenderaan pada set data nuScenes cenderung lurus atau mempunyai kelengkungan yang sangat kecil, pengesanan kadar perlanggaran adalah berkaitan dengan ketumpatan grid , dan Anotasi perlanggaran set data juga bising, dan kaedah semasa menilai kadar perlanggaran tidak cukup mantap dan tepat

3. Kaedah kertas

3.1 Pengenalan dan penerangan ringkas tentang kerja berkaitan;

Model pemanduan autonomi sedia ada melibatkan banyak tugas bebas seperti persepsi, ramalan dan perancangan. Reka bentuk ini memudahkan kesukaran menulis merentas pasukan, tetapi ia juga membawa kepada kehilangan maklumat dan pengumpulan ralat dalam keseluruhan sistem disebabkan oleh kebebasan pengoptimuman dan latihan setiap tugas. Kaedah hujung ke hujung dicadangkan, yang mendapat manfaat daripada mempelajari ciri spatio-temporal kenderaan sendiri dan persekitaran sekeliling.

Kerja berkaitan

: ST-P3[1] mencadangkan sistem hujung ke hujung berasaskan penglihatan yang boleh ditafsir yang menyatukan pembelajaran ciri untuk persepsi, ramalan dan perancangan. UniAD[2] secara sistematik mereka bentuk tugasan Perancangan, menggunakan reka bentuk berasaskan pertanyaan untuk menyambungkan berbilang tugas perantaraan, dan boleh memodelkan dan mengekodkan perhubungan antara berbilang tugasan VAD[3] membina adegan dalam cara yang divektorkan sepenuhnya, tidak memerlukan ciri yang padat perwakilan dan lebih cekap dari segi pengiraan.

Artikel ini berharap dapat meneroka sama ada metrik penilaian sedia ada boleh mengukur kelebihan dan kekurangan kaedah yang berbeza dengan tepat. Kertas ini hanya menggunakan keadaan fizikal kenderaan semasa memandu (subset maklumat yang digunakan oleh kaedah sedia ada) untuk menjalankan eksperimen, dan bukannya menggunakan maklumat persepsi dan ramalan yang disediakan oleh kamera dan lidar. Ringkasnya, model dalam artikel ini tidak menggunakan pengekod ciri visual atau awan titik, dan secara langsung mengekod maklumat fizikal kenderaan ke dalam vektor satu dimensi, yang dihantar ke MLP selepas concat. Latihan menggunakan trajektori GT untuk penyeliaan, dan model meramalkan secara langsung titik trajektori kenderaan dalam masa tertentu pada masa hadapan. Ikuti kerja sebelumnya dan gunakan Ralat L2 dan kadar perlanggaran (kadar perlanggaran.) untuk penilaian pada set data nuScenes

Walaupun reka bentuk modelnya mudah, ia memperoleh hasil Perancangan yang terbaik Artikel ini mengaitkan ini dengan kelemahan penilaian semasa penunjuk. Malah, dengan menggunakan trajektori kenderaan sendiri masa lalu, kelajuan, pecutan dan kesinambungan masa, gerakan masa depan kenderaan sendiri boleh dicerminkan pada tahap tertentu

3.2 Struktur model

Tinjauan struktur model

Model Input terdiri daripada dua bahagian: status kenderaan sendiri dan arahan peringkat tinggi yang mewakili trend pergerakan jangka pendek masa hadapan.

Status kenderaan sendiri: mengumpul masa lalu

=4 bingkai trajektori gerakan kenderaan sendiri, kelajuan serta-merta dan pecutan

Arahan lanjutan

: Memandangkan model ketepatan arahan kami tidak menggunakan ketepatan tinggi diperlukan untuk navigasi. Mengikuti amalan biasa, tiga jenis arahan ditakrifkan: belok kiri, jalan lurus dan belok kanan. Khususnya, apabila kenderaan sendiri akan bergerak ke kiri atau kanan lebih daripada 2m dalam 3 saat seterusnya, tetapkan arahan yang sepadan untuk membelok ke kiri atau kanan, jika tidak, ia akan lurus. Gunakan pengekodan satu panas dengan dimensi 1x3 untuk mewakili perintah peringkat tinggi

Struktur rangkaian: Rangkaian ialah MLP tiga lapisan yang ringkas (input kepada dimensi output masing-masing adalah 21-512-512-18), bilangan akhir bingkai output = 6, setiap bingkai mengeluarkan kedudukan trajektori kenderaan (koordinat x, y) dan sudut tajuk (sudut tajuk)

Fungsi kehilangan

Fungsi kehilangan: Gunakan fungsi kehilangan L1 untuk penalti

4.

Set data : Eksperimen pada set data nuScenes, yang terdiri daripada 1K adegan dan kira-kira 40K bingkai utama, terutamanya dikumpulkan di Boston dan Singapura, menggunakan kenderaan yang dilengkapi dengan LiDAR dan kamera lilitan. Data yang dikumpul untuk setiap bingkai termasuk imej Camear berbilang paparan, LiDAR, halaju, pecutan dan banyak lagi.

Metrik penilaian: Gunakan kod penilaian kertas ST-P3 (https://github.com/OpenPerceptionX/ST-P3/blob/main/stp3/metrics.py). Nilaikan surih keluaran untuk julat masa 1s, 2s dan 3s. Untuk menilai kualiti trajektori kenderaan sendiri yang diramalkan, dua penunjuk yang biasa digunakan dikira:
Ralat L2 : dalam meter, dikira antara trajektori ramalan kenderaan sendiri dan trajektori sebenar dalam masa 1s, 2s dan 3s seterusnya julat masing-masing Purata ralat L2; kadar perlanggaran: dalam peratusan. Untuk menentukan kekerapan kenderaan sendiri bertembung dengan objek lain, perlanggaran dikira dengan meletakkan kotak yang mewakili kenderaan sendiri pada setiap titik laluan pada trajektori yang diramalkan, dan kemudian mengesan sama ada perlanggaran berlaku dengan kotak sempadan kenderaan dan pejalan kaki di adegan semasa.

Tetapan dan perkakasan hiperparameter

: Rangka kerja PaddlePaddle dan PyTorch, pengoptimum AdamW (pereputan berat 4e-6 lr dan 1e-2), penjadual kosinus, dilatih untuk 6 zaman, saiz kelompok ialah 4, dan V100 digunakan

4.2 Keputusan eksperimen

Jadual 1 Perbandingan dengan kaedah berasaskan persepsi sedia ada

Beberapa eksperimen ablasi telah dilakukan dalam Jadual 1. Untuk menganalisis kesan kelajuan, pecutan, trajektori dan Perintah Tahap Tinggi pada prestasi model artikel ini. Anehnya, hanya menggunakan trajektori sebagai input dan tiada maklumat persepsi, model Baseline kami telah mencapai purata ralat L2 yang lebih rendah daripada semua kaedah sedia ada.

Apabila kita menambah pecutan, halaju dan Perintah Tahap Tinggi secara beransur-ansur pada input, purata ralat L2 dan kadar perlanggaran berkurangan daripada 0.35m kepada 0.23m dan 0.33% kepada 0.12%. Model yang mengambil kedua-dua Ego State dan Perintah Peringkat Tinggi sebagai input mencapai kadar ralat dan perlanggaran L2 terendah, mengatasi semua kaedah berasaskan persepsi terkini yang terkini, seperti yang ditunjukkan dalam baris terakhir.

4.3 Analisis eksperimen

Artikel menganalisis taburan status kenderaan sendiri pada set latihan nuScenes dari dua perspektif: titik trajektori dalam 3s seterusnya;

Analisis pengedaran set latihan nuScenes.

Semua titik trajektori 3s masa hadapan dalam set latihan diplot dalam Rajah 2(a). Seperti yang dapat dilihat dari rajah, trajektori terutamanya tertumpu di bahagian tengah (lurus), dan trajektori terutamanya garis lurus, atau lengkung dengan kelengkungan yang sangat kecil.

Sudut arah mewakili arah perjalanan masa hadapan berbanding masa semasa, manakala sudut lengkung mencerminkan kelajuan pusingan kenderaan. Seperti yang ditunjukkan dalam Rajah 2 (b) dan (c), hampir 70% daripada sudut tajuk dan kelengkungan terletak dalam julat -0.2 hingga 0.2 dan -0.02 hingga 0.02 radian, masing-masing. Dapatan ini konsisten dengan kesimpulan yang dibuat daripada taburan titik trajektori.

Berdasarkan analisis di atas mengenai taburan titik trajektori, sudut tajuk dan sudut kelengkungan, artikel ini percaya bahawa dalam set latihan nuScenes, kenderaan sendiri cenderung untuk bergerak ke hadapan dalam garis lurus dan pada sudut yang kecil apabila melakukan perjalanan dalam. julat masa yang singkat.

Saiz grid peta Pendudukan yang berbeza akan menyebabkan perlanggaran dalam trajektori GT

Apabila mengira kadar perlanggaran, amalan biasa dalam kaedah sedia ada adalah menayangkan objek seperti kenderaan dan pejalan kaki ke dalam Pandangan Mata Burung (BEV ) ruang, dan kemudian Tukarkannya kepada kawasan yang diduduki dalam rajah. Dan di sinilah ketepatan hilang, kami mendapati bahawa sebahagian kecil daripada sampel trajektori GT (kira-kira 2%) juga bertindih dengan halangan dalam grid yang diduduki, tetapi kereta sendiri sebenarnya tidak berlanggar dengan apa-apa lagi semasa mengumpul data , yang menyebabkan perlanggaran tidak dikesan dengan betul.

Menyebabkan perlanggaran yang salah apabila kenderaan ego berada dekat dengan objek tertentu, cth.

Rajah 3 menunjukkan contoh fenomena ini, bersama-sama dengan hasil pengesanan perlanggaran untuk trajektori kebenaran tanah dengan dua saiz grid berbeza. Jingga ialah kenderaan yang mungkin telah dikesan secara salah sebagai perlanggaran Pada saiz grid yang lebih kecil yang ditunjukkan di sudut kanan bawah (0.1m), sistem penilaian dengan betul mengenal pasti trajektori GT sebagai tidak berlanggar, tetapi pada saiz grid yang lebih besar di bahagian bawah. sudut kanan (0.5m), pengesanan perlanggaran yang salah akan berlaku.

Selepas memerhatikan kesan saiz grid yang diduduki pada pengesanan perlanggaran trajektori, kami menguji saiz grid 0.6m. Set latihan nuScenes mempunyai 4.8% sampel perlanggaran, manakala set pengesahan mempunyai 3.0%. Perlu dinyatakan bahawa apabila kami menggunakan saiz grid 0.5m sebelum ini, hanya 2.0% daripada sampel dalam set pengesahan telah disalahklasifikasikan sebagai perlanggaran. Ini sekali lagi menunjukkan bahawa kaedah semasa menganggar kadar perlanggaran tidak cukup mantap dan tepat.

Ringkasan pengarang: Tujuan utama kertas kerja ini adalah untuk membentangkan pemerhatian kami dan bukannya untuk mencadangkan model baharu. Walaupun model kami berprestasi baik pada set data nuScenes, kami mengakui bahawa ia adalah mainan yang tidak praktikal yang tidak boleh digunakan dalam dunia nyata. Memandu tanpa status kenderaan sendiri adalah satu cabaran yang tidak dapat diatasi. Walau bagaimanapun, kami berharap bahawa pandangan kami akan merangsang penyelidikan lanjut dalam bidang ini dan membolehkan penilaian semula kemajuan dalam pemanduan autonomi hujung ke hujung.

5. Penilaian artikel

Artikel ini ialah semakan menyeluruh penilaian pemanduan autonomi hujung ke hujung baru-baru ini pada set data nuScenes. Sama ada ia adalah keluaran langsung hujung ke hujung isyarat Perancangan yang tersirat, atau keluaran hujung ke hujung eksplisit dengan pautan perantaraan, kebanyakannya ialah penunjuk Perancangan yang dinilai pada set data nuScenes, dan artikel Baidu menunjukkan bahawa penilaian jenis ini tidak boleh dipercayai. Artikel sebegini sebenarnya agak menarik ia sebenarnya menampar ramai rakan sekerja apabila ia diterbitkan, tetapi ia juga secara aktif mempromosikan industri untuk bergerak ke hadapan. Mungkin perancangan hujung ke hujung tidak perlu dilakukan (ramalan persepsi adalah hujung ke hujung), mungkin semua orang Melakukan lebih banyak ujian gelung tertutup (simulator CARLA, dsb.) apabila menilai prestasi boleh menggalakkan kemajuan komuniti pemanduan autonomi dengan lebih baik dan melaksanakan kertas kerja ke dalam kenderaan sebenar. Jalan ke arah pemanduan autonomi masih jauh lagi~

Rujukan

1. ^ST-P3: Pemanduan Autonomi Berasaskan Visi hujung ke hujung melalui Pembelajaran Ciri Spatial-Temporal
2. ^Dri Autonomi Berorientasikan Perancangan
3. ^VAD: Perwakilan Adegan Vektor untuk Pemanduan Autonomi Cekap

Pautan asal: https://mp.weixin.qq.com/s/skNDMk4B1rtvJ_o2CM9f8w

Atas ialah kandungan terperinci Adakah teknologi hujung ke hujung dalam bidang pemanduan autonomi menggantikan rangka kerja seperti Apollo dan perisian auto?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!