


Penyelidikan tentang kaedah kuantifikasi kompleks perpustakaan senario keselamatan berfungsi yang diharapkan
Berdasarkan sistem pelapisan pemandangan Pegasus, kaedah kuantitatif untuk kerumitan pemandangan dicadangkan untuk menilai kualiti data pemandangan. Kaedah ini menentukan penentu unsur pada setiap lapisan, menentukan kerumitan unsur pada setiap lapisan berdasarkan penentu, dan memperoleh jumlah kerumitan data pemandangan dengan mengira jumlah kerumitan unsur pada setiap lapisan. Di samping itu, untuk mengelakkan fenomena "kerumitan berlebihan", kaedah "perpustakaan ibu-anak" dan kaedah "kebarangkalian senario sistem" dicadangkan Kerumitan elemen adegan didarabkan dengan kebarangkalian kejadian unsur itu mendapatkan kerumitan yang diperbetulkan. Hasil kajian menunjukkan bahawa perpustakaan adegan yang munasabah dan boleh digunakan boleh dibina melalui kaedah ini.
Sebab utama bahaya yang disebabkan oleh isu keselamatan kereta pandu sendiri termasuk dua aspek: (1) Kemudaratan yang disebabkan oleh kegagalan elektronik dan elektrik atau kegagalan sistem perisian. Atas sebab ini, ISO mencadangkan ISO26262 "Kenderaan Jalan Raya—Standard Keselamatan Fungsian", manakala China mencadangkan GB/T 34590 "Kenderaan Jalan Raya—Standard Keselamatan Fungsian" yang sepadan. (2) Kemudaratan yang disebabkan oleh prestasi sistem yang tidak mencukupi atau penyalahgunaan manusia yang boleh dijangka secara munasabah. Atas sebab ini, ISO mencadangkan Keselamatan ISO/PAS 21448 bagi Fungsi Yang Dimaksudkan, yang dirujuk sebagai piawaian SOTIF.
Dalam standard SOTIF, senario yang dihadapi oleh kenderaan autonomi semasa memandu dibahagikan kepada 4 kategori: senario selamat yang diketahui, senario tidak selamat yang diketahui, senario selamat yang tidak diketahui dan senario tidak selamat yang tidak diketahui Seperti yang ditunjukkan dalam Rajah 1. Untuk senario keselamatan yang diketahui dan senario keselamatan yang tidak diketahui, tiada perhatian diberikan dalam standard SOTIF. Untuk senario berbahaya yang diketahui, standard SOTIF mencadangkan metodologi. Tujuannya adalah untuk meningkatkan prestasi sistem berkaitan kenderaan autonomi atau mengurangkan kawasan operasi sistem berkaitan, dan untuk menjalankan ujian dan pengesahan berdasarkan perpustakaan senario yang berkaitan, iaitu, untuk menukar senario berbahaya yang diketahui kepada senario selamat yang diketahui.
Untuk senario berbahaya yang tidak diketahui, sejumlah besar eksperimen boleh dijalankan berdasarkan perpustakaan senario untuk menemui dan mengesan potensi senario bahaya keselamatan dalam sistem berkaitan, iaitu menukar senario berbahaya yang tidak diketahui kepada Adegan berbahaya yang diketahui. Akhir sekali, berdasarkan metodologi di atas, senario berbahaya yang diketahui diubah menjadi senario selamat yang diketahui. Secara ringkasnya, matlamat standard SOTIF adalah untuk mengembangkan sebanyak mungkin julat senario keselamatan yang diketahui dan senario keselamatan yang tidak diketahui yang dihadapi oleh sistem berkaitan kenderaan autonomi semasa berjalan, dengan itu mengecilkan julat bahaya yang diketahui dan senario bahaya yang tidak diketahui sebanyak mungkin. , seperti yang ditunjukkan dalam Rajah 2 yang ditunjukkan. Untuk mencapai matlamat di atas, salah satu faktor utama ialah membina perpustakaan berkualiti tinggi bagi senario keselamatan berfungsi yang diharapkan.
Pada masa ini, banyak perniagaan dan organisasi telah membina perpustakaan mereka sendiri bagi senario keselamatan berfungsi yang diharapkan. Contohnya: Perpustakaan pemandangan Kitti, perpustakaan pemandangan NuScenes[6], perpustakaan pemandangan kereta pandu sendiri Lyft, dsb. Kebanyakan perusahaan dan organisasi menumpukan pada pengumpulan data pustaka adegan semasa proses pembinaan perpustakaan tempat kejadian, tetapi kekurangan penunjuk kuantitatif yang munasabah untuk kualiti data pemandangan yang dikumpul.
Ini sudah pasti membawa dua masalah:
(1) Pustaka adegan mungkin mengandungi sejumlah besar data adegan pendua dan berkualiti rendah , menyebabkan masa ujian berdasarkan perpustakaan tempat kejadian menjadi terlalu lama, malah kecacatan prestasi kereta pandu sendiri tidak dapat ditemui, yang mengurangkan kredibiliti keputusan ujian.
(2) Kelebihan dan kekurangan pustaka pemandangan yang berbeza tidak boleh dibandingkan, mengakibatkan ketidakupayaan untuk memilih data perpustakaan adegan optimum untuk ujian perpustakaan pemandangan kenderaan autonomi. Oleh itu, adalah sangat perlu untuk menggunakan kaedah saintifik dan munasabah untuk mengukur kualiti perpustakaan adegan. Lebih kompleks data adegan, lebih besar cabaran kepada sistem yang berkaitan, dan lebih besar kemungkinan untuk mengesan kecacatan prestasi sistem yang berkaitan. Oleh itu, boleh dianggap bahawa kerumitan data adegan adalah salah satu faktor utama yang mempengaruhi kualiti perpustakaan pemandangan.
Artikel ini mencadangkan kaedah untuk mengukur kerumitan data adegan. Kaedah ini adalah berdasarkan sistem pelapisan pemandangan projek Pegasus Jerman Ia mengelaskan dan mengira elemen dalam adegan untuk mengira kerumitan elemen dalam data adegan dan menilai kualiti data pemandangan.
Sistem pelapisan pemandangan 1 Pegasus
Projek Pegasus telah dimulakan bersama oleh syarikat berkaitan dan institusi penyelidikan dalam industri automotif Jerman untuk membangunkan satu siri piawaian ujian yang berkaitan dengan autonomi kenderaan untuk tujuan. Projek ini mencadangkan sistem lapisan adegan, iaitu adegan dibahagikan kepada enam lapisan adegan mengikut elemen adegan yang berbeza, lihat Jadual 1.
Data adegan ditunjukkan dalam Rajah 3. Berdasarkan sistem pelapisan pemandangan Pegasus, data pemandangan boleh berlapis, seperti ditunjukkan dalam Jadual 2.
2 Kaedah pengiraan kerumitan data adegan
Pelapisan adegan Pegasus Sistem elemen pemandangan lapisan. Artikel ini menganalisis lebih lanjut elemen setiap lapisan dan mengukur kerumitan setiap lapisan elemen.
Kerumitan lapisan jalan ditentukan terutamanya oleh keterlihatan garisan lorong, lihat Jadual 3. Untuk garisan lorong yang jelas, kerumitan adalah 1 garisan lorong yang disekat atau haus akan menjejaskan pengecaman garisan lorong, dan kerumitan adalah 2 pengumpulan air jalan dan garisan lorong yang meliputi ais bukan sahaja akan menjejaskan pengecaman garisan lorong, Ia juga akan menyebabkan kesukaran memandu, dengan kerumitan 3 garisan lorong yang tidak teratur boleh menyebabkan salah pengecaman garisan lorong, menyebabkan kenderaan bergerak ke arah yang salah, dengan kerumitan 4 adegan tanpa garisan lorong boleh menjejaskan arah perjalanan kenderaan, dengan kerumitan 4 adalah 5.
Kerumitan lapisan kemudahan pengangkutan ditentukan terutamanya oleh keterlihatan kemudahan pengangkutan, lihat Jadual 4. Pemandangan tanpa kemudahan pengangkutan mempunyai kerumitan 1 adegan dengan kemudahan pengangkutan yang jelas mempunyai kerumitan 2 adegan dengan kemudahan pengangkutan yang terlalu jauh dan tidak dapat dikenal pasti mempunyai kerumitan 3; kotor, dsb. Senario yang sukar dikenal pasti mempunyai tahap kerumitan 4 kemudahan trafik yang tidak teratur boleh menyebabkan kesilapan pengecaman dan membawa kepada tingkah laku berbahaya seperti menyalakan lampu merah, dan tahap kerumitan ialah 5.
Kerumitan lapisan peristiwa trafik sementara terutamanya ditentukan oleh kontingensi dan kebolehramalan kejadiannya, lihat Jadual 5. Sekiranya tiada insiden trafik sementara, kerumitannya ialah 1 jika terdapat insiden trafik sementara seperti kawalan lalu lintas dan terdapat kakitangan yang berdedikasi untuk menyelenggara tempat kejadian, kerumitannya adalah 2 jika terdapat kejadian trafik sementara dengan tanda amaran seperti jalan raya pembinaan, kerumitan adalah 3 kemalangan jalan raya, dsb. Peristiwa lalu lintas sementara yang mempunyai kesan yang lebih besar terhadap pemanduan mempunyai kerumitan 4 peristiwa trafik sementara yang sangat sporadis dan sukar untuk diramal, seperti batu jatuh dan roda jatuh, mempunyai kerumitan 5.
Kerumitan lapisan peserta trafik ditentukan oleh kesamaan dan pematuhan peserta, lihat Jadual 6. Jika tiada peserta trafik, kerumitan adalah 1 jika tempat kejadian hanya mengandungi kenderaan, kerumitan adalah 2 jika ia mengandungi peserta biasa seperti pejalan kaki dan basikal dan terletak di kedudukan yang ditetapkan oleh peraturan (seperti kaki lima, lorong basikal; , dsb.), kerumitan adalah 3 ; Mengandungi peserta biasa seperti pejalan kaki dan basikal dan tidak terletak pada kedudukan yang ditentukan oleh peraturan (pejalan kaki yang melintas jalan, basikal memandu di lorong kenderaan bermotor, dll.), kerumitannya ialah 4; Peserta trafik yang tidak biasa (seperti trak menyeret gajah, pejalan kaki menunggang kuda, dll.), kerumitannya ialah 5.
Kerumitan lapisan keadaan persekitaran terutamanya ditentukan oleh keterlihatan, lihat Jadual 7. Keterlihatan tinggi pada hari cerah mempunyai kerumitan 1 keterlihatan sederhana pada hari hujan dan kerumitan 2 pada waktu malam, dan kerumitannya ialah 3, dan keterlihatan rendah, dan kerumitannya ialah 4; kabus tebal Keterlihatan langit adalah sangat rendah dan kerumitannya ialah 5.
Kerumitan lapisan maklumat ditentukan terutamanya oleh sama ada terdapat maklumat trafik, lihat Jadual 8. Jika terdapat peta berketepatan tinggi atau V2X menyediakan maklumat trafik, kerumitannya ialah 1 jika tiada peta berketepatan tinggi atau V2X menyediakan maklumat trafik, kerumitannya ialah 2;
Melalui kaedah pelapisan di atas dan kaedah kuantifikasi kerumitan setiap lapisan, kerumitan data pemandangan tunggal boleh dikira, iaitu jumlah kerumitan setiap lapisan. Sebagai contoh: data adegan dalam Rajah 3 mempunyai kerumitan 18 (lihat Jadual 9 untuk kerumitan setiap lapisan)
Untuk keseluruhan perpustakaan pemandangan, tambahkan kerumitan setiap data adegan Kemudian bahagikannya dengan jumlah data adegan dalam pustaka pemandangan untuk mendapatkan kerumitan keseluruhan pustaka pemandangan. Kualiti perpustakaan pemandangan yang berbeza boleh dibandingkan berdasarkan kerumitan perpustakaan pemandangan.
Perlu diambil perhatian bahawa disebabkan had ruang, jadual kerumitan di atas untuk setiap tahap tidak menyenaraikan dan merangkumi semua elemen. Bagi elemen yang tidak disenaraikan atau dilindungi, kerumitannya hendaklah ditentukan berdasarkan faktor yang menentukan kerumitan lapisan di mana ia berada. Sebagai contoh: penentu kerumitan lapisan keadaan persekitaran ialah keterlihatan, kemudian untuk hari berkabus dengan kepekatan yang lebih rendah yang tidak disenaraikan, keterlihatan adalah bersamaan dengan keterlihatan lampu ambien pada waktu malam, jadi kerumitan adalah 3.
3 Pembetulan kerumitan data adegan
Apabila menggunakan kaedah kuantifikasi kompleks di atas untuk membina perpustakaan pemandangan, fenomena "kerumitan berlebihan" ialah cenderung untuk berlaku, iaitu, untuk mengejar kerumitan perpustakaan tempat kejadian, perpustakaan tempat kejadian hanya mengumpul adegan kerumitan tinggi, walaupun kerumitan perpustakaan tempat kejadian adalah sangat tinggi, kebarangkalian kejadian adalah sangat rendah . Akhirnya, kecacatan prestasi sistem tidak dapat ditemui. Untuk mengelakkan fenomena "terlalu rumit", artikel ini mencadangkan dua konsep: "perpustakaan ibu-anak" dan "kebarangkalian senario sistem". "Perpustakaan ibu". Kemudian, berdasarkan ciri dan domain pengendalian sistem yang berkaitan, "sub-perpustakaan" diekstrak daripada "perpustakaan ibu". Contohnya: Untuk sistem pemanduan autonomi yang hanya terpakai untuk lebuh raya, data pemandangan lebuh raya diekstrak daripada "pustaka induk" dan dibentuk menjadi "sub perpustakaan". Contohnya: untuk sistem pemanduan autonomi yang dibangunkan untuk bandar tertentu, data pemandangan bandar itu diekstrak daripada "pangkalan data ibu" untuk membentuk "sub-pangkalan data" untuk sistem.
Perlu diperhatikan bahawa secara teori, anda boleh membina "perpustakaan ibu" dahulu dan kemudian mengekstrak "sub-perpustakaan", atau anda boleh membina "sub-perpustakaan" dahulu dan kemudian kumpulkan ke dalam "perpustakaan ibu". Walau bagaimanapun, artikel ini mengesyorkan pendekatan "ibu didahulukan, anak kedua". Oleh kerana pembinaan "perpustakaan ibu" adalah rawak, "perpustakaan kecil" yang diekstrak daripada "perpustakaan ibu" juga mempunyai atribut rawak. Jika "sub-perpustakaan" dibina dahulu, dan kerana "sub-perpustakaan" adalah khusus sistem, sukar untuk mencapai rawak sepenuhnya semasa proses binaan.3.2 Kebarangkalian Senario Sistem
Untuk "sub-pustaka" yang diekstrak daripada "pangkalan data ibu", analisis selanjutnya elemen setiap lapisan dalam senario semasa sistem operasi Kebarangkalian kejadian ialah kebarangkalian senario sistem. Sebagai contoh: Untuk sistem pemanduan autonomi yang hanya sesuai untuk lebuh raya, kebarangkalian lapisan peserta trafik hanya mengandungi kenderaan (kerumitan 2) adalah jauh lebih tinggi daripada kebarangkalian pejalan kaki dan basikal (kerumitan 3). Oleh itu, apabila menilai kerumitan elemen dalam lapisan ini, ia juga perlu untuk mendarabkan kerumitan dengan pekali kebarangkalian untuk mendapatkan kerumitan akhir lapisan ini. Formulanya ialah:
di mana: C ialah kerumitan akhir data pemandangan; ialah kerumitan elemen pemandangan dalam lapisan
;
ialah pekali kebarangkalian elemen pemandangan bagi lapisan
yang muncul apabila sistem yang berkaitan sedang berjalan.
"sub-perpustakaan ibu" dan "kebarangkalian senario sistem" boleh digunakan untuk mengelakkan "lebih- fenomena kerumitan". Sebab utama adalah: (1) Apabila membina "perpustakaan ibu", kaedah pengumpulan rawak lokasi rawak, tempoh masa rawak, iklim rawak, dan lain-lain digunakan untuk mengurangkan faktor manusia dalam proses pengumpulan "perpustakaan ibu". (2) Untuk sistem tertentu, "sub-perpustakaan" yang berkaitan diekstrak daripada "perpustakaan ibu", yang secara tidak langsung mengelakkan faktor manusia dalam "sub-perpustakaan". (3) Kira kerumitan adegan akhir berdasarkan kebarangkalian kejadian kejadian dan kerumitan apabila sistem sedang berjalan. Menggabungkan faktor objektif kerumitan dan kebarangkalian mengelakkan pengaruh faktor manusia. Contohnya: untuk elemen adegan berkerumitan tinggi, berkemungkinan rendah atau untuk elemen adegan berkemungkinan rendah berkemungkinan tinggi, nilai kerumitan adegan akhir mungkin lebih rendah.
3.4 Nilai pekali kebarangkalianUntuk sistem yang berbeza, pekali kebarangkalian adalah berbeza. Sebagai contoh: untuk sistem yang terhad kepada penggunaan lebuh raya, pekali kebarangkalian hanya kenderaan yang muncul dalam lapisan peserta trafik adalah lebih besar daripada pekali kebarangkalian pejalan kaki dan basikal untuk sistem yang boleh digunakan dalam senario trafik bandar, kebarangkalian pekali pejalan kaki dan basikal yang terdapat dalam lapisan peserta trafik Pekali kebarangkalian adalah lebih besar daripada pekali kebarangkalian kenderaan sahaja. Di samping itu, untuk sistem yang sama, pada peringkat yang berbeza dalam proses pembangunan pemanduan autonomi, pekali kebarangkaliannya juga mungkin berbeza. Contohnya: Pada peringkat ini, pekali kebarangkalian sistem dengan peta berketepatan tinggi atau V2X dalam lapisan maklumat adalah lebih rendah daripada sistem tanpa peta berketepatan tinggi atau V2X. Pada peringkat akhir pembangunan pemanduan autonomi, pekali kebarangkalian sistem dengan peta berketepatan tinggi atau V2X mungkin lebih tinggi daripada sistem tanpa peta berketepatan tinggi atau V2X.
Oleh itu, untuk sistem yang berbeza, adalah perlu untuk mempertimbangkan banyak aspek seperti skop operasi, lokasi, masa, pasaran sasaran dan tahap pasaran keseluruhan untuk menentukan kebarangkalian elemen senario yang berbeza. pekali.
4 Kesimpulan
Untuk memenuhi keperluan ISO/PAS 21448, perpustakaan senario keselamatan berfungsi yang dijangkakan perlu dibina. Walau bagaimanapun, kualiti pembinaan perpustakaan pemandangan tidak mempunyai penunjuk kuantitatif yang sepadan Berdasarkan sistem pelapisan pemandangan Pegasus, artikel ini mengukur kerumitan setiap lapisan elemen untuk menilai kualiti perpustakaan pemandangan. Pada masa yang sama, untuk mengelakkan fenomena "kerumitan berlebihan", dua konsep "perpustakaan ibu-anak" dan "kebarangkalian senario sistem" dicadangkan, dan bagaimana untuk membina "perpustakaan ibu-anak" dan bagaimana untuk mengira "kebarangkalian senario sistem" dijelaskan, dan berdasarkan ini, cara terakhir untuk mengira kerumitan. Kaedah kuantifikasi yang disebut dalam artikel ini dan kaedah untuk mencegah "kerumitan yang berlebihan" memainkan peranan pengajaran dalam penubuhan dan promosi perpustakaan senario keselamatan berfungsi yang diharapkan.
Atas ialah kandungan terperinci Penyelidikan tentang kaedah kuantifikasi kompleks perpustakaan senario keselamatan berfungsi yang diharapkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Semalam semasa temu bual, saya telah ditanya sama ada saya telah membuat sebarang soalan berkaitan ekor panjang, jadi saya fikir saya akan memberikan ringkasan ringkas. Masalah ekor panjang pemanduan autonomi merujuk kepada kes tepi dalam kenderaan autonomi, iaitu, kemungkinan senario dengan kebarangkalian yang rendah untuk berlaku. Masalah ekor panjang yang dirasakan adalah salah satu sebab utama yang kini mengehadkan domain reka bentuk pengendalian kenderaan autonomi pintar satu kenderaan. Seni bina asas dan kebanyakan isu teknikal pemanduan autonomi telah diselesaikan, dan baki 5% masalah ekor panjang secara beransur-ansur menjadi kunci untuk menyekat pembangunan pemanduan autonomi. Masalah ini termasuk pelbagai senario yang berpecah-belah, situasi yang melampau dan tingkah laku manusia yang tidak dapat diramalkan. "Ekor panjang" senario tepi dalam pemanduan autonomi merujuk kepada kes tepi dalam kenderaan autonomi (AVs) kes Edge adalah senario yang mungkin dengan kebarangkalian yang rendah untuk berlaku. kejadian yang jarang berlaku ini

Ditulis di hadapan & titik permulaan Paradigma hujung ke hujung menggunakan rangka kerja bersatu untuk mencapai pelbagai tugas dalam sistem pemanduan autonomi. Walaupun kesederhanaan dan kejelasan paradigma ini, prestasi kaedah pemanduan autonomi hujung ke hujung pada subtugas masih jauh ketinggalan berbanding kaedah tugasan tunggal. Pada masa yang sama, ciri pandangan mata burung (BEV) padat yang digunakan secara meluas dalam kaedah hujung ke hujung sebelum ini menyukarkan untuk membuat skala kepada lebih banyak modaliti atau tugasan. Paradigma pemanduan autonomi hujung ke hujung (SparseAD) tertumpu carian jarang dicadangkan di sini, di mana carian jarang mewakili sepenuhnya keseluruhan senario pemanduan, termasuk ruang, masa dan tugas, tanpa sebarang perwakilan BEV yang padat. Khususnya, seni bina jarang bersatu direka bentuk untuk kesedaran tugas termasuk pengesanan, penjejakan dan pemetaan dalam talian. Di samping itu, berat

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

Ditulis di atas & pemahaman peribadi pengarang: Kertas kerja ini didedikasikan untuk menyelesaikan cabaran utama model bahasa besar multimodal semasa (MLLM) dalam aplikasi pemanduan autonomi, iaitu masalah melanjutkan MLLM daripada pemahaman 2D kepada ruang 3D. Peluasan ini amat penting kerana kenderaan autonomi (AV) perlu membuat keputusan yang tepat tentang persekitaran 3D. Pemahaman spatial 3D adalah penting untuk AV kerana ia memberi kesan langsung kepada keupayaan kenderaan untuk membuat keputusan termaklum, meramalkan keadaan masa depan dan berinteraksi dengan selamat dengan alam sekitar. Model bahasa besar berbilang mod semasa (seperti LLaVA-1.5) selalunya hanya boleh mengendalikan input imej resolusi rendah (cth.) disebabkan oleh had resolusi pengekod visual, had panjang jujukan LLM. Walau bagaimanapun, aplikasi pemanduan autonomi memerlukan

Penyelesaian anotasi visual semata-mata menggunakan penglihatan serta beberapa data daripada GPS, IMU dan penderia kelajuan roda untuk anotasi dinamik. Sudah tentu, untuk senario pengeluaran besar-besaran, ia tidak semestinya visual semata-mata. Sesetengah kenderaan yang dihasilkan secara besar-besaran akan mempunyai penderia seperti radar keadaan pepejal (AT128). Jika kami mencipta gelung tertutup data dari perspektif pengeluaran besar-besaran dan menggunakan semua penderia ini, kami boleh menyelesaikan masalah pelabelan objek dinamik dengan berkesan. Tetapi tiada radar keadaan pepejal dalam rancangan kami. Oleh itu, kami akan memperkenalkan penyelesaian pelabelan pengeluaran besar-besaran yang paling biasa ini. Teras penyelesaian anotasi visual semata-mata terletak pada pembinaan semula pose berketepatan tinggi. Kami menggunakan skema pembinaan semula pose Structure from Motion (SFM) untuk memastikan ketepatan pembinaan semula. Tetapi lulus

Ditulis di atas & Pemahaman peribadi penulis Dalam beberapa tahun kebelakangan ini, pemanduan autonomi telah mendapat perhatian yang semakin meningkat kerana potensinya untuk mengurangkan beban pemandu dan meningkatkan keselamatan pemanduan. Ramalan penghunian tiga dimensi berasaskan penglihatan ialah tugas persepsi yang muncul yang sesuai untuk penyiasatan kos efektif dan komprehensif tentang keselamatan pemanduan autonomi. Walaupun banyak kajian telah menunjukkan keunggulan alat ramalan penghunian 3D berbanding tugas persepsi berpusatkan objek, masih terdapat ulasan khusus untuk bidang yang sedang berkembang pesat ini. Kertas kerja ini mula-mula memperkenalkan latar belakang ramalan penghunian 3D berasaskan penglihatan dan membincangkan cabaran yang dihadapi dalam tugasan ini. Seterusnya, kami membincangkan secara menyeluruh status semasa dan trend pembangunan kaedah ramalan penghunian 3D semasa daripada tiga aspek: peningkatan ciri, kemesraan penggunaan dan kecekapan pelabelan. akhirnya

Pasukan pembelajaran pengukuhan mendalam Institut Automasi, Akademi Sains China, bersama-sama dengan Li Auto dan lain-lain, mencadangkan rangka kerja perancangan gelung tertutup baharu untuk pemanduan autonomi berdasarkan model bahasa besar berbilang mod MLLM - PlanAgent. Kaedah ini mengambil pandangan mata dari tempat kejadian dan gesaan teks berasaskan graf sebagai input, dan menggunakan pemahaman pelbagai modal dan keupayaan penaakulan akal bagi model bahasa besar berbilang mod untuk melaksanakan penaakulan hierarki daripada pemahaman adegan kepada generasi. arahan pergerakan mendatar dan menegak, dan Selanjutnya menjana arahan yang diperlukan oleh perancang. Kaedah ini diuji pada penanda aras nuPlan berskala besar dan mencabar, dan eksperimen menunjukkan bahawa PlanAgent mencapai prestasi terkini (SOTA) pada kedua-dua senario biasa dan panjang. Berbanding dengan kaedah model bahasa besar (LLM) konvensional, PlanAgent

Ditulis di atas & pemahaman peribadi penulis Pada masa ini, apabila teknologi pemanduan autonomi menjadi lebih matang dan permintaan untuk tugas persepsi pemanduan autonomi meningkat, industri dan akademia sangat berharap untuk model algoritma persepsi yang ideal yang boleh melengkapkan pengesanan sasaran tiga dimensi secara serentak dan berdasarkan tugasan segmentasi Semantik dalam ruang BEV. Untuk kenderaan yang mampu memandu autonomi, ia biasanya dilengkapi dengan penderia kamera pandangan sekeliling, penderia lidar dan penderia radar gelombang milimeter untuk mengumpul data dalam kaedah yang berbeza. Dengan cara ini, kelebihan pelengkap antara data modal yang berbeza boleh digunakan sepenuhnya, supaya kelebihan pelengkap data antara modaliti yang berbeza boleh dicapai Contohnya, data awan titik 3D boleh memberikan maklumat untuk tugas pengesanan sasaran 3D, manakala data imej berwarna boleh memberikan lebih banyak maklumat untuk tugasan segmentasi semantik maklumat yang tepat. jarum
