Dalam pemanduan autonomi, ramalan trajektori biasanya terletak di hujung belakang modul persepsi, dan hujung hadapan peraturan ialah modul penghubung. Masukkan maklumat keadaan dan maklumat struktur jalan bagi landasan sasaran yang disediakan oleh modul persepsi, pertimbangkan secara menyeluruh maklumat peta berketepatan tinggi, maklumat interaksi antara sasaran, maklumat semantik persekitaran dan maklumat niat sasaran, dan buat niat untuk pelbagai sasaran yang dilihat . Ramalan (potong masuk/keluar, lurus ke hadapan) dan ramalan trajektori untuk tempoh masa akan datang (julat dari 0-5s). Seperti yang ditunjukkan di bawah.
Sistem ADAS memerlukan kebolehan kognitif tertentu bagi maklumat persekitaran di sekeliling Tahap yang paling asas adalah untuk mengenali persekitaran, dan tahap seterusnya memerlukan Buat ramalan tentang alam sekitar. Selepas meramalkan sasaran, pengawal boleh merancang laluan kenderaan berdasarkan maklumat yang diramalkan, dan membuat keputusan untuk brek atau mengeluarkan amaran untuk kemungkinan situasi berbahaya. Ini adalah kepentingan modul ramalan trajektori.
Ramalan trajektori boleh dibahagikan kepada ramalan jangka pendek dan ramalan jangka panjang.
Terdapat dua cabaran untuk ramalan trajektori jangka panjang:
Ketidakpastian yang mempengaruhi ramalan trajektori jangka panjang terutamanya datang dari tiga aspek:
Empat isu yang perlu dipertimbangkan untuk sistem ramalan trajektori:
Rajah berikut menunjukkan kaedah pengelasan dalam kertas ulasan [2] yang diterbitkan oleh Bosch .
Apakah algoritma umum yang terlibat dalam ramalan trajektori?
Apakah maklumat khusus yang boleh digunakan untuk ramalan trajektori?
Terdapat lebih banyak kertas mengenai ramalan trajektori dalam akademik Sebab utamanya ialah tiada kaedah yang berkesan dalam industri.
Berikut ialah kertas industri:
BMW: Model Fizik + ramalan niat (berasaskan pembelajaran). Gunakan kaedah heuristik untuk mengintegrasikan pengetahuan pakar, memudahkan model interaksi, dan menambah idea teori permainan kepada model klasifikasi ramalan niat [3].
BENZ: Terutamanya kertas berkaitan ramalan niat, menggunakan DBN[4] .
Uber: LaneRCNN[5].
Google: VectorNet[6].
Huawei: HOME[7].
Waymo: TNT[8].
Aktif: Covernet[9].
NEC: R2P2[10].
SenseTime: TPNet[11].
Meituan: StarNet[12]. pejalan kaki.
Aibee: Sophie[13]. pejalan kaki.
MIT: Sosial lstm[14]. pejalan kaki.
Universiti Sains dan Teknologi China: STGAT[15]. pejalan kaki.
Baidu: Lorong-Perhatian[16].
Apollo: Anda boleh lihat blog berikut untuk rujukan.
https://www.cnblogs.com/liuzubing/p/11388485.html
Modul ramalan Apollo menerima persepsi, Kedudukan dan input modul peta.
1. Mula-mula, adegan itu dibahagikan kepada dua babak: jalan pelayaran biasa dan persimpangan.
2. Kemudian bahagikan kepentingan sasaran yang dilihat kepada sasaran yang boleh diabaikan (tidak akan menjejaskan kereta anda sendiri) dan sasaran yang perlu dikendalikan dengan berhati-hati (mungkin menjejaskan anda sendiri kereta). benteng) dan sasaran biasa (di antaranya).
3. Kemudian masukkan Penilai, yang pada asasnya adalah ramalan niat.
4. Akhir sekali masukkan peramal, yang digunakan untuk meramalkan penjanaan trajektori. Lakukan operasi berbeza untuk senario berbeza seperti sasaran pegun, memandu di sepanjang jalan, freeMove dan persimpangan.
(1) NGSIM
Set data ini ialah data pemanduan lebuh raya yang dikumpul oleh FHWA di Amerika Syarikat, termasuk keadaan pemanduan semua kenderaan di US101, I-80 dan jalan lain dalam tempoh masa. Data diperoleh menggunakan kamera dan kemudian diproses menjadi rekod titik jejak satu persatu. Set datanya ialah fail CSV. Data tidak mempunyai banyak bunyi.
Ia lebih kepada maklumat tahap penghantaran keseluruhan, seperti perancangan jalan, penetapan lorong, pelarasan aliran trafik, dsb. Keadaan kinematik kenderaan perlu diekstrak lagi. Kod pemprosesan boleh digunakan pada github di bawah.
https://github.com/nachiket92/conv-social-pooling
(2) INTERAKSI
Data data ini dicipta oleh Makmal Kawalan Sistem Mekanikal (MSC Lab) di University of California, Berkeley, dengan rakan usaha sama dari Institut Teknologi Karlsruhe (KIT) dan Sekolah Kebangsaan Mines Paris (MINES ParisTech) . Set data antarabangsa, lawan, kolaboratif (INTERAKSI). Ia boleh menghasilkan semula sebilangan besar gelagat interaktif pengguna jalan raya (seperti kenderaan dan pejalan kaki) dengan tepat dalam pelbagai senario pemanduan di negara yang berbeza.
http://www.interaction-dataset.com/
(3)apolloscape
Ini ialah set data pemanduan autonomi awam Apollo, yang mengandungi data yang disediakan untuk ramalan trajektori. Fail dalaman ialah jujukan data 1minit 2fps Struktur data termasuk ID nombor bingkai, ID sasaran, kategori sasaran, kedudukan xyz, panjang, lebar dan maklumat ketinggian, dan kategori sasaran termasuk kereta kecil, kereta besar, pejalan kaki , basikal/kenderaan elektrik dan lain-lain.
https://apolloscape.auto/trajectory.html
(4) TRAF
Set data ini memfokuskan pada keadaan trafik berketumpatan tinggi, yang boleh membantu algoritma memfokuskan dengan lebih baik pada menganalisis tingkah laku pemandu manusia dalam persekitaran yang tidak menentu. Setiap bingkai data mengandungi lebih kurang 13 kenderaan bermotor, 5 pejalan kaki dan 2 basikal
https://gamma.umd.edu/researchdirections/autonomousdriving/ad
Terdapat banyak projek ramalan trajektori menggunakan set data ini dalam pautan.
(5) nuScenes
Berita besar akan datang. Ia mengumpul 1,000 adegan pemanduan di Boston dan Singapura, dua bandar dengan trafik sesak dan keadaan pemanduan yang mencabar. Set datanya mempunyai kertas berkaitan, anda boleh lihat untuk mendapatkan pemahaman yang lebih baik tentang set data ini.
https://arxiv.org/abs/1903.11027
Terdapat pertandingan berkaitan ramalan dalam set data ini, anda boleh mengikutinya.
https://www.nuscenes.org/prediction?externalData=all&mapData=all&modalities=Any
Metrik penilaian yang paling banyak digunakan pada masa ini ialah metrik geometri.
Sukatan geometri mempunyai banyak penunjuk, yang utama digunakan ialah ADE, FDE, dan MR.
ADE ialah jarak Euclidean yang dinormalkan. FDE ialah jarak Euclidean antara titik ramalan akhir. MR ialah kadar rindu. Terdapat banyak nama yang berbeza Perkara utama ialah menetapkan ambang Jika jarak Euclidean antara mata yang diramalkan adalah lebih rendah daripada ramalan ini, ia akan direkodkan sebagai pukulan Jika ia lebih tinggi daripada ambang ini, ia akan direkodkan sebagai a miss Akhirnya, peratusan akan dikira.
Metrik geometri ialah penunjuk penting untuk mengukur persamaan antara trajektori yang diramalkan dan trajektori sebenar, dan boleh mewakili ketepatan dengan baik. Tetapi untuk tujuan ramalan trajektori, adalah tidak bermakna untuk menilai ketepatan sahaja. Perlu juga terdapat langkah-langkah kebarangkalian untuk menilai ketidakpastian, terutamanya untuk pengagihan output berbilang modal juga perlu ada langkah-langkah peringkat tugas, langkah-langkah keteguhan, dan penilaian kecekapan.
Ukuran kebarangkalian: Perbezaan KL, kebarangkalian yang diramalkan dan kebarangkalian terkumpul boleh digunakan sebagai ukuran kebarangkalian. Contohnya, NLL, NLL berasaskan KDE [17]. Metrik peringkat tugas: Nilaikan kesan ramalan trajektori pada peraturan bahagian belakang (piADE, piFDE) [18]. Keteguhan: Pertimbangkan panjang atau tempoh bahagian trajektori yang diperhatikan sebelum ramalan saiz data input kekerapan pensampelan dan kebisingan rangkaian saraf, overfitting dan analisis penggunaan input; input input, sama ada ia dijamin berfungsi secara normal dan faktor lain. Kecekapan: Pertimbangkan kuasa pengkomputeran.
Seperti yang ditunjukkan dalam rajah di bawah, pertimbangan utama kertas ini ialah berdasarkan nilai sebenar (biru), trajektori ungu dan hijau yang diramalkan oleh kereta sasaran kelabu mempunyai ADE dan FDE yang sama, tetapi berbeza Kaedah ramalan akan memberi kesan kepada perancangan kereta sendiri, dan pada masa ini tiada metrik sedemikian untuk menilai tahap tugas, jadi mereka mencadangkan piADE dan piFDE untuk melakukan ini.
Soalan 1: Tiga kaedah ramalan trajektori yang berbeza : Di manakah senario aplikasi berasaskan model fizikal, berasaskan pembelajaran, dan berasaskan perancangan Apakah kelebihan dan kekurangannya?
Kaedah pemodelan yang berbeza boleh menggabungkan dan mengeksploitasi pelbagai jenis maklumat kontekstual. Semua kaedah pemodelan boleh dikembangkan dengan menggunakan petunjuk kontekstual sasaran dan persekitaran dinamik dan statik. Walau bagaimanapun, kaedah pemodelan yang berbeza mempamerkan tahap kerumitan dan kecekapan yang berbeza dalam menggabungkan kategori maklumat semantik yang berbeza.
1. Kaedah berasaskan model fizikal
Senario yang boleh digunakan: sasaran, persekitaran statik dan simulasi dinamik boleh Pemodelan persamaan pemindahan eksplisit.
Kelebihan:
Kelemahan:
Kekurangan tersebut mengehadkan penggunaan kaedah fizikal kepada ramalan jangka pendek atau persekitaran tanpa halangan.
2. Kaedah berasaskan pembelajaran
Senario yang boleh digunakan: Sesuai untuk persekitaran semasa dengan maklumat yang tidak diketahui yang kompleks (seperti Kawasan biasa dengan semantik kaya), dan maklumat ini boleh digunakan untuk julat ramalan yang agak besar.
Kelebihan:
Kelemahan:
3. Kaedah berasaskan perancangan
Senario yang boleh digunakan: Titik akhir ditentukan dan persekitaran peta ialah Adegan yang tersedia, diwakili dengan baik.
Kelebihan:
Kelemahan:
Kaedah berasaskan perancangan pada asasnya sedar peta dan sedar halangan, dan secara semula jadi meluas menggunakan petunjuk semantik. Biasanya, mereka mengekodkan kerumitan situasi ke dalam persamaan matlamat/ganjaran, tetapi ini mungkin tidak menyepadukan input talian dinamik dengan betul. Oleh itu, pengarang perlu mereka bentuk pengubahsuaian khusus untuk memasukkan input dinamik ke dalam algoritma ramalan (Jump Markov Processes, penyesuaian tempatan trajektori yang diramalkan, teori permainan). Tidak seperti kaedah berasaskan pembelajaran, input sasaran boleh digabungkan dengan mudah kerana kedua-dua proses perancangan ke hadapan dan ke belakang adalah berdasarkan model dinamik sasaran yang sama.
Soalan 2: Adakah masalah ramalan trajektori telah diselesaikan sekarang?
Keperluan untuk ramalan trajektori sebahagian besarnya bergantung pada domain aplikasi dan senario kes penggunaan khusus di dalamnya. Mungkin tidak boleh dikatakan bahawa masalah ramalan trajektori telah diselesaikan dalam jangka pendek. Ambil industri automotif sebagai contoh Oleh kerana terdapat piawaian dan peraturan khas yang menentukan kelajuan maksimum, peraturan lalu lintas, pengedaran kelajuan dan pecutan pejalan kaki, dan spesifikasi untuk kadar pecutan/penyusutan kenderaan yang selesa, ia nampaknya paling berkuasa dalam merumuskan. keperluan dan mencadangkan penyelesaian. Boleh dikatakan bahawa untuk fungsi AEB kereta pintar, penyelesaian itu telah mencapai tahap prestasi yang membolehkan pengeluaran industri produk pengguna, dan kes penggunaannya yang diperlukan telah diselesaikan. Bagi kes penggunaan lain, lebih banyak standardisasi dan artikulasi keperluan yang jelas akan diperlukan dalam masa terdekat. Dan masih ada keperluan untuk berkembang untuk kekukuhan dan kestabilan.
Jadi sebelum menjawab sama ada ramalan trajektori telah menyelesaikan masalah ini, sekurang-kurangnya piawaian harus ditetapkan.
Pada masa ini dalam bidang robotik
Pada masa ini untuk bidang pemanduan autonomi:
Soalan 3: Adakah teknik penilaian semasa untuk mengukur prestasi ramalan trajektori cukup baik?
Pada masa ini terdapat kekurangan pendekatan sistematik untuk algoritma ramalan, terutamanya untuk kaedah ramalan trajektori yang mempertimbangkan input kontekstual dan meramalkan bilangan sasaran yang sewenang-wenangnya.
Kini kebanyakan pengarang hanya menggunakan metrik geometri (AED, FDE) sebagai penunjuk untuk mengukur kualiti algoritma. Walau bagaimanapun, untuk ramalan jangka panjang, ramalan selalunya berbilang mod dan dikaitkan dengan ketidakpastian, dan penilaian prestasi kaedah sedemikian harus menggunakan metrik yang mengambil kira perkara ini, seperti kemungkinan log negatif atau logaritma yang diperoleh daripada kerugian KLD.
Terdapat juga keperluan untuk langkah-langkah kebarangkalian yang lebih mencerminkan rawak pergerakan manusia dan ketidakpastian yang terlibat dalam ketidaksempurnaan persepsi.
Terdapat juga penilaian kekukuhan, yang perlu mempertimbangkan kestabilan sistem apabila ralat pengesanan, kecacatan penjejakan, ketidakpastian kedudukan diri atau perubahan peta berlaku pada bahagian penderiaan.
Pada masa yang sama, walaupun set data yang digunakan pada masa ini mengandungi senario yang sangat komprehensif, set data ini biasanya diberi anotasi separa automatik dan oleh itu hanya boleh memberikan anggaran kebenaran asas yang tidak lengkap dan bising. Tambahan pula, panjang trajektori selalunya tidak mencukupi di sesetengah kawasan aplikasi yang memerlukan ramalan jangka panjang. Akhir sekali, interaksi antara sasaran dalam set data biasanya terhad Contohnya, dalam persekitaran yang jarang, sukar untuk sasaran mempengaruhi satu sama lain.
Untuk meringkaskan: Untuk menilai kualiti ramalan, penyelidik harus memilih set data yang lebih kompleks (termasuk halangan bukan cembung, trajektori panjang dan interaksi kompleks) dan metrik lengkap (geometrik + kebarangkalian ). Kaedah yang lebih baik ialah menetapkan keperluan ketepatan yang berbeza berdasarkan masa ramalan yang berbeza, tempoh pemerhatian yang berbeza dan kerumitan pemandangan yang berbeza. Dan perlu ada penilaian kekukuhan dan penilaian masa nyata. Di samping itu, perlu ada penunjuk yang relevan yang boleh mengukur kesan sistem ADAS pada bahagian belakang [18] dan penunjuk yang mengukur kepekaan terhadap senario berbahaya [1].
Daripada perbincangan dalam [2], dipetik di sini.
Trend semasa ialah menggunakan kaedah yang lebih kompleks untuk mengatasi kaedah menggunakan model tunggal + KF
Arah:
Ringkasnya: Ringkasnya, maklumat konteks harus digunakan dengan lebih mendalam, adalah lebih baik untuk mempunyai model tingkah laku dan teori permainan yang berbeza untuk sasaran yang berbeza, dan membuat lebih banyak keputusan berdasarkan lebih banyak maklumat Ramalan niat yang sangat baik, inferens automatik titik akhir, masalah generalisasi kepada persekitaran baharu, keteguhan dan kebolehintegrasian.
Atas ialah kandungan terperinci Bincangkan status semasa dan trend perkembangan teknologi ramalan trajektori pemanduan autonomi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!