Lebih 70% mAP buat kali pertama! GeMap: Peta berketepatan tinggi tempatan SOTA dimuat semula

Ditulis di atas & pemahaman peribadi pengarang

Membina peta berketepatan tinggi bervektor berdasarkan data penderia dalam masa nyata adalah penting untuk tugas hiliran seperti ramalan dan perancangan, dan boleh mengimbangi prestasi masa nyata luar talian yang lemah dengan berkesan peta berketepatan tinggi. Dengan pembangunan pembelajaran mendalam, pembinaan peta berketepatan tinggi bervektor dalam talian telah muncul secara beransur-ansur, dan karya perwakilan seperti HDMapNet dan MapTR telah muncul satu demi satu. Walau bagaimanapun, kaedah pembinaan peta berketepatan tinggi vektor sedia ada tidak mempunyai penerokaan sifat geometri unsur peta (termasuk bentuk unsur, menegak, selari dan perhubungan geometri lain).

Sifat geometri peta berketepatan tinggi tervektor

Peta berketepatan tinggi bervektor sangat mengabstraksi elemen di jalan dan mewakili setiap elemen peta sebagai jujukan titik dua dimensi. Reka bentuk jalan bandar mempunyai spesifikasi khusus Contohnya, dalam kebanyakan kes, laluan pejalan kaki adalah segi empat sama segi empat tepat atau paralelogram; Elemen yang berbeza dalam peta definisi tinggi juga mempunyai banyak ciri yang serupa Peraturan akal sehat ini disarikan ke dalam sifat geometri peta berketepatan tinggi, termasuk bentuk elemen peta (segi empat tepat, selari, garis lurus, dsb. ), atau peta yang berbeza Hubungan antara elemen (selari, menegak, dll.). Sifat geometri sangat mengekang perwakilan unsur peta Jika anda memahami sepenuhnya sifat geometri pembinaan model dalam talian, anda boleh mendapatkan hasil yang lebih tepat.

Cadangkan kepentingan perwakilan geometri untuk peta berketepatan tinggi

Walaupun secara teori masih mungkin bagi model sedia ada untuk mempelajari sifat geometri unsur peta, namun ciri ciri geometri menentukan bahawa, sekurang-kurangnya di bawah kaedah tradisional. reka bentuk, model tidak Tidak mudah untuk belajar.

Invarian sifat geometri
Apabila kenderaan tengah memandu terus di jalan raya, menukar lorong atau membelok,

koordinat mutlak

elemen peta (dalam sistem koordinat kenderaan) terus berubah. Bentuk pejalan kaki, lorong, sempadan jalan, dan lain-lain tidak akan berubah sama, hubungan selari antara lorong tidak akan berubah. Sifat geometri unsur peta adalah objektif, dan salah satu ciri pentingnya ialah invarian. Lebih khusus lagi, ia ialah invarian tegar (kekal invarian kepada putaran dan transformasi terjemahan). Kerja sebelumnya, sama ada menggunakan perwakilan poligaris mudah atau menggunakan lengkung polinomial dengan titik kawalan (seperti lengkung Bezier, lengkung Bezier sekeping), semuanya berdasarkan koordinat mutlak dan hujung ke hujung berdasarkan pengoptimuman koordinat mutlak. Objektif pengoptimuman berdasarkan koordinat mutlak itu sendiri tidak mempunyai invarian tegar, jadi sukar untuk menjangkakan bahawa penyelesaian optimum tempatan yang model jatuh ke dalamnya mengandungi pemahaman tentang sifat geometri. Oleh itu, perwakilan yang boleh mencirikan sepenuhnya sifat geometri dan mempunyai invarian tertentu adalah perlu.

Rajah 1. Contoh invarian geometri.

Apabila kenderaan membelok ke kanan, koordinat mutlak akan berubah dengan ketara. Imej di sebelah kanan menunjukkan senario kehidupan sebenar yang sepadan.

Kepelbagaian sifat geometri
Tambahan pula, walaupun pengetahuan terdahulu yang kukuh, sifat geometri jalan masih pelbagai. Pelbagai sifat geometri ini secara amnya boleh dibahagikan kepada dua kategori, satu adalah mengenai bentuk geometri elemen peta tunggal, dan satu lagi adalah mengenai persatuan geometri unsur peta yang berbeza. Disebabkan oleh kepelbagaian sifat geometri, adalah mustahil untuk menukar sifat geometri secara menyeluruh dan manual kepada kekangan, jadi kami lebih suka model itu boleh belajar secara autonomi pelbagai sifat geometri dari hujung ke hujung.

Reka bentuk GeMap

Perwakilan geometri

Memandangkan dua masalah di atas, kami terlebih dahulu menambah baik kaedah perwakilan. Kami berharap dapat memperkenalkan perwakilan geometri yang baik sebagai tambahan kepada perwakilan berasaskan koordinat mutlak tradisional, yang perlu memenuhi keperluan berikut:

boleh menggambarkan bentuk elemen peta

boleh menggambarkan

perkaitan
• antara elemen peta Ketegaran
invarian
Untuk memastikan
• terjemahan invarian , kami menggunakan kuantiti relatif, iaitu, vektor mengimbangi antara titik untuk memastikan lagi invarian putaran
, kami memilih panjang

ofset; dan

sudut antara vektor offset yang berbeza. Kedua-dua ini - panjang dan sudut - membentuk asas perwakilan geometri yang kami cadangkan. Di samping itu, untuk membezakan dan menerangkan bentuk dengan lebih baik dan mengaitkan dua jenis sifat geometri yang berbeza, kami memperhalusi reka bentuk mengikut prinsip kesederhanaan: Untuk menerangkan bentuk, kami mengira jarak antara titik bersebelahan dalam elemen peta tunggal mengimbangi vektor di antara mereka, dan mengira panjang vektor mengimbangi dan sudut antara vektor mengimbangi bersebelahan. Perwakilan ini secara unik mengenal pasti mana-mana polyline/poligon. Contoh dua imej ditunjukkan di bawah:

Sila lihat Rajah 2, yang menunjukkan perwakilan bentuk geometri

Untuk segi empat tepat, ia boleh diterangkan dengan menggunakan sudut tepat dan dua pasang sisi yang sama untuk garis lurus, semua sudut yang disertakan ialah 0 darjah atau 180 darjah .

Untuk mencirikan persatuan, begitu juga, kita mula-mula mempertimbangkan jarak antara mana-mana dua titik. Walau bagaimanapun, jika sudut dikira untuk semua vektor offset titik ke titik, kerumitan perwakilan adalah terlalu tinggi dan kos pengiraan tidak mampu dibeli. Secara khusus, dengan mengandaikan bahawa terdapat sejumlah elemen peta, dan setiap elemen diwakili oleh satu titik, jumlah data untuk semua sudut akan mencapai (apabila mengambil 1000, dengan mengandaikan bahawa setiap data sudut ialah nombor titik terapung 32-bit, seperti perwakilan hanya Ruang yang diduduki akan mencapai tahap TB). Sebenarnya, ini tidak diperlukan untuk perhubungan menegak, selari, dsb. biasa. Oleh itu, kita mula-mula mengira offset di dalam elemen, dan kemudian hanya mengira sudut antara setiap pasangan ofset ini sebagai sebahagian daripada perwakilan geometri. Perwakilan perkaitan yang dipermudahkan ini mengekalkan keupayaan untuk menerangkan perhubungan selari, menegak dan lain-lain, manakala volum data yang sepadan adalah sahaja (kira-kira 4MB di bawah keadaan yang dinyatakan di atas). Untuk memudahkan pemahaman, kami juga menyediakan beberapa contoh:

Rajah 3. Perwakilan persatuan geometri.

Hubungan selari dan hubungan serenjang dinyatakan dengan sudut antara vektor offset ialah 0 darjah atau 90 darjah; jarak antara dua titik boleh mencerminkan maklumat lebar lorong pada tahap tertentu bentuk dan perkaitan geometri yang dioptimumkan, kami menggunakan pendekatan yang paling mudah,

mengira secara langsung perwakilan geometri ramalan dan label, dan kemudian menggunakan norma sebagai sasaran pengoptimuman

:

di mana dan mewakili panjang dan sudut yang dikira berdasarkan label, masing-masing, dan jumlah mewakili Ramalkan panjang dan sudut yang dikira. Helah digunakan apabila menangani sudut yang disertakan: pengiraan sudut secara langsung melibatkan fungsi arctan terputus, yang akan menghadapi kesukaran semasa pengoptimuman (terdapat masalah kecerunan yang lenyap berhampiran ±90 darjah), jadi perkara yang sebenarnya kita bandingkan ialah sudut yang disertakan Kosinus dan sinus Kekukuhan

Perhatian yang dipisahkan secara geometri

Sebuah seni bina yang diterima pakai oleh MapTR, PivotNet, dsb. sepadan dengan setiap titik pada elemen peta dengan pertanyaan Transformer. Masalah dengan seni bina ini ialah ia tidak membezakan antara dua kategori utama sifat geometri.

Dalam perhatian diri, semua pertanyaan (iaitu "mata") berinteraksi secara sama rata antara satu sama lain. Walau bagaimanapun, bentuk elemen peta sepadan dengan sekumpulan pertanyaan. Interaksi antara kumpulan ini menjadi liabiliti apabila melihat bentuk unsur. Sebaliknya, apabila melihat hubungan antara unsur, bentuk juga telah menjadi faktor berlebihan

. Ini bermakna meninggalkan persepsi bentuk dan perkaitan boleh membawa kepada hasil yang lebih baik.

Untuk memisahkan pemprosesan geometri dan perkaitan, kami menggunakan dua langkah perhatian kendiri:

Setiap elemen peta termasuk pertanyaan, dan perhatian dilakukan di dalam

pertanyaan ini untuk memproses bentuk Geometrik

melengkapi hubungan perhatian merentas elemen untuk mengendalikan persatuan geometri

• Perhatian penyahgandingan geometri boleh diwakili dengan lebih jelas oleh rajah berikut. Pelaksanaan kami agak mudah, secara langsung menggunakan topeng untuk mengawal skop perhatian. Memandangkan kedua-dua jenis perhatian ini adalah saling melengkapi, dengan pelaksanaan yang munasabah, kerumitan masa mungkin bersamaan dengan melakukan satu perhatian diri
• Rajah 4. Perhatian yang dipisahkan secara geometri.

Sebelah kiri ialah perhatian bentuk yang dilakukan dalam satu elemen, dan sebelah kanan ialah perhatian berkaitan yang dilakukan antara elemen.

Hasil eksperimen

Kami menjalankan sejumlah besar eksperimen pada set data nuScenes dan Argoverse 2. Kedua-duanya adalah set data pemanduan autonomi berskala besar yang biasa digunakan, dan kedua-duanya menyediakan anotasi peta.

Hasil utama

Kami menjalankan tiga set eksperimen pada nuScenes. Pertama, kami menggunakan gabungan fungsi objektif yang agak tulen, termasuk hanya kerugian geometri dan kerugian lain yang diperlukan (seperti jarak titik ke titik, arah tepi, klasifikasi Gabungan ini bertujuan untuk menyerlahkan kepentingan sifat geometri yang kami cadangkan). nilai tanpa terlalu mengejar keputusan SOTA. Keputusan menunjukkan bahawa kaedah kami meningkatkan mAP berbanding dengan MapTR dalam kes ini. Untuk meneroka had GeMap, kami juga menambah beberapa objektif tambahan, termasuk pembahagian dan anggaran kedalaman. Dalam kes ini, kami juga mencapai keputusan SOTA (peningkatan mAP). Perlu diingat bahawa untuk mencapai peningkatan sedemikian tidak memerlukan pengorbanan terlalu banyak kelajuan inferens. Akhir sekali, kami juga cuba memperkenalkan input modal LiDAR tambahan Dengan bantuan input modal tambahan, prestasi GeMap telah dipertingkatkan lagi

Begitu juga, pada set data Argoverse 2, kaedah kami juga mencapai kesan hasil yang sangat cemerlang.

Kandungan yang ditulis semula ialah: eksperimen ablasi

Kandungan yang ditulis semula selanjutnya pada nuScenes ialah: eksperimen ablasi membuktikan nilai kehilangan geometri dan perhatian yang dipisahkan secara geometri. Menariknya, seperti yang kami jangkakan, menggunakan kehilangan geometri secara langsung akan membawa kepada penurunan dalam prestasi model. Kami percaya ini adalah kerana gandingan struktur pemprosesan bentuk dan perkaitan menyukarkan model untuk mengoptimumkan perwakilan geometri dan selepas digabungkan dengan perhatian penyahgandingan geometri, kehilangan geometri memainkan peranannya (daripada "+ Euclidean Loss" hingga; "Penuh").

Lebih banyak hasil

Selain itu, kami juga melakukan analisis visual nuScenes. Dapat dilihat daripada hasil visualisasi bahawa GeMap bukan sahaja mantap dalam mengendalikan putaran dan terjemahan, tetapi juga menunjukkan kelebihan tertentu dalam menyelesaikan masalah oklusi, seperti yang ditunjukkan dalam rajah di bawah. Elemen peta yang mencabar ditandakan dengan kotak oren dalam rajah

Rajah 5. Hasil perbandingan visual.

Dalam keputusan percubaan pada hari hujan, kami juga mengesahkan keteguhan oklusi secara kuantitatif (lihat jadual di bawah). Ini kerana hujan secara semula jadi menghalang kamera

Ini boleh dijelaskan oleh model mempelajari sifat geometri dan oleh itu dapat meneka elemen peta dengan lebih baik walaupun terdapat halangan. Sebagai contoh, jika model memahami bentuk garisan lorong, maka ia hanya perlu "melihat" sebahagian daripadanya untuk menganggarkan selebihnya model memahami hubungan selari antara garisan lorong, atau ciri lebar lorong, jadi walaupun salah satu daripadanya disekat, bahagian yang tersumbat juga boleh diteka berdasarkan hubungan selari dan faktor lebar

Ringkasan

Kami menunjukkan sifat geometri unsur peta dan nilainya untuk pembinaan peta berketepatan tinggi dalam talian . Berdasarkan ini, kami mencadangkan kaedah yang berkuasa untuk mengesahkan nilai ini pada mulanya. Selain itu, keteguhan GeMap terhadap oklusi mungkin menunjukkan idea menggunakan sifat geometri untuk menangani oklusi dalam tugas pemanduan autonomi lain (seperti pengesanan, ramalan penghunian, dll.) - kerana kedua-dua kenderaan dan jalan mempunyai sifat geometri yang agak piawai. Sudah tentu, kaedah kami sendiri mempunyai banyak perkara untuk diterokai dengan lebih lanjut. Sebagai contoh, bolehkah unsur-unsur geometri dengan kerumitan yang berbeza digambarkan secara adaptif menggunakan titik yang berbeza? Adakah mungkin untuk memahami perwakilan geometri dari perspektif kebarangkalian dan menjadikannya lebih mantap kepada bunyi? Kerana kita telah memudahkan perkaitan unsur, adakah terdapat perwakilan perkaitan geometri yang lebih baik? Ini semua arahan untuk pengoptimuman selanjutnya.

Kandungan yang perlu ditulis semula ialah: https://mp.weixin.qq.com/s/BoxlskT68Kjb07mfwQ7Swg pautan

Atas ialah kandungan terperinci Lebih 70% mAP buat kali pertama! GeMap: Peta berketepatan tinggi tempatan SOTA dimuat semula. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!