DetZero: Waymo menduduki tempat pertama dalam senarai pengesanan 3D, setanding dengan anotasi manual!

Artikel ini mencadangkan satu set rangka kerja algoritma pengesanan objek 3D luar talian DetZero Melalui penyelidikan dan penilaian menyeluruh pada set data awam Waymo, DetZero boleh menjana jujukan trajektori objek yang berterusan dan lengkap serta menggunakan awan titik jangka panjang. Ciri meningkatkan kualiti hasil yang dilihat dengan ketara. Pada masa yang sama, ia menduduki tempat pertama dalam kedudukan pengesanan objek 3D WOD dengan prestasi 85.15 mAPH (L2). Selain itu, DetZero boleh menyediakan pelabelan automatik berkualiti tinggi untuk latihan model dalam talian, dan hasilnya telah mencapai atau bahkan melebihi tahap pelabelan manual.

Ini pautan kertas: https://arxiv.org/abs/2306.06023

Kandungan yang perlu ditulis semula ialah: Pautan kod: https://github.com/PJLab-ADG/DetZero

Sila layari pautan halaman utama: https://superkoma.github.io/detzero-page

1 Pengenalan

Untuk meningkatkan kecekapan anotasi data, kami mengkaji kaedah baharu. Kaedah ini adalah berdasarkan pembelajaran mendalam dan pembelajaran tanpa pengawasan serta boleh menjana data beranotasi secara automatik. Dengan menggunakan sejumlah besar data tidak berlabel, kami boleh melatih model persepsi pemanduan autonomi untuk mengecam dan mengesan objek di jalan raya. Kaedah ini bukan sahaja dapat mengurangkan kos pelabelan data, tetapi juga meningkatkan kecekapan pasca pemprosesan. Kami menggunakan kaedah pengesanan objek 3D luar talian Waymo 3DAL[] sebagai garis dasar untuk perbandingan dalam percubaan kami dan keputusan menunjukkan bahawa kaedah yang dicadangkan kami mempunyai peningkatan yang ketara dalam ketepatan dan kecekapan. Kami percaya kaedah ini akan memainkan peranan penting dalam teknologi pemanduan autonomi masa hadapan

1. Pengesanan objek (Pengesanan): masukkan sejumlah kecil data bingkai awan titik berterusan dan keluarkan kotak sempadan dan maklumat kategori objek 3D dalam setiap bingkai ;
2. Penjejakan sasaran berbilang (Penjejakan): kaitkan objek yang dikesan dalam setiap bingkai untuk membentuk jujukan objek dan tetapkan ID objek unik
3. Pengkelasan Pergerakan (Pengkelasan Pergerakan): berdasarkan ciri trajektori objek; keadaan gerakan objek (pegun atau bergerak);
4. Penapisan berpusatkan objek: Berdasarkan keadaan gerakan yang diramalkan oleh modul sebelumnya, ekstrak ciri awan titik siri masa bagi objek pegun dan bergerak masing-masing untuk meramalkan kotak sempadan Tepat. Akhir sekali, kotak sempadan 3D yang dioptimumkan dipindahkan kembali ke sistem koordinat setiap bingkai di mana objek terletak melalui matriks pose.

Walau bagaimanapun, banyak kaedah pengesanan objek 3D dalam talian arus perdana telah mencapai hasil yang lebih baik daripada kaedah pengesanan 3D luar talian sedia ada dengan menggunakan ciri konteks temporal awan titik. Walau bagaimanapun, kami menyedari bahawa kaedah ini gagal menggunakan ciri awan titik jujukan panjang dengan berkesan semasa pengesanan sasaran dan algoritma penjejakan terutamanya menumpukan pada penunjuk prestasi pada tahap kotak sempadan (peringkat kotak), dan algoritma pengesanan 3D dalam talian dilalui. TTA. Sebilangan besar bingkai berlebihan yang dijana selepas gabungan dengan berbilang model digunakan sebagai input kepada algoritma penjejakan, yang biasanya mudah membawa kepada masalah serius seperti pembahagian trajektori, penukaran ID dan perkaitan yang tidak betul urutan objek yang lengkap, sekali gus menghalang penggunaan ciri awan titik jangka panjang yang sepadan dengan objek. Seperti yang ditunjukkan dalam rajah di bawah, trajektori asal objek dibahagikan kepada berbilang jujukan (T1, T2, T3), menyebabkan ciri segmen T1 dengan lebih banyak maklumat tidak dapat dikongsi antara T2 dan T3 bingkai yang dioptimumkan dalam segmen T4 juga Serpihan yang hilang tidak boleh dipanggil semula; bingkai yang dioptimumkan dalam serpihan T5 kekal FP selepas dialihkan ke kedudukan FP asal.

1. Kualiti jujukan objek akan memberi impak besar pada model pengoptimuman hiliran

Model pengoptimuman berdasarkan pengelasan keadaan gerakan tidak menggunakan sepenuhnya ciri temporal objek. Contohnya, jika saiz objek tegar kekal konsisten dari semasa ke semasa, anggaran saiz yang lebih tepat boleh dicapai dengan menangkap data dari sudut yang berbeza, trajektori gerakan objek harus mengikut kekangan kinematik tertentu, yang dicerminkan dalam kelancaran trajektori; . Seperti yang ditunjukkan dalam Rajah (a) di bawah, untuk objek dinamik, mekanisme pengoptimuman berdasarkan tetingkap gelongsor tidak mengambil kira ketekalan geometri objek, dan hanya mengemas kini kotak sempadan melalui maklumat awan titik siri masa beberapa bingkai bersebelahan, menghasilkan dalam saiz geometri yang diramalkan berlaku. Dalam contoh (b), dengan mengagregatkan semua awan titik objek, ciri awan titik siri masa yang padat boleh diperoleh, dan saiz geometri tepat kotak sempadan boleh diramalkan untuk setiap bingkai.

2. Model pengoptimuman berdasarkan keadaan gerakan meramalkan saiz objek (a), dan model pengoptimuman geometri meramalkan saiz objek selepas mengagregatkan semua awan titik dari perspektif berbeza (b)

2 Kaedah

Kertas kerja ini mencadangkan rangka kerja algoritma pengesanan objek 3D luar talian baharu yang dipanggil DetZero. Rangka kerja ini mempunyai ciri-ciri berikut: (1) Gunakan pengesan 3D berbilang bingkai dan penjejak luar talian sebagai modul huluan untuk menyediakan penjejakan objek yang tepat dan lengkap, memfokuskan pada ingatan tinggi jujukan objek (pengingat semula peringkat trek); termasuk model pengoptimuman berdasarkan mekanisme perhatian, yang menggunakan ciri awan titik jangka panjang untuk mempelajari dan meramalkan atribut objek yang berbeza, termasuk dimensi geometri yang diperhalusi, kedudukan trajektori gerakan lancar dan skor keyakinan yang dikemas kini



2.1 Menjana a turutan Objek lengkap

Kami menggunakan CenterPoint[] awam sebagai pengesan asas Untuk menyediakan lebih banyak bingkai calon pengesanan, kami telah mempertingkatkannya dalam tiga aspek: (1) Menggunakan gabungan awan titik bingkai yang berbeza sebagai input untuk memaksimumkan prestasi tanpa. mengurangkan prestasi; (2) Gunakan maklumat ketumpatan awan titik untuk menggabungkan ciri awan titik asal dan ciri voxel ke dalam modul dua peringkat untuk mengoptimumkan hasil sempadan peringkat pertama (3) Gunakan penambahan data peringkat inferens (TTA), berbilang -model Hasil gabungan (Ensemble) dan teknologi lain digunakan untuk meningkatkan kebolehsesuaian model kepada persekitaran yang kompleks

Strategi korelasi dua peringkat diperkenalkan dalam modul penjejakan luar talian untuk mengurangkan padanan palsu Bingkai dibahagikan kepada kumpulan tinggi dan kumpulan rendah mengikut keyakinan, dan kumpulan tinggi ialah Persatuan mengemas kini trajektori sedia ada, dan trajektori yang tidak dikemas kini dikaitkan dengan kumpulan rendah. Pada masa yang sama, panjang trajektori objek boleh bertahan sehingga penghujung jujukan, mengelakkan masalah penukaran ID. Selain itu, kami akan melaksanakan algoritma penjejakan secara terbalik untuk menjana satu lagi set trajektori, mengaitkannya melalui persamaan kedudukan, dan akhirnya menggunakan strategi WBF untuk menggabungkan trajektori yang berjaya dipadankan untuk meningkatkan lagi integriti permulaan dan penghujung jujukan. Akhir sekali, untuk jujukan objek yang dibezakan, awan titik yang sepadan bagi setiap bingkai diekstrak dan disimpan kotak berlebihan yang belum dikemas kini dan beberapa jujukan yang lebih pendek akan digabungkan terus ke dalam output akhir tanpa pengoptimuman hiliran.

2.2 Modul pengoptimuman objek berdasarkan ramalan atribut

Model pengoptimuman berpusatkan objek sebelumnya mengabaikan korelasi antara objek dalam keadaan gerakan yang berbeza, seperti ketekalan bentuk geometri dan gerakan objek pada ketekalan Status bersebelahan. Berdasarkan pemerhatian ini, kami menguraikan tugas regresi kotak sempadan tradisional kepada tiga modul: masing-masing meramalkan geometri, lokasi dan atribut keyakinan objek

1. Interaksi geometri berbilang paparan: Dengan menyambung awan titik objek daripada berbilang pandangan, kami boleh melengkapkan rupa dan bentuk keseluruhan objek. Pertama, transformasi koordinat tempatan dilakukan untuk menyelaraskan awan titik objek dengan bingkai tempatan pada kedudukan yang berbeza, dan jarak unjuran setiap titik ke enam permukaan kotak sempadan dikira untuk mengukuhkan perwakilan maklumat kotak sempadan, dan kemudian secara langsung mencantumkan semua awan titik bagi bingkai yang berbeza Sebagai kunci dan nilai ciri geometri berbilang pandangan, sampel t dipilih secara rawak daripada jujukan objek sebagai pertanyaan untuk ciri geometri pandangan tunggal. Pertanyaan geometri akan dihantar ke lapisan perhatian kendiri untuk melihat perbezaan antara satu sama lain, dan kemudian dihantar ke lapisan perhatian silang untuk menambah ciri perspektif yang diperlukan dan meramalkan saiz geometri yang tepat.
2. Interaksi antara kedudukan tempatan dan global: Pilih mana-mana kotak secara rawak dalam jujukan objek sebagai asal, pindahkan semua kotak lain dan awan titik objek yang sepadan ke sistem koordinat ini, dan hitung jumlah setiap titik ke titik tengah sempadan masing-masing kotak Jarak antara lapan titik sudut berfungsi sebagai kunci dan nilai ciri kedudukan global. Setiap sampel dalam urutan objek akan digunakan sebagai pertanyaan kedudukan dan dihantar ke lapisan perhatian kendiri untuk menentukan jarak relatif antara kedudukan semasa dan kedudukan lain Kemudian ia dimasukkan ke lapisan perhatian silang untuk mensimulasikan hubungan konteks kedudukan tempatan ke global dan ramalkan sistem koordinat ini Pengimbangan antara setiap titik pusat awal dan titik pusat sebenar, serta perbezaan sudut tajuk.
3. Pengoptimuman keyakinan: Cawangan klasifikasi digunakan untuk mengklasifikasikan sama ada objek itu TP atau FP Cawangan regresi IoU meramalkan saiz IoU antara objek dan kotak kebenaran tanah selepas dioptimumkan oleh model geometri dan model kedudukan. Skor keyakinan akhir ialah min geometri bagi kedua-dua cabang ini.

3 Eksperimen

3.1 Prestasi Utama

Detzero mencapai hasil terbaik pada Leaderboard Pengesanan 3D Waymo dengan 85.15 Maph (L2), kedua-duanya berbanding dengan kaedah yang memproses awan titik siri panjang. pengesan gabungan pelbagai mod lanjutan 3D, DetZero telah menunjukkan kelebihan prestasi yang ketara

Keputusan kedudukan pengesanan 3D Waymo, semua keputusan menggunakan teknologi TTA atau ensemble, † merujuk kepada model luar talian, ‡ merujuk kepada awan titik Model gabungan imej, * menunjukkan penyerahan tanpa nama keputusan

Begitu juga, terima kasih kepada ketepatan bingkai pengesanan dan integriti jujukan penjejakan objek, kami mencapai prestasi pertama pada kedudukan penjejakan Waymo 3D dengan 75.05 MOTA (L2).

Kedudukan penjejakan 3D Waymo, * menunjukkan penyerahan keputusan tanpa nama

3.2 Percubaan Ablasi

Untuk mengesahkan peranan setiap modul yang kami cadangkan dengan lebih baik, kami menjalankan percubaan ablasi pada set pengesahan Waymo dan menggunakan ambang IoU yang lebih ketat sebagai standard pengukuran

Disahkan dalam Waymo We menjalankan ini pada Kenderaan dan Pejalan Kaki, dan memilih nilai standard (0.7 & 0.5) dan nilai ketat (0.8 & 0.6) untuk ambang IoU Pada masa yang sama, untuk set hasil pengesanan yang sama, kami memilih penjejak dan pengoptimuman model dalam 3DAL dan DetZero masing-masing pengesahan gabungan silang telah dijalankan, dan hasilnya membuktikan lagi bahawa penjejak dan pengoptimum DetZero berprestasi lebih baik, dan gabungan kedua-duanya menunjukkan kelebihan yang lebih besar.

Eksperimen silang silang kombinasi modul huluan dan hiliran yang berbeza, subskrip 1 dan 2 masing-masing mewakili 3DAL dan DetZero, dan penunjuk ialah APH 3D

Penjejak luar talian kami memberi lebih perhatian kepada integriti jujukan objek, walaupun Prestasi MOTA kedua-duanya adalah berbeza, tetapi prestasi Recall@track adalah salah satu sebab perbezaan besar dalam prestasi pengoptimuman akhir

Perbandingan prestasi penjejak luar talian (Trk2) dan penjejak 3DAL (Trk1), prestasi. MOTA dan Recall@track

Tambahan pula, ini ditunjukkan jika dibandingkan dengan penjejak tercanggih yang lain

Recall@track ialah panggilan semula jujukan yang diproses oleh algoritma penjejakan, APH 3D ialah prestasi akhir yang diproses oleh model pengoptimuman yang sama



3.3 Prestasi generalisasi

Untuk mengesahkan sama ada model pengoptimuman kami boleh dipadankan dengan tetap pada set hasil huluan tertentu, kami memilih hasil penjejakan pengesanan huluan dengan prestasi berbeza sebagai input. Keputusan menunjukkan bahawa kami telah mencapai peningkatan prestasi yang ketara, seterusnya membuktikan bahawa selagi modul huluan dapat mengingati lebih banyak jujukan objek yang lebih lengkap, pengoptimum kami boleh menggunakan ciri awan titik siri masanya dengan berkesan untuk pengoptimuman

Set pengesahan Waymo Pengesahan prestasi generalisasi, penunjuk ialah 3D APH



3.4 Perbandingan dengan keupayaan pelabelan manusia

Kami akan melaporkan prestasi AP DetZero pada 5 urutan tertentu berdasarkan tetapan percubaan 3DAL, dengan membandingkan berdasarkan bingkai tunggal Prestasi manusia diukur dengan ketekalan keputusan yang dilabel semula dengan hasil yang dilabelkan dengan kebenaran tanah yang asal. Berbanding dengan 3DAL dan manusia, DetZero telah menunjukkan kelebihan dalam penunjuk prestasi yang berbeza

Perbandingan prestasi AP 3D dan BEV AP di bawah ambang IoU yang berbeza untuk kategori Kenderaan

Untuk mengesahkan sama ada hasil anotasi automatik berkualiti tinggi boleh menggantikan Manual keputusan anotasi telah digunakan untuk latihan model dalam talian dan kami menjalankan pengesahan pembelajaran separa penyeliaan pada set pengesahan Waymo. Kami memilih secara rawak 10% daripada data latihan sebagai data latihan untuk model guru (DetZero), dan melakukan inferens pada baki 90% data untuk mendapatkan hasil anotasi automatik, yang akan digunakan sebagai label untuk model pelajar. Kami memilih CenterPoint bingkai tunggal sebagai model pelajar. Bagi kategori kenderaan, hasil latihan menggunakan 90% label automatik dan 10% label benar adalah hampir dengan keputusan latihan menggunakan 100% label benar, manakala pada kategori pejalan kaki, hasil model yang dilatih dengan label automatik adalah lebih baik. daripada yang asal. Hasilnya, yang menunjukkan bahawa pelabelan automatik boleh digunakan untuk latihan model dalam talian

Keputusan percubaan separa penyeliaan pada set pengesahan Waymo



3.5 Hasil visual
Kotak merah mewakili input huluan keputusan, dan kotak biru mewakili model yang dioptimumkan Hasil output

Baris pertama mewakili hasil input huluan, baris kedua mewakili hasil output model pengoptimuman, dan objek dalam garis putus-putus mewakili lokasi dengan perbezaan yang jelas sebelum dan selepas pengoptimuman

Pautan asal: https://mp.weixin.qq.com/s/HklBecJfMOUCC8gclo-t7Q

Atas ialah kandungan terperinci DetZero: Waymo menduduki tempat pertama dalam senarai pengesanan 3D, setanding dengan anotasi manual!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!