Kecekapan meningkat sebanyak 16 kali ganda! VRSO: Anotasi 3D objek statik visual semata-mata, membuka gelung tertutup data!

Kematian Pelabelan

Pengesanan Objek Statik (SOD), termasuk lampu isyarat, tanda panduan dan kon trafik, kebanyakan algoritma adalah rangkaian neural dalam dipacu data dan memerlukan sejumlah besar data latihan. Amalan semasa biasanya melibatkan anotasi manual bagi sejumlah besar sampel latihan pada data awan titik yang diimbas LiDAR untuk membetulkan kes ekor panjang.

Anotasi manual sukar untuk menangkap kebolehubahan dan kerumitan adegan sebenar, dan selalunya gagal mengambil kira oklusi, keadaan pencahayaan yang berbeza dan sudut tontonan yang pelbagai (anak panah kuning dalam Rajah 1). Keseluruhan proses mempunyai pautan yang panjang, sangat memakan masa, mudah ralat, dan mahal (Rajah 2). Jadi pada masa ini syarikat sedang mencari penyelesaian pelabelan automatik, terutamanya berdasarkan penglihatan tulen Lagipun, tidak setiap kereta mempunyai lidar. . ialah 2.6 piksel, kira-kira satu perempat daripada anotasi Waymo (10.6 piksel)

Berbanding dengan anotasi manual, kelajuan meningkat kira-kira 16 kali ganda

Untuk objek statik, VRSO mengekstrak perkara utama melalui pembahagian contoh dan kontur untuk menyelesaikan Cabaran menyepadukan dan menyahduplikasi objek statik dari sudut pandangan yang berbeza, serta kesukaran pemerhatian yang tidak mencukupi disebabkan oleh isu oklusi, meningkatkan ketepatan anotasi.

Daripada Rajah 1, berbanding dengan hasil anotasi manual set data Terbuka Waymo, VRSO menunjukkan keteguhan dan ketepatan geometri yang lebih tinggi.

• (Anda semua telah melihat ini, mengapa tidak leret ke atas dengan ibu jari anda dan klik pada kad di bahagian atas untuk mengikuti saya,
Seluruh operasi hanya akan membawa anda 1.328 saat, dan kemudian mengambil semua maklumat berguna dalam masa depan, sekiranya ia berguna~
• )

Penyelesaian masalah

Sistem VRSO terbahagi terutamanya kepada dua bahagian:

Pembinaan semula adegan dan Anotasi objek statik

.

Bahagian pembinaan semula bukan fokus, ia berdasarkan algoritma SFM untuk memulihkan pose imej dan titik utama 3D yang jarang. Algoritma pelabelan objek statik, digabungkan dengan kod pseudo, proses umum adalah (perkara berikut akan diperincikan langkah demi langkah):

Menggunakan algoritma pengesanan dan segmentasi objek 2D siap sedia untuk menjana calon

Menggunakan 3D-2D surat-menyurat titik penting dalam model SFM Perhubungan untuk menjejak kejadian 2D merentas bingkai

Memperkenalkan konsistensi unjuran semula untuk mengoptimumkan parameter anotasi 3D objek statik

• 1. Menjejak hubungan 🜎
aries berdasarkan perkara utama titik 3D model SFM dalam kotak.
• langkah 2: Kira koordinat setiap titik 3D pada peta 2D berdasarkan hubungan padanan 2D-3D.

langkah 3: Tentukan tika yang sepadan bagi titik 3D pada peta 2D semasa berdasarkan koordinat peta 2D dan titik sudut pembahagian contoh.

langkah 4: Tentukan korespondensi antara pemerhatian 2D dan kotak sempadan 3D untuk setiap imej 2D.

2.cadangan menjana

• untuk memulakan parameter kotak 3D (kedudukan, arah, saiz) objek statik untuk keseluruhan klip video. Setiap titik utama SFM mempunyai kedudukan 3D yang tepat dan imej 2D yang sepadan. Untuk setiap contoh 2D, titik ciri dalam topeng contoh 2D diekstrak. Kemudian, satu set titik kunci 3D yang sepadan boleh dianggap sebagai calon untuk kotak sempadan 3D.
• Sebuah papan tanda jalan diwakili sebagai segi empat tepat dengan orientasi dalam ruang, yang mempunyai 6 darjah kebebasan, termasuk terjemahan (,,), orientasi (
• θ
) dan saiz (lebar dan tinggi). Memandangkan kedalamannya, lampu isyarat mempunyai 7 darjah kebebasan. Kon trafik diwakili sama dengan lampu isyarat.

• 3.cadangan memperhalusi

  • langkah 1: Ekstrak garis besar setiap objek statik daripada pembahagian contoh 2D.
  • langkah 2: Pasangkan kotak sempadan berorientasikan minimum (OBB) untuk kontur kontur.
  • langkah 3: Ekstrak bucu kotak sempadan minimum.
  • langkah 4: Kira arah berdasarkan bucu dan titik tengah, dan tentukan susunan bucu.
  • langkah 5: Proses pembahagian dan penggabungan dilakukan berdasarkan hasil pengesanan 2D dan pembahagian contoh.
  • langkah 6: Kesan dan tolak pemerhatian yang mengandungi oklusi. Mengekstrak bucu daripada topeng pembahagian contoh 2D memerlukan keempat-empat penjuru setiap tanda boleh dilihat. Jika terdapat oklusi, kotak sempadan sejajar paksi (AABB) diekstrak daripada pembahagian contoh dan nisbah kawasan antara AABB dan kotak pengesanan 2D dikira. Jika tiada oklusi, kedua-dua kaedah pengiraan kawasan ini hendaklah rapat.

  

  4. Triangulasi

  Dapatkan nilai bucu awal objek statik di bawah keadaan 3D melalui triangulasi.

  Dengan menyemak bilangan titik kunci dalam kotak sempadan 3D yang diperolehi oleh SFM dan segmentasi tika semasa pembinaan semula pemandangan, hanya kejadian dengan bilangan titik kunci melebihi ambang dianggap pemerhatian yang stabil dan sah. Untuk keadaan ini, kotak sempadan 2D yang sepadan dianggap sebagai pemerhatian yang sah. Melalui pemerhatian 2D ke atas berbilang imej, bucu kotak sempadan 2D ditriangulasi untuk mendapatkan koordinat kotak sempadan.

  Untuk tanda bulat yang tidak membezakan bucu "kiri bawah, kiri atas, kanan atas, kanan atas, dan kanan bawah" pada topeng, tanda bulat ini perlu dikenal pasti. Hasil pengesanan 2D digunakan sebagai pemerhatian objek bulat, dan topeng segmentasi contoh 2D digunakan untuk pengekstrakan kontur. Titik tengah dan jejari dikira melalui algoritma pemadanan kuasa dua terkecil. Parameter tanda bulat termasuk titik tengah (,,), arah (θ) dan jejari ().

  5. Perhalusi penjejakan

  Padanan titik ciri penjejakan berdasarkan SFM. Tentukan sama ada hendak menggabungkan kejadian berasingan ini berdasarkan jarak Euclidean bucu kotak sempadan 3D dan unjuran kotak sempadan 2D IoU. Setelah penggabungan selesai, titik ciri 3D dalam contoh boleh dikelompokkan untuk mengaitkan lebih banyak titik ciri 2D. Perkaitan 2D-3D berulang dilakukan sehingga tiada titik ciri 2D boleh ditambah.

  6. Pengoptimuman parameter akhir

  Mengambil tanda segi empat tepat sebagai contoh, parameter yang boleh dioptimumkan termasuk kedudukan (,,), arah (θ) dan saiz (,), dengan jumlah enam darjah kebebasan. Langkah utama termasuk:

  • Tukar enam darjah kebebasan kepada empat titik 3D dan hitung matriks putaran.
  • Projek empat mata 3D yang telah ditukar pada imej 2D.
  • Kira baki antara hasil unjuran dan hasil titik sudut yang diperolehi melalui segmentasi contoh.
  • Gunakan Huber untuk pengoptimuman dan kemas kini parameter kotak pembatas

  Kesan anotasi

  

  

  

  Terdapat juga dalam beberapa kes yang sangat ringan dan berpanjangan.

  

  Untuk meringkaskan

  Rangka kerja VRSO mencapai ketepatan tinggi dan anotasi 3D objek statik yang konsisten, menyepadukan pengesanan, segmentasi dan algoritma SFM dengan ketat, menghapuskan campur tangan manual dalam pemacuan pintar berasaskan LiDAR, Keputusan dan menyediakan anotasi boleh kompaun berasaskan LiDAR kepada anotasi manual. Penilaian kualitatif dan kuantitatif telah dijalankan dengan Set Data Terbuka Waymo yang diiktiraf secara meluas: berbanding dengan anotasi manual, kelajuan meningkat kira-kira 16 kali ganda, sambil mengekalkan ketekalan dan ketepatan yang terbaik.

Atas ialah kandungan terperinci Kecekapan meningkat sebanyak 16 kali ganda! VRSO: Anotasi 3D objek statik visual semata-mata, membuka gelung tertutup data!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!