Dari perspektif teknikal, mari kita bercakap tentang mengapa sistem pemanduan autonomi binokular sukar untuk dipopularkan?

Penglihatan monokular adalah senjata ajaib Mobileye (ME). Malah, ia juga dianggap penglihatan binokular, tetapi akhirnya memilih untuk menyerah.

Apakah yang bergantung pada julat monokular dan anggaran 3-D? Kotak Sempadan (BB) yang mengesan sasaran Jika halangan tidak dapat dikesan, sistem tidak boleh menganggarkan jarak dan sikap/orientasi 3-D. Tanpa pembelajaran mendalam, ME menganggarkan jarak berdasarkan BB, sikap dan ketinggian yang diperoleh melalui penentukuran kamera, dan andaian bahawa permukaan jalan adalah lurus.

Dengan pembelajaran mendalam, model NN boleh dilatih berdasarkan kebenaran tanah 3-D untuk mendapatkan anggaran saiz dan sikap 3D Jarak diperoleh berdasarkan prinsip garis selari (pandangan tunggal metrologi). Penyelesaian monokular L3 yang diumumkan oleh Baidu Apollo tidak lama dahulu agak jelas. Kertas rujukan ialah "Anggaran Kotak Sempadan 3D oleh Pembelajaran Mendalam dan Geometri".

Teropong pastinya boleh mengira paralaks dan kedalaman. , walaupun tiada halangan dikesan (kerana maklumat kedalaman tambahan, pengesan akan lebih baik daripada monokular), penggera akan dikeluarkan. Masalahnya ialah tidak semudah itu bagi sistem penglihatan binokular untuk menganggarkan perbezaan padanan stereo adalah masalah biasa dalam penglihatan komputer Garis dasar yang luas menghasilkan hasil julat yang tepat untuk sasaran jauh, manakala garis dasar yang pendek menghasilkan hasil julat yang baik berhampiran sasaran. Terdapat pertukaran di sini.

Sistem penglihatan binokular ADAS semasa di pasaran ialah Subaru EyeSight, dan prestasinya dikatakan baik.

Bas ulang-alik Apollo L4 yang dilancarkan oleh Baidu adalah dalam pengeluaran besar-besaran sebanyak 100 unit dan dilengkapi dengan sistem binokular. Projek letak kereta autonomi EU V-Charge juga menggunakan sistem penglihatan binokular ke hadapan, begitu juga sistem penyelidikan dan pembangunan pemanduan autonomi Berta Benz, yang disepadukan dengan sistem radar Antaranya, algoritma pengesanan halangan binokular Stixel sangat terkenal. Syarikat Tier-1 seperti Bosch dan Conti juga telah membangunkan penyelesaian penglihatan binokular pada masa lalu, tetapi mereka tidak memberi kesan kepada pasaran dan dilaporkan telah dihentikan.

Apabila bercakap tentang kesukaran sistem binokular, selain padanan stereo, terdapat juga penentukuran. Sistem yang ditentukur akan "hanyut", jadi penentukuran dalam talian adalah satu kemestian. Perkara yang sama berlaku untuk monokular, kerana ubah bentuk tayar dan bonggol badan kenderaan akan menjejaskan perubahan dalam parameter luaran kamera, dan beberapa parameter mesti ditentukur dan diperbetulkan dalam talian, seperti sudut pic dan sudut yaw.

Penentukuran dalam talian binokular adalah lebih rumit Oleh kerana pemadanan binokular dipermudahkan kepada carian 1-D sebanyak mungkin, adalah perlu untuk menggunakan pembetulan stereo untuk membuat paksi optik kedua-dua kanta. selari dan berserenjang dengan garis dasar. Oleh itu, berbanding dengan keuntungan yang diperoleh, peniaga akan berputus asa jika ia tidak kos efektif disebabkan oleh peningkatan kerumitan dan kos.

Penglihatan binokular telah disebut baru-baru ini kerana Ambarella, sebuah syarikat cip Silicon Valley, memperoleh Vis Lab dari Universiti Parma di Itali pada tahun 2014 dan membangunkan ADAS binokular dan cip pemanduan autonomi , selepas itu CES tahun lepas, ia mula memasuki syarikat kereta dan Tahap-1. Selain itu, Ambarella sedang meneruskan penyelidikan untuk meningkatkan prestasi sistem.

Gambar di bawah ialah gambarajah skematik enam pasang sistem penglihatan stereo yang dipasang pada bumbung kereta itu lebar garis dasarnya mungkin berbeza, dan jarak pengesanan berkesan juga berbeza. Penulis pernah menaiki kereta pandu sendiri dan dapat melihat 200 meter dari jauh dan 20-30 meter dari jauh. Ia sememangnya boleh melakukan penentukuran dalam talian dan melaraskan beberapa parameter penglihatan binokular pada bila-bila masa.

01 Padanan stereo

Mari kita bincangkan padanan stereo dahulu, iaitu, perbezaan/anggaran kedalaman . Seperti yang ditunjukkan dalam rajah, andaikan panjang fokus kamera kiri dan kanan ialah f, lebar garis dasar (garisan yang menghubungkan dua pusat optik) ialah B, kedalaman titik 3-D >

Paralaks yang boleh dilihat boleh mengira nilai kedalaman secara songsang. Tetapi perkara yang paling sukar di sini ialah bagaimana untuk menentukan imej yang dilihat oleh kanta kiri dan kanan adalah sasaran yang sama, iaitu masalah padanan.

Terdapat dua kaedah pemadanan, kaedah global dan kaedah tempatan Terdapat empat langkah untuk pemadanan binokular:

• Pengiraan kos pemadanan;<. .>
Kaedah tempatan yang paling terkenal ialah SGM (semi-global matching) Kaedah yang digunakan oleh banyak produk adalah berdasarkan peningkatan ini.
SGM menghampiri pengoptimuman global kepada gabungan berbilang masalah pengoptimuman tempatan Formula berikut ialah fungsi objektif pengoptimuman SGM yang dilaksanakan sebagai laluan pengoptimuman berbilang 1-D . Jumlah 🎜>
• Census Transform menukarkan piksel 8/24-bit kepada jujukan binari Satu lagi ciri binari yang dipanggil LBP (corak binari tempatan) adalah serupa dengannya. Algoritma padanan stereo adalah berdasarkan transformasi ini dan menukar padanan menjadi carian pengecilan jarak Hamming. RealSense Intel memperoleh syarikat permulaan visi binokular yang diasaskan pada tahun 1994 berdasarkan teknologi ini, dan juga memperoleh beberapa syarikat kecil lain dan menggabungkannya untuk menciptanya.

Rajah berikut ialah rajah skematik transformasi CS:

PatchMatch ialah algoritma yang mempercepatkan padanan templat imej , digunakan dalam pengiraan aliran optik dan anggaran ketaksamaan. Microsoft Research sebelum ini telah melakukan projek berdasarkan pembinaan semula 3-D kamera telefon mudah alih monokular, meniru KinectFusion yang berjaya sebelum ini berdasarkan algoritma RGB-D, dengan nama yang serupa dengan MonoFusion, di mana anggaran peta kedalaman menggunakan kaedah PatchMatch yang diubah suai .

Idea asasnya adalah untuk memulakan secara rawak perbezaan dan parameter satah, kemudian mengemas kini anggaran melalui penyebaran maklumat antara piksel bersebelahan. Algoritma PM dibahagikan kepada lima langkah:

1) Penyebaran spatial: Setiap piksel menyemak perbezaan dan parameter satah jiran kiri dan atas Jika kos padanan menjadi lebih kecil , Gantikan anggaran semasa;

2) Paparan perambatan: Ubah piksel paparan lain, semak anggaran imej yang sepadan dan gantikannya jika ia menjadi lebih kecil; 🎜 >

3) Penyebaran sementara: pertimbangkan anggaran piksel yang sepadan dalam bingkai sebelumnya dan seterusnya

4) Penapisan satah: jana sampel secara rawak , jika anggaran; menurunkan kos padanan, kemas kini.

5) Pemprosesan pasca: konsistensi kiri-kanan dan penapis median berwajaran untuk membuang outlier.

Gambar berikut ialah gambarajah skematik PM:

• 02 Penentukuran dalam talian
• Lagi mengenai penentukuran dalam talian.
• Ini ialah kaedah penentukuran yang menggunakan tanda jalan (lintas zebra): corak garisan selari lintasan zebra diketahui, lintasan zebra dikesan dan titik sudut diekstrak, dan corak lintasan zebra dikira untuk sepadan dengan permukaan jalan Parameter homografi digunakan untuk mendapatkan parameter penentukuran.
Kaedah lain adalah berdasarkan VO dan SLAM, yang lebih rumit, tetapi ia boleh melakukan penentududukan berasaskan peta pada masa yang sama. Menggunakan SLAM untuk penentukuran dalam talian tidak sesuai untuk operasi frekuensi tinggi Rajah berikut ialah carta alir algoritmanya: Langkah 1-4, dapatkan peta berterusan global melalui penglihatan stereo SLAM memberikan anggaran awal kamera binokular transformasi, Langkah 6 Agregat peta semua kamera stereo ke dalam satu peta; dapatkan pose antara berbilang kamera dalam langkah 7-8.

• 

  Sama seperti kaedah monokular, penentukuran dalam talian boleh diselesaikan dengan cepat menggunakan andaian bahawa garisan lorong adalah selari dan jalan adalah rata, iaitu teori titik lenyap: dengan mengandaikan Model jalan rata, garisan lorong membujur yang jelas, tiada objek lain yang mempunyai tepi selari dengannya; sudut ketinggian/gulungan (sudut yaw/gulung) kamera kiri berbanding dengan permukaan jalan Kecil dengan cara ini, berbanding dengan titik lenyap yang dimulakan (berkaitan dengan penentukuran luar talian), jumlah hanyut bagi parameter luaran teropong boleh dikira ( Rajah 5-269). Algoritma adalah untuk menganggar ketinggian kamera/sudut serong dari titik lenyap.

  

  03 Sistem pemanduan autonomi binokular biasa

  Berikut memperkenalkan beberapa sistem pemanduan autonomi binokular tipikal .

  Algoritma pengesanan halangan Stixel yang digunakan oleh Berta Benz adalah berdasarkan andaian berikut: sasaran dalam tempat kejadian digambarkan sebagai lajur, pusat graviti sasaran berdiri di atas tanah , dan bahagian atas setiap sasaran ialah Bahagian bawah mempunyai kedalaman yang besar. Angka berikut (a-d) memperkenalkan cara keputusan jurang SGM menjana hasil segmentasi Stixel:

  

  Rajah berikut ialah gambar rajah skema pengiraan Stixel: (a ) Berdasarkan dinamik Pengiraan ruang pemanduan bebas yang dirancang (b) Nilai atribut dalam pembahagian ketinggian (c) Imej kos (nilai skala kelabu terbalik) (d) Pembahagian ketinggian.

  Ini ialah gambarajah blok dan hasil baharu Stixel selepas mereka menambah pembelajaran mendalam untuk melakukan gabungan paralaks:

  

  Memperkenalkan algoritma halangan binokular awal VisLab, Sistem Pengesanan Halangan dan Lorong Generik (GOLD). Berdasarkan IPM (Pemetaan Perspektif Songsang), mengesan garis lorong dan mengira halangan di jalan raya berdasarkan perbezaan antara imej kiri dan kanan:

  

  (a) Kiri . (b) Kanan (c) Kiri dipetakan semula (d) Dipetakan semula ke kanan (e) Perbezaan ambang dan ditapis antara pandangan yang dipetakan semula.

  (a) Asli (b) Dipetakan semula (d) Dipertingkatkan.

  Seni bina sistem EMAS

  Ini adalah kenderaan VisLab yang menyertai pertandingan pemanduan autonomi VIAC (VisLab Intercontinental Autonomous Challenge). kamera binokular, terdapat juga laser pada Radar kenderaan sebagai bantuan kepada klasifikasi jalan.

  

  Ini ialah carta alir pengesanan halangan binokularnya: anggaran perbezaan menggunakan algoritma SGM dan algoritma berkaitan berdasarkan SAD.

  

  Dua penapis ruang DSI (Disparity Space Image) ditambah dalam pasca pemprosesan, lihat Rajah 5-274, satu sedang melicinkan pemprosesan, The lain ialah pemprosesan trajektori gerakan berdasarkan navigasi inersia (IMU).

  

  Algoritma pengesanan halangan menggunakan kaedah JPL, yang mengelompokkan halangan berdasarkan ciri susun atur spatial dan ciri fizikal kenderaan. Ciri-ciri fizikal termasuk ketinggian maksimum (kenderaan), ketinggian minimum (halangan) dan julat maksimum jalan yang boleh dilalui Kekangan ini menentukan kon terpenggal ruang (kon terpenggal), seperti yang ditunjukkan dalam rajah, kemudian dalam proses pengelompokan. semuanya jatuh Mata dalam kon terpenggal ditetapkan sebagai halangan.

  

  Untuk mempercepatkan algoritma anggaran ketaksamaan, kaedah membahagikan DSI diguna pakai:

  

  Kaedah klasik lain ialah mendapatkan paralaks jalan berdasarkan persamaan jalan (penglihatan stereo), dan mengira halangan di jalan raya berdasarkan ini:

  

  

  04 Ringkasan

  Secara amnya, kaedah pengesanan binokular halangan pada asasnya berdasarkan peta perbezaan , dan terdapat banyak kaedah berdasarkan paralaks jalan. Mungkin dengan perkembangan pesat pembelajaran mendalam dan peningkatan platform pengkomputeran, sistem pemanduan autonomi binokular akan menjadi lebih popular.

Atas ialah kandungan terperinci Dari perspektif teknikal, mari kita bercakap tentang mengapa sistem pemanduan autonomi binokular sukar untuk dipopularkan?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!