


Mempercepatkan pembangunan dan pengesahan kenderaan autonomi: Melihat lebih dekat pada teknologi penjanaan data sintetik DRIVE Replicator
Pada persidangan GTC yang diadakan pada bulan September, pengurus produk NVIDIA Gautham Sholingar telah memberikan pengenalan lengkap kepada perkembangan terkini NVIDIA dalam latihan senario long-tail sepanjang tahun lalu di bawah tajuk "Penjanaan Data Sintetik: Mempercepatkan Pembangunan dan Pengesahan Kendiri- Kemajuan Kenderaan Memandu" dan pengalaman yang berkaitan, khususnya meneroka cara pembangun boleh menggunakan DRIVE Replicator untuk menjana set data sintetik yang pelbagai dengan label data kebenaran tanah yang tepat untuk mempercepatkan pembangunan dan pengesahan kenderaan autonomi. Syarahan itu penuh dengan maklumat berguna dan membangkitkan perhatian dan perbincangan yang meluas dalam industri. Artikel ini merumuskan dan menyusun intipati perkongsian ini untuk membantu semua orang memahami DRIVE Replicator dengan lebih baik dan penjanaan data sintetik bagi algoritma persepsi pemanduan autonomi.
Rajah 1
Pada tahun lalu, NVIDIA telah menggunakan DRIVE Replicator untuk menjana data untuk melatih algoritma persepsi pemanduan autonomi. Kemajuan positif telah dibuat pada set data sintetik. Rajah 1 menunjukkan beberapa cabaran senario ekor panjang yang sedang diselesaikan oleh NVIDIA:
- Baris pertama, kiri, pengguna jalan raya terdedah (VRU) berhampiran kamera undur. VRU ialah kelas objek penting untuk mana-mana algoritma persepsi pemanduan autonomi. Dalam kes ini, kami menumpukan pada pengesanan kanak-kanak berhampiran kamera fisheye undur. Memandangkan pengumpulan data dan pelabelan data dalam dunia nyata agak mencabar, ini merupakan kes penggunaan keselamatan yang penting.
- Gambar tengah di baris pertama menunjukkan pengesanan kenderaan kemalangan. Algoritma persepsi pemanduan autonomi memerlukan pendedahan kepada adegan yang jarang berlaku dan tidak biasa untuk membantu menjadikan algoritma pengesanan objek boleh dipercayai. Terdapat sangat sedikit kenderaan kemalangan dalam set data dunia sebenar. DRIVE Replicator membantu melatih rangkaian sedemikian dengan membantu pembangun mencipta peristiwa yang tidak dijangka (seperti terbalik kereta) di bawah pelbagai keadaan persekitaran.
- Gambar di sebelah kanan baris pertama, pengesanan tanda trafik. Dalam kes lain, pelabelan data secara manual memakan masa dan terdedah kepada ralat. DRIVE Replicator membantu pembangun menjana set data beratus-ratus tanda lalu lintas dan lampu isyarat dalam pelbagai keadaan persekitaran dan melatih rangkaian dengan pantas untuk menyelesaikan pelbagai masalah dunia sebenar.
- Akhir sekali, terdapat banyak objek yang tidak biasa dalam persekitaran bandar, seperti alat peraga lalu lintas tertentu dan jenis kenderaan tertentu. DRIVE Replicator membantu pembangun meningkatkan kekerapan objek jarang ini dalam set data dan membantu menambah pengumpulan data dunia sebenar dengan data sintetik yang disasarkan.
Fungsi di atas sedang dilaksanakan melalui NVIDIA DRIVE Replicator.
Fahami DRIVE Replicator dan ekosistem yang berkaitan
DRIVE Replicator ialah sebahagian daripada DRIVE Sim tool suite dan boleh digunakan untuk simulasi pemanduan autonomi.
DRIVE Sim ialah simulator kereta pandu sendiri terkemuka NVIDIA yang dibina pada Omniverse, yang boleh menjalankan simulasi sensor tepat secara fizikal pada skala besar. Pembangun boleh menjalankan simulasi boleh berulang pada stesen kerja dan kemudian skala kepada mod kelompok dalam pusat data atau awan. DRIVE Sim ialah platform modular yang dibina pada piawaian terbuka yang berkuasa seperti USD, yang membolehkan pengguna memperkenalkan fungsi mereka sendiri melalui sambungan Omniverse.
DRIVE Sim termasuk berbilang aplikasi seperti DRIVE Replicator. DRIVE Replicator terutamanya menyediakan satu siri fungsi yang tertumpu pada penjanaan data sintetik untuk latihan dan pengesahan algoritma kenderaan autonomi. DRIVE Sim dan DRIVE Constellation juga menyokong simulasi pemanduan autonomi tindanan penuh pada semua peringkat, termasuk perisian-dalam-gelung, perkakasan-dalam-gelung dan ujian simulasi dalam-gelung lain (model, tumbuhan, manusia, dan banyak lagi).
Perbezaan antara DRIVE Sim dan alat simulasi pemanduan autonomi tradisional ialah apabila mencipta set data sintetik, alatan simulasi pemanduan autonomi tradisional sering digabungkan dengan enjin permainan profesional untuk memulihkan adegan yang cukup realistik. Walau bagaimanapun, untuk simulasi pemanduan autonomi, ini masih jauh daripada mencukupi, dan keperluan teras termasuk ketepatan fizikal, kebolehulangan dan skala perlu ditangani.
Rajah 2
Sebelum memperkenalkan DRIVE Replicator lagi, izinkan saya memperkenalkan beberapa konsep yang berkaitan (Terutamanya Omniverse, to bantu semua orang lebih memahami sokongan teknikal asas yang berkaitan dengan DRIVE Replicator.
Mula-mula, pelajari tentang Omniverse, enjin NVIDIA untuk simulasi berskala besar. Omniverse dibina pada USD (Universal Scene Description, bahasa universal yang boleh diperluaskan untuk menerangkan dunia maya) yang dibangunkan oleh Pixar. USD ialah satu sumber data nilai kebenaran untuk keseluruhan simulasi dan semua aspek simulasi (termasuk penderia, persekitaran 3D ini yang dibina sepenuhnya melalui USD membolehkan pembangun mempunyai akses hierarki kepada setiap elemen dalam simulasi, dan menjana pelbagai). data untuk penjanaan seterusnya meletakkan asas bagi set data sintetik khusus.
Kedua, Omniverse menyediakan kesan pengesanan sinar masa nyata untuk menyokong penderia dalam DRIVE Sim. RTX ialah salah satu kemajuan penting NVIDIA dalam grafik pengiraan, memanfaatkan API pengesanan sinar yang dioptimumkan yang memfokuskan pada ketepatan fizikal untuk memastikan tingkah laku kompleks kamera, lidar, radar gelombang milimeter dan penderia ultrasonik seperti berbilang Refleksi, kesan berbilang laluan, pengatup bergolek dan herotan kanta) dimodelkan secara asli.
Ketiga, NVIDIA Omniverse ialah platform terbuka mudah berskala yang direka untuk kerjasama maya dan simulasi masa nyata yang tepat secara fizikal Ia boleh menjalankan aliran kerja dalam awan atau pusat data dan mencapai pemaparan dan data berbilang GPU generasi.
Keempat, Omniverse dan DRIVE Sim menggunakan reka bentuk terbuka dan modular, dan ekosistem rakan kongsi yang besar telah dibentuk di sekitar platform ini. Rakan kongsi ini boleh menyediakan bahan 3D, penderia, model kenderaan dan trafik, alat pengesahan, dsb.
Kelima, teras kerjasama Omniverse ialah Nucleus mempunyai storan data dan fungsi kawalan akses, dan ia boleh berfungsi sebagai a bahagian belakang untuk berbilang pengguna repositori kandungan berpusat dengan DRIVE Sim untuk memisahkan masa jalan daripada kandungan, menambah baik kawalan versi dan mencipta satu titik rujukan untuk semua rakaman, adegan dan metadata.
DRIVE Sim ialah platform NVIDIA menggunakan pendekatan kerjasama ekologi untuk membina platform, membolehkan rakan kongsi menyumbang kepada platform universal ini. Pada masa ini, DRIVE Sim telah mewujudkan ekosistem rakan kongsi yang besar, meliputi aset 3D, model penderia alam sekitar, pengesahan dan bidang lain. Dengan SDK Sim DRIVE, rakan kongsi boleh memperkenalkan model penderia, trafik dan dinamik kenderaan mereka sendiri dengan mudah serta memanjangkan keupayaan simulasi teras mereka. Pembangun bukan sahaja boleh menulis sambungan dalam Omniverse dan menambahkan ciri baharu dengan mudah, tetapi juga menikmati faedah membangunkan pada platform yang sama - Omniverse telah menghubungkan beberapa rakan kongsi utama yang menyediakan kerja penting yang berkaitan dengan aliran pembangunan pemanduan autonomi.
Cara menggunakan DRIVE Replicator untuk menjana set data sintetik dan data kebenaran tanah
Seterusnya, saya akan menerangkan bagaimana kandungan di atas digabungkan dan lima tugas utama DRIVE Replicator untuk menjana data sintetik. Langkah (Rajah 3): Kandungan - DRIVE Sim Runtime - Sensing - Randomization - Data Writers.
Rajah 3
Langkah pertama dalam proses simulasi ialah kandungan dan bahan 3D yang disimpan pada pelayan Nukleus. Aset ini diserahkan kepada DRIVE Sim Runtime, teknologi teras untuk melaksanakan senario, model trafik, dinamik kenderaan dan tingkah laku. DRIVE Sim Runtime boleh digunakan dengan kamera berasaskan pengesanan sinar RTX, lidar, radar gelombang milimeter dan teknologi persepsi daripada USS. Langkah seterusnya ialah memperkenalkan kepelbagaian ke dalam data melalui rawak pergerakan, tingkah laku, pencahayaan, dan rupa. Untuk simulasi gelung tertutup, langkah seterusnya ialah menyambungkan simulasi kepada timbunan pemanduan autonomi melalui I/O kenderaan, yang biasanya terdiri daripada protokol sensor, mesej CAN dan ECU maya (yang menghantar maklumat penting kepada timbunan pemanduan autonomi kepada tutup gelung).
Untuk penjanaan data sintetik, ini ialah proses gelung terbuka yang menghantar data penderia rawak kepada penulis data, dan penulis data ini boleh mengeluarkan output untuk melatih persepsi pemanduan autonomi Label kebenaran algoritma. Langkah di atas mewakili aliran kerja lengkap untuk penjanaan data sintetik.
- Kandungan (kandungan)
Seperti yang dinyatakan di atas, langkah pertama dalam proses simulasi ialah kandungan dan bahan 3D yang disimpan pada pelayan Nukleus . Dari manakah kandungan ini berasal? Bagaimana untuk mendapatkannya? Apakah piawaian atau keperluan?
Sejak beberapa tahun lalu, NVIDIA telah bekerjasama dengan berbilang rakan kongsi kandungan untuk membina ekosistem penyedia aset 3D yang luas, termasuk kenderaan, prop, pejalan kaki, tumbuh-tumbuhan dan persekitaran 3D, sedia untuk digunakan dalam DRIVE Sim yang digunakan dalam .
Satu perkara yang perlu diambil perhatian ialah walaupun anda memperoleh aset ini daripada pasaran, ini tidak bermakna anda boleh memulakan kerja simulasi Anda juga perlu menyediakan aset ini untuk simulasi, dan ini adalah tempat Berguna SimReady .
Satu bahagian penting pengembangan adalah bekerjasama dengan penyedia aset 3D dan menyediakan mereka dengan alatan yang mereka perlukan untuk memastikan konvensyen tertentu dipatuhi apabila membawa aset ke dalam DRIVE Sim, penamaan, rigging aset, label Semantik dan sifat fizikal.
SimReady Studio membantu penyedia kandungan menukar aset sedia ada mereka kepada aset USD sedia simulasi yang boleh dimuatkan ke DRIVE Sim, termasuk persekitaran 3D, aset dinamik dan prop statik.
Jadi, apakah itu SimReady? Anda boleh menganggapnya sebagai penukar yang membantu memastikan aset 3D dalam DRIVE Sim dan Replicator bersedia untuk menyokong aliran kerja simulasi hujung ke hujung. SimReady mempunyai beberapa elemen utama, termasuk:
- Setiap aset mesti mengikut satu set konvensyen berkenaan orientasi, penamaan, geometri, dll. untuk memastikan ketekalan
- Teg semantik dan baik-; ontologi yang ditakrifkan untuk menganotasi setiap elemen aset. Ini penting untuk menjana label kebenaran asas untuk persepsi;
- menyokong fizik badan tegar dan dinamik untuk menjadikan set data yang dijana kelihatan realistik dan merapatkan jurang antara simulasi dan realiti dari perspektif kinematik; Langkah seterusnya ialah memastikan aset mengikut bahan tertentu dan konvensyen penamaan untuk memastikan aset sedia untuk pengesanan sinar RTX dan menghasilkan tindak balas yang realistik kepada penderia aktif seperti lidar, radar gelombang milimeter dan penderia ultrasonik
- Satu lagi perkara biasa; aspek sedang memasang aset 3D untuk mendayakan perubahan pencahayaan, penggerakan pintu, operasi berjalan pejalan kaki, dsb.
- Bahagian terakhir ialah pengoptimuman prestasi untuk simulasi sensor kesetiaan tinggi masa nyata.
- Berdasarkan pemahaman di atas, mari kita lihat proses penggunaan SimReady studio untuk mendapatkan aset yang boleh digunakan dalam DRIVE Sim.
Anggapkan bahawa proses bermula dengan membeli aset daripada pasaran 3D. Langkah pertama ialah mengimport aset ini ke dalam SimReady Studio. Ini juga boleh dilakukan secara pukal, atau secara kelompok mengimport berbilang aset untuk melengkapkan langkah ini.
Selepas mengimport, nama material aset kandungan ini akan dikemas kini dan sifat materialnya juga akan dikemas kini untuk memasukkan sifat seperti pemantulan dan kekasaran.
Ini penting untuk memastikan kualiti data pemaparan yang realistik secara fizikal dan untuk memastikan sistem bahan berinteraksi dengan semua jenis penderia RTX, bukan hanya yang beroperasi dalam spektrum yang boleh dilihat.
Langkah seterusnya melibatkan pengemaskinian teg dan teg semantik. Mengapa langkah ini penting? Mempunyai label yang betul bermakna data yang dijana menggunakan aset boleh digunakan untuk melatih algoritma AV. Selain itu, DRIVE Sim dan Omniverse menggunakan Nukleus sebagai repositori aset pusat. Terdapat beribu-ribu aset kandungan pada Nucleus dan mempunyai teg yang boleh dicari dengan lakaran kecil yang berkaitan akan membantu pengguna baharu mencari aset dengan lebih mudah.
Seterusnya, mula tentukan isipadu perlanggaran dan geometri objek dan perhatikan bagaimana aset kandungan ini berkelakuan dari perspektif fizikal. Sifat fizikal dan jisim objek kemudiannya diubah suai untuk mencipta tingkah laku yang diingini.
Langkah terakhir dalam keseluruhan proses adalah untuk mengesahkan aset untuk memastikan aset kandungan ini mematuhi konvensyen yang betul. Aset USD sedia simulasi kini boleh disimpan dan diimport semula ke NVIDIA Omniverse dan DRIVE Sim. Kelebihan terbesar membina adegan melalui USD ialah semua metadata yang dibuat dalam langkah sebelumnya dipindahkan dengan aset akhir dan dipautkan secara hierarki kepada USD objek utama, meletakkan asas untuk penjanaan set data sintetik pelbagai yang seterusnya.
Berbalik kepada penciptaan kandungan simulasi kereta pandu sendiri, biasanya terdapat beberapa cara untuk mencipta persekitaran daripada peta data (lihat Rajah 4). Satu pilihan ialah menggunakan alat Roadrunner MathWorks untuk mencipta persekitaran 3D pada peta NVIDIA DRIVE terbuka (platform peta pelbagai mod). Output langkah ini kemudiannya dipindahkan ke SimReady Studio, bersama-sama dengan maklumat peta semantik, pemasaan isyarat, dsb., dan persekitaran 3D ditukar kepada aset USD yang boleh dimuatkan ke DRIVE Sim.
Pilihan lain, gunakan data peta voxel daripada armada autonomi dan ekstrak maklumat peta semantik seperti lorong, papan tanda jalan dan metadata lain. Maklumat ini dicipta melalui kembar digital, menghasilkan aset USD yang boleh dimuatkan ke DRIVE Sim.
Dua jenis persekitaran USD di atas akan digunakan untuk menyokong ujian simulasi hujung ke hujung (E2E) kenderaan autonomi dan aliran kerja penjanaan data sintetik.
- DRIVE Sim Runtime
- Seterusnya, saya akan memperkenalkan langkah kedua simulasi - DRIVE Sim Runtime, yang meletakkan asas untuk pembangunan kami dalam DRIVE Replicator Asas untuk semua ciri dalam .
DRIVE Sim Runtime ialah komponen terbuka, modular dan boleh dipanjangkan. Apakah maksud ini dalam amalan (lihat Rajah 5)?
Pertama, ia dibina pada adegan, di mana pembangun boleh menentukan kedudukan, pergerakan dan interaksi objek tertentu dalam adegan. Senario ini boleh ditakrifkan dalam Python atau menggunakan UI editor senario dan disimpan untuk kegunaan kemudian.
Kedua, ia menyokong penyepaduan dengan pakej dinamik kenderaan tersuai melalui DRIVE Sim SDK, sama ada sebagai langkah dalam proses atau sebagai simulasi bersama dengan DRIVE Sim 2.0.
Ketiga, model trafik. DRIVE Sim mempunyai antara muka model kenderaan yang kaya, dan dengan bantuan Runtime, pembangun boleh memperkenalkan dinamik kenderaan mereka sendiri atau mengkonfigurasi model trafik berasaskan peraturan sedia ada.
Keempat, sistem tindakan, yang mengandungi perpustakaan yang kaya dengan tindakan pratakrif (seperti perubahan lorong), pencetus masa yang boleh digunakan untuk mencipta adegan di mana objek berbeza berinteraksi antara satu sama lain, dsb.
Rajah 5
Mari kita semak secara ringkas kandungan sebelumnya di sini: langkah pertama proses simulasi, selepas penukaran SimReady, simulasi Kandungan dan aset 3D sedia disimpan pada pelayan Nukleus. Dalam langkah kedua, bahan-bahan ini dihantar ke DRIVE Sim Runtime, yang merupakan teknologi teras untuk melaksanakan senario, model trafik, dinamik dan gelagat kenderaan, meletakkan asas untuk semua fungsi berikutnya untuk menjana set data sintetik.
- Penderiaan
Sebelum menjana data, penderia perlu digunakan untuk menyediakan kenderaan ujian sasaran. Menggunakan alat Ego Configurator, pembangun boleh memilih kenderaan tertentu dan menambahkannya ke tempat kejadian.
Selain itu, pembangun juga boleh menggerakkan kenderaan di tempat kejadian dan menambah penderia pada kenderaan. Alat konfigurator Ego menyokong penderia universal dan Hyperion 8.
Selepas menambah penderia pada kenderaan, pembangun juga boleh menukar parameter seperti FOV, resolusi, nama penderia dan mengkonfigurasi lokasi penderia pada kenderaan secara intuitif.
Pengguna juga boleh melihat pratonton daripada POV sensor dan menggambarkan medan pandangan dalam persekitaran 3D sebelum mencipta senario penjanaan data.
Alat ini boleh membantu pembangun dengan cepat membuat prototaip konfigurasi berbeza dan memvisualisasikan liputan yang dicapai dengan mengesan tugasan.
- Randomization (domain rawak)
Sekarang mari kita perkenalkan secara ringkas langkah keempat proses simulasi, rawak domain, cara lulus gerakan dan tingkah laku , rawak pencahayaan dan rupa untuk memperkenalkan kepelbagaian ke dalam data.
Ini melibatkan cara lain untuk mencipta pemandangan, menggunakan Python. API Python DRIVE Replicator membolehkan pembangun menanyakan Peta DRIVE NVIDIA terbuka dan meletakkan julat aset statik dan dinamik dalam cara yang menyedari konteks. Sesetengah rawak akan menumpukan pada cara teleport kenderaan autonomi dari satu titik ke titik seterusnya, cara menjana objek di sekeliling kenderaan autonomi dan menjana set data sintetik yang berbeza daripada ini. Operasi yang terdengar rumit ini mudah dicapai kerana pengguna mempunyai kawalan langsung ke atas pemandangan USD dan semua objek dalam persekitaran itu.
Satu lagi langkah penting semasa mencipta set data sintetik untuk latihan ialah keupayaan untuk memperkenalkan perubahan dalam penampilan pemandangan 3D. Fungsi berkuasa USD juga dinyatakan di atas Sebagai contoh, senario yang dibina melalui USD membolehkan pembangun mempunyai akses hierarki kepada setiap elemen dalam simulasi. API SimReady menggunakan USD untuk menyediakan ciri dalam adegan dengan cepat.
Mari kita lihat contoh (lihat Rajah 6): permukaan jalan sedikit basah, tetapi apabila kita menetapkan parameter yang berbeza, tahap kebasahan permukaan jalan akan berubah. Kami boleh membuat perubahan yang serupa pada aspek seperti azimut suria dan ketinggian suria untuk menghasilkan set data realistik di bawah pelbagai keadaan persekitaran.
Satu lagi sorotan ialah keupayaan untuk mendayakan perubahan pencahayaan dan penampilan, yang kesemuanya tersedia melalui API SimReady dan USD.
Rajah 6
Kelebihan utama DRIVE Sim ialah aliran kerja penderia RTX, yang menyokong pelbagai penderia (lihat Rajah 7 ), termasuk model universal dan luar biasa untuk kamera, lidar, radar konvensional dan USS. Selain itu, DRIVE Sim menawarkan sokongan penuh untuk suite sensor NVIDIA DRIVE Hyperion, yang membolehkan pengguna memulakan kerja pembangunan dan pengesahan algoritma dalam persekitaran maya.
Selain itu, DRIVE Sim mempunyai SDK yang berkuasa dan serba boleh yang membolehkan rakan kongsi menggunakan API pengesanan sinar NVIDIA untuk melaksanakan model penderia yang kompleks sambil melindungi IP dan algoritma proprietari mereka. Ekosistem ini telah berkembang selama bertahun-tahun, dan NVIDIA bekerjasama dengan rakan kongsi untuk membawa jenis penderia baharu, seperti radar pengimejan, lidar FMCW dan banyak lagi, ke dalam DRIVE Sim.
Rajah 7
- Penulis Data
Sekarang , tumpuan beralih kepada menjana data kebenaran asas dan cara untuk menggambarkan maklumat ini. Ini melibatkan langkah terakhir dalam proses simulasi, penulis data. Dalam proses ini, data penderia rawak dihantar kepada penulis data, yang mengeluarkan label kebenaran tanah yang digunakan untuk melatih algoritma persepsi pemanduan autonomi.
Penulis data ialah skrip Python yang digunakan untuk menjana label kebenaran asas yang diperlukan untuk melatih algoritma persepsi pemanduan autonomi.
NVIDIA DRIVE Replicator didatangkan dengan penulis templat seperti Penulis Asas dan Penulis KITTI.
Antaranya, penulis asas merangkumi pelbagai jenis label data dunia nyata, termasuk kelas objek, kotak sempadan yang ketat dan longgar dalam 2D dan 3D, topeng semantik dan contoh, output kedalaman, oklusi, normal dan lebih.
Begitu juga, terdapat penulis lidar/radar biasa yang boleh digunakan untuk mengeksport data awan titik laser ke tatasusunan numpy, atau kepada mana-mana format tersuai yang berkaitan bersama-sama dengan kotak sempadan, semantik dan label objek .
Penulis ini menyediakan contoh untuk pembangun untuk mengkonfigurasi penulis mereka sendiri berdasarkan format penanda tersuai dan melanjutkan usaha penjanaan data mereka.
Akhir sekali, saya ingin memperkenalkan kepada anda satu perisian yang menarik, Replicator Insight yang dicipta oleh pasukan Omniverse.
Replicator Insight ialah aplikasi kendiri yang dibina pada Kit Omniverse yang boleh digunakan untuk memeriksa set data sintetik yang diberikan dan menindih pelbagai label kebenaran tanah untuk latihan.
Replicator Insight menyokong semua kes penggunaan penjanaan data sintetik, termasuk DRIVE, Isaac dan Omniverse Replicator.
Mari kita lihat contoh (lihat Rajah 8): pengguna boleh memuatkan data yang dijana oleh DRIVE Replicator dalam alat visualisasi ini dan menghidupkan serta mematikan label kebenaran yang berbeza untuk kategori objek yang berbeza dalam tempat kejadian.
Rajah 8
Dengan alat visualisasi ini, pengguna boleh memainkan video, menyisir set data dan juga melihat kedalaman dan data RGB dan bandingkan antara pandangan yang berbeza.
Pengguna juga boleh menukar parameter seperti kadar bingkai main balik dan julat kedalaman, atau memvisualisasikan set data dengan cepat sebelum latihan kereta pandu sendiri.
Ini akan membantu pembangun memahami dengan mudah jenis label kebenaran baharu dan menghuraikan set data yang kompleks.
Secara keseluruhannya, ini ialah alat berkuasa yang membolehkan pengguna memperoleh cerapan baharu setiap kali mereka melihat data, sama ada data sebenar atau sintetik.
Ringkasan
Di atas meringkaskan perkembangan terkini DRIVE Replicator pada tahun lalu dan berkongsi cara pembangun boleh menggunakan DRIVE Replicator untuk menjana pelbagai set data sintetik dan tag data kebenaran tanah yang tepat untuk mempercepatkan pembangunan dan pengesahan kenderaan autonomi. NVIDIA telah mencapai kemajuan yang memberangsangkan dalam menjana set data penderia berkualiti tinggi untuk pelbagai kes penggunaan dunia sebenar, dan kami tidak sabar-sabar untuk komunikasi selanjutnya dengan anda!
Atas ialah kandungan terperinci Mempercepatkan pembangunan dan pengesahan kenderaan autonomi: Melihat lebih dekat pada teknologi penjanaan data sintetik DRIVE Replicator. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Semalam semasa temu bual, saya telah ditanya sama ada saya telah membuat sebarang soalan berkaitan ekor panjang, jadi saya fikir saya akan memberikan ringkasan ringkas. Masalah ekor panjang pemanduan autonomi merujuk kepada kes tepi dalam kenderaan autonomi, iaitu, kemungkinan senario dengan kebarangkalian yang rendah untuk berlaku. Masalah ekor panjang yang dirasakan adalah salah satu sebab utama yang kini mengehadkan domain reka bentuk pengendalian kenderaan autonomi pintar satu kenderaan. Seni bina asas dan kebanyakan isu teknikal pemanduan autonomi telah diselesaikan, dan baki 5% masalah ekor panjang secara beransur-ansur menjadi kunci untuk menyekat pembangunan pemanduan autonomi. Masalah ini termasuk pelbagai senario yang berpecah-belah, situasi yang melampau dan tingkah laku manusia yang tidak dapat diramalkan. "Ekor panjang" senario tepi dalam pemanduan autonomi merujuk kepada kes tepi dalam kenderaan autonomi (AVs) kes Edge adalah senario yang mungkin dengan kebarangkalian yang rendah untuk berlaku. kejadian yang jarang berlaku ini

Ditulis di atas & pemahaman peribadi penulis: Pada masa ini, dalam keseluruhan sistem pemanduan autonomi, modul persepsi memainkan peranan penting Hanya selepas kenderaan pemanduan autonomi yang memandu di jalan raya memperoleh keputusan persepsi yang tepat melalui modul persepsi boleh Peraturan hiliran dan. modul kawalan dalam sistem pemanduan autonomi membuat pertimbangan dan keputusan tingkah laku yang tepat pada masanya dan betul. Pada masa ini, kereta dengan fungsi pemanduan autonomi biasanya dilengkapi dengan pelbagai penderia maklumat data termasuk penderia kamera pandangan sekeliling, penderia lidar dan penderia radar gelombang milimeter untuk mengumpul maklumat dalam modaliti yang berbeza untuk mencapai tugas persepsi yang tepat. Algoritma persepsi BEV berdasarkan penglihatan tulen digemari oleh industri kerana kos perkakasannya yang rendah dan penggunaan mudah, dan hasil keluarannya boleh digunakan dengan mudah untuk pelbagai tugas hiliran.

Ramalan trajektori memainkan peranan penting dalam pemanduan autonomi Ramalan trajektori pemanduan autonomi merujuk kepada meramalkan trajektori pemanduan masa hadapan kenderaan dengan menganalisis pelbagai data semasa proses pemanduan kenderaan. Sebagai modul teras pemanduan autonomi, kualiti ramalan trajektori adalah penting untuk kawalan perancangan hiliran. Tugas ramalan trajektori mempunyai timbunan teknologi yang kaya dan memerlukan kebiasaan dengan persepsi dinamik/statik pemanduan autonomi, peta ketepatan tinggi, garisan lorong, kemahiran seni bina rangkaian saraf (CNN&GNN&Transformer), dll. Sangat sukar untuk bermula! Ramai peminat berharap untuk memulakan ramalan trajektori secepat mungkin dan mengelakkan perangkap Hari ini saya akan mengambil kira beberapa masalah biasa dan kaedah pembelajaran pengenalan untuk ramalan trajektori! Pengetahuan berkaitan pengenalan 1. Adakah kertas pratonton teratur? A: Tengok survey dulu, hlm

Cabaran biasa yang dihadapi oleh algoritma pembelajaran mesin dalam C++ termasuk pengurusan memori, multi-threading, pengoptimuman prestasi dan kebolehselenggaraan. Penyelesaian termasuk menggunakan penunjuk pintar, perpustakaan benang moden, arahan SIMD dan perpustakaan pihak ketiga, serta mengikuti garis panduan gaya pengekodan dan menggunakan alat automasi. Kes praktikal menunjukkan cara menggunakan perpustakaan Eigen untuk melaksanakan algoritma regresi linear, mengurus memori dengan berkesan dan menggunakan operasi matriks berprestasi tinggi.

Ditulis di hadapan & titik permulaan Paradigma hujung ke hujung menggunakan rangka kerja bersatu untuk mencapai pelbagai tugas dalam sistem pemanduan autonomi. Walaupun kesederhanaan dan kejelasan paradigma ini, prestasi kaedah pemanduan autonomi hujung ke hujung pada subtugas masih jauh ketinggalan berbanding kaedah tugasan tunggal. Pada masa yang sama, ciri pandangan mata burung (BEV) padat yang digunakan secara meluas dalam kaedah hujung ke hujung sebelum ini menyukarkan untuk membuat skala kepada lebih banyak modaliti atau tugasan. Paradigma pemanduan autonomi hujung ke hujung (SparseAD) tertumpu carian jarang dicadangkan di sini, di mana carian jarang mewakili sepenuhnya keseluruhan senario pemanduan, termasuk ruang, masa dan tugas, tanpa sebarang perwakilan BEV yang padat. Khususnya, seni bina jarang bersatu direka bentuk untuk kesedaran tugas termasuk pengesanan, penjejakan dan pemetaan dalam talian. Di samping itu, berat

Pada bulan lalu, atas sebab-sebab yang diketahui umum, saya telah mengadakan pertukaran yang sangat intensif dengan pelbagai guru dan rakan sekelas dalam industri. Topik yang tidak dapat dielakkan dalam pertukaran secara semula jadi adalah hujung ke hujung dan Tesla FSDV12 yang popular. Saya ingin mengambil kesempatan ini untuk menyelesaikan beberapa buah fikiran dan pendapat saya pada masa ini untuk rujukan dan perbincangan anda. Bagaimana untuk mentakrifkan sistem pemanduan autonomi hujung ke hujung, dan apakah masalah yang sepatutnya dijangka diselesaikan hujung ke hujung? Menurut definisi yang paling tradisional, sistem hujung ke hujung merujuk kepada sistem yang memasukkan maklumat mentah daripada penderia dan secara langsung mengeluarkan pembolehubah yang membimbangkan tugas. Sebagai contoh, dalam pengecaman imej, CNN boleh dipanggil hujung-ke-hujung berbanding kaedah pengekstrak ciri + pengelas tradisional. Dalam tugas pemanduan autonomi, masukkan data daripada pelbagai penderia (kamera/LiDAR

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

Lapisan bawah fungsi C++ sort menggunakan isihan gabungan, kerumitannya ialah O(nlogn), dan menyediakan pilihan algoritma pengisihan yang berbeza, termasuk isihan pantas, isihan timbunan dan isihan stabil.
