Realistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan

Baru-baru ini, penyelidik dari Waabi AI, University of Toronto, University of Waterloo dan MIT mencadangkan platform simulasi pencahayaan pemanduan autonomi baharu LightSim di NeurIPS 2023. Para penyelidik mencadangkan kaedah untuk menjana data latihan pencahayaan berpasangan daripada data sebenar, menyelesaikan masalah kehilangan data dan kehilangan migrasi model. LightSim menggunakan Medan Sinaran Neural (NeRF) dan rangkaian dalam berasaskan fizik untuk menghasilkan video pemanduan kenderaan, mencapai simulasi pencahayaan adegan dinamik pada data sebenar berskala besar buat kali pertama

• Tapak web projek: https: //waabi .ai/lightsim
• Pautan kertas: https://openreview.net/pdf?id=mcx8IGneYw

Mengapa simulasi pencahayaan pemanduan autonomi diperlukan?

Dalam robotik, simulasi kamera adalah sangat penting, terutamanya untuk kenderaan autonomi untuk melihat pemandangan luar. Walau bagaimanapun, sistem persepsi kamera sedia ada berprestasi buruk apabila menghadapi keadaan pencahayaan luar yang tidak terlatih. Dengan menggunakan simulasi kamera untuk menjana set data perubahan pencahayaan luar yang pelbagai, kestabilan sistem pemanduan autonomi boleh dipertingkatkan

Kaedah simulasi kamera biasa secara amnya berdasarkan enjin fizik. Kaedah ini menjadikan pemandangan dengan menetapkan model 3D dan keadaan pencahayaan. Walau bagaimanapun, kesan simulasi sering kekurangan kepelbagaian dan tidak cukup realistik. Tambahan pula, disebabkan bilangan model 3D berkualiti tinggi yang terhad, hasil pemaparan fizikal tidak betul-betul sepadan dengan adegan dunia sebenar. Ini membawa kepada keupayaan generalisasi yang lemah bagi model terlatih pada data sebenar.

Kaedah lain adalah berdasarkan kaedah simulasi dipacu data. Pendekatan ini menggunakan teknologi pemaparan saraf untuk membina semula kembar digital dunia nyata untuk mereplikasi data yang diperhatikan oleh penderia. Dengan cara ini kita boleh mencipta adegan dengan lebih fleksibiliti dan meningkatkan realisme. Walau bagaimanapun, teknologi semasa membenamkan maklumat pencahayaan pemandangan ke dalam model 3D, yang mengehadkan pengeditan kembar digital, seperti menukar keadaan pencahayaan atau menambah atau memadam objek Dalam karya di NeurIPS 2023, Penyelidik dari Waabi AI menunjukkan a sistem simulasi pencahayaan LightSim berdasarkan enjin fizik dan rangkaian saraf: Simulasi Pencahayaan Neural untuk Pemandangan Bandar

Berbeza daripada kerja sebelumnya, LightSim boleh mencapai mata berikut pada masa yang sama:

Realistik: Buat pertama kalinya, adalah mungkin untuk mensimulasikan pencahayaan pemandangan dinamik luar berskala besar, dan ia boleh mensimulasikan bayang-bayang, kesan pencahayaan antara objek dengan lebih tepat, dsb.

2. Boleh dikawal: Menyokong pengeditan adegan pemanduan dinamik (menambah, memadam objek, kedudukan kamera dan parameter, menukar pencahayaan, menjana adegan kritikal keselamatan, dll.), dengan itu menghasilkan video yang lebih realistik dan konsisten untuk dipertingkat keteguhan sistem terhadap pencahayaan dan keadaan tepi.

3. Berskala: Mudah dikembangkan kepada lebih banyak senario dan set data yang berbeza Ia hanya perlu mengumpul data sekali (laluan tunggal) untuk membina semula dan menjalankan ujian simulasi sebenar dan boleh dikawal.

Membina sistem simulasi

Stept 1: Membina perintah Digital Twin

in yang tidak dapat dipulihkan untuk mencipta adegan memandu autonomi di dunia digital, Lightsim terlebih dahulu bermula dari Data yang dikumpul dibahagikan kepada objek dinamik dan adegan statik. Langkah ini menggunakan UniSim untuk membina semula pemandangan dan mengalih keluar pergantungan paparan kamera dalam rangkaian. Kemudian gunakan kiub kawad untuk mendapatkan geometri, dan seterusnya menukarnya kepada jaringan dengan bahan asas.

Selain bahan dan geometri, LightSim juga boleh menganggarkan pencahayaan luar berdasarkan matahari dan langit, sumber cahaya utama pemandangan siang hari luar, dan mendapatkan peta persekitaran julat dinamik tinggi (HDR Sky dome). Menggunakan data penderia dan geometri yang diekstrak, LightSim boleh menganggarkan imej panorama yang tidak lengkap dan kemudian melengkapkannya untuk mendapatkan pandangan 360° penuh langit. Imej panorama dan maklumat GPS ini kemudiannya digunakan untuk menjana peta persekitaran HDR yang menganggarkan keamatan matahari, arah matahari dan rupa langit dengan tepat.

Imbasan semula: Langkah kedua ialah melakukan simulasi pencahayaan saraf bagi pemandangan bandar dinamik

boleh diubah suai lagi, jika boleh diubah suai secara digital, atau boleh diubah suai secara digital lagi objek, menukar trajektori kenderaan, atau menukar pencahayaan, dsb., untuk menjana perwakilan realiti tambahan. LightSim akan melakukan pemaparan berasaskan fizikal, menjana data berkaitan pencahayaan seperti warna asas, kedalaman, vektor biasa dan bayang-bayang untuk mengubah suai pemandangan. Menggunakan data berkaitan pencahayaan ini dan anggaran sumber pemandangan dan keadaan pencahayaan sasaran, aliran kerja LightSim adalah seperti berikut.

Walaupun imej yang dihasilkan berdasarkan fizikal pandai membina semula kesan pencahayaan dalam pemandangan, disebabkan ketidaksempurnaan dalam geometri dan ralat dalam penguraian bahan/cahaya, hasil pemaparan sering kali tidak mempunyai realisme, seperti kabur, pantulan permukaan yang tidak realistik dan artifak sempadan. Oleh itu, penyelidik mencadangkan rendering tertunda saraf untuk realisme yang dipertingkatkan. Mereka memperkenalkan rangkaian sintesis imej yang menjana imej akhir menggunakan imej sumber dalam penimbal prakiraan dan data berkaitan pencahayaan yang dijana oleh enjin pemaparan. Pada masa yang sama, kaedah dalam kertas itu juga menyediakan rangkaian dengan peta persekitaran untuk meningkatkan konteks pencahayaan, dan menjana imej berpasangan melalui kembar digital, menyediakan simulasi berpasangan novel dan skim latihan data sebenar

Keupayaan simulasi Menunjukkan . Seperti yang ditunjukkan dalam video, kedudukan matahari dan penampilan langit yang baharu menyebabkan bayang-bayang dan rupa adegan itu berubah. LightSim boleh secara automatik membatch adegan relight. Ia boleh menjana perubahan pencahayaan baharu, konsisten masa, sedar 3D daripada peta persekitaran HDR yang dianggarkan dan sebenar yang serupa dengan pemandangan asal Perwakilan boleh diedit dan arah matahari boleh diubah, sekali gus mengemas kini perubahan pencahayaan dan bayang-bayang ke arah cahaya matahari. Dengan memutarkan peta persekitaran HDR dan menghantarnya ke modul pemaparan tertunda neural, LightSim menghasilkan video berikut

LightSim juga menyokong penyuntingan kelompok bayang-bayang

Sisipan Aksara Sedar Pencahayaan

Dalam selain mengubah suai pencahayaan, LightSim juga boleh melakukan penambahan yang menyedari pencahayaan pada objek luar biasa seperti halangan seni bina. Objek tambahan ini boleh mengemas kini bayang-bayang pencahayaan objek, menutup objek dengan tepat dan menyesuaikan diri secara spatial kepada keseluruhan konfigurasi kamera.

Pemindahan Simulasi (Generalisasi kepada nuScenes)

Oleh kerana rangkaian pemaparan tertunda neural LightSim dilatih pada berbilang video pemanduan, LightSim boleh digeneralisasikan kepada adegan baharu. Video berikut menunjukkan keupayaan generalisasi LightSim untuk memandu adegan dalam nuScenes. LightSim boleh membina kembar digital peka cahaya bagi setiap adegan, yang kemudiannya digunakan pada model pemaparan tertunda saraf yang telah dilatih pada PandaSet. LightSim mempunyai prestasi migrasi yang baik dan boleh memberikan penyelesaian yang lebih mantap untuk pencahayaan semula pemandangan

Simulasi kamera sebenar dan boleh dikawal

Berdasarkan semua fungsi yang ditunjukkan di atas, LightSim mencapai simulasi kamera yang boleh dikawal, pelbagai dan realistik. Video berikut menunjukkan keupayaan simulasi adegan LightSim. Dalam video tersebut, sebuah kereta berwarna putih membuat pertukaran lorong kecemasan ke lorong SDV, memperkenalkan sekatan jalan raya baharu, yang menyebabkan kereta putih itu memasuki adegan baharu sepenuhnya Kesan yang dihasilkan oleh LightSim di bawah pelbagai keadaan pencahayaan dalam adegan baharu adalah seperti berikut : .

Dalam video di bawah, contoh baharu ditunjukkan. Halangan baru telah dimasukkan ke dalam halangan jalan yang sedia ada dan satu set kenderaan baharu telah ditambah. Dengan menggunakan LightSim untuk pencahayaan simulasi, kenderaan yang baru ditambah boleh disepadukan dengan sempurna ke dalam tempat kejadian

Ringkasan dan Pandangan

LightSim ialah platform simulasi kamera peka cahaya yang menyediakan perkhidmatan untuk memproses adegan pemanduan dinamik berskala besar. Ia boleh membina kembar digital yang menyedari pencahayaan berdasarkan data dunia sebenar dan mengubah suainya untuk mencipta adegan baharu dengan reka letak objek yang berbeza dan perspektif kenderaan autonomi. LightSim mampu mensimulasikan keadaan pencahayaan baharu, membolehkan simulasi kamera yang pelbagai, realistik dan boleh dikawal untuk menghasilkan video yang konsisten dari segi masa/ruang. Perlu diingat bahawa LightSim juga boleh digabungkan dengan pemaparan terbalik, simulasi cuaca dan teknologi lain untuk meningkatkan lagi prestasi simulasi

Atas ialah kandungan terperinci Realistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!