Perenderan masa nyata: pemodelan pemandangan bandar dinamik berdasarkan Street Gaussians

Sejujurnya, kelajuan kemas kini teknologi sememangnya sangat pantas, yang juga menyebabkan beberapa kaedah lama dalam akademik digantikan dengan kaedah baru secara beransur-ansur. Baru-baru ini, pasukan penyelidik dari Universiti Zhejiang mencadangkan kaedah baharu yang dipanggil Gaussians, yang telah menarik perhatian meluas. Kaedah ini mempunyai kelebihan unik dalam menyelesaikan masalah dan telah berjaya digunakan dalam kerja. Walaupun Nerf secara beransur-ansur kehilangan pengaruh dalam akademia

Untuk membantu pemain yang belum melepasi tahap, mari kita lihat kaedah khusus untuk menyelesaikan teka-teki dalam permainan.

Untuk membantu pemain yang belum melepasi tahap, kami boleh mempelajari kaedah khusus untuk menyelesaikan teka-teki bersama-sama. Untuk melakukan ini, saya menemui kertas mengenai penyelesaian teka-teki, pautannya ada di sini: https://arxiv.org/pdf/2401.01339.pdf. Anda boleh mengetahui lebih lanjut tentang teknik penyelesaian teka-teki dengan membaca kertas ini. Semoga ini membantu pemain!

Kertas ini bertujuan untuk menyelesaikan masalah pemodelan pemandangan jalanan bandar yang dinamik daripada video monokular. Kaedah terkini telah memperluaskan NeRF untuk memasukkan pose kenderaan yang dijejaki ke dalam kenderaan bernyawa, membolehkan sintesis paparan fotorealistik bagi pemandangan jalanan bandar yang dinamik. Walau bagaimanapun, batasan ketara mereka adalah latihan perlahan dan kelajuan rendering, ditambah pula dengan keperluan mendesak untuk ketepatan tinggi dalam menjejak pose kenderaan. Makalah ini memperkenalkan Street Gaussians, perwakilan adegan eksplisit baharu yang menangani semua batasan ini. Khususnya, jalan bandar dinamik diwakili sebagai satu set awan titik yang dilengkapi dengan logit semantik dan Gaussians 3D, masing-masing dikaitkan dengan kenderaan latar depan atau latar belakang.

Untuk memodelkan dinamik kenderaan objek latar depan, setiap awan titik objek boleh dioptimumkan menggunakan pose penjejakan yang boleh dioptimumkan serta model harmonik sfera dinamik penampilan dinamik. Perwakilan eksplisit ini membolehkan sintesis mudah kenderaan dan latar belakang sasaran, serta operasi pengeditan pemandangan dan pemaparan pada 133 FPS (resolusi 1066×1600) dalam masa setengah jam latihan. Para penyelidik menilai pendekatan ini pada beberapa penanda aras yang mencabar, termasuk set data KITTI dan Waymo Open.

Hasil eksperimen menunjukkan bahawa kaedah cadangan kami secara konsisten mengatasi teknik sedia ada pada semua set data. Walaupun kami hanya bergantung pada maklumat pose daripada penjejak di luar rak, perwakilan kami memberikan prestasi yang setanding dengan yang dicapai menggunakan maklumat pose sebenar.

Untuk membantu pemain yang belum melepasi tahap itu, saya menyediakan pautan kepada anda: https://zju3dv.github.io/streetgaussians/, di mana anda boleh mencari kaedah penyelesaian teka-teki yang khusus. Boleh klik link untuk rujukan, semoga dapat membantu anda.

Pengenalan kepada kaedah Street Gaussians

Memandangkan jujukan imej yang ditangkap daripada kenderaan bergerak dalam pemandangan jalan bandar, matlamat kertas kerja ini adalah untuk membangunkan kaedah yang boleh menjana imej fotorealistik untuk sebarang langkah masa input dan mana-mana sudut pandangan. Untuk mencapai matlamat ini, perwakilan adegan baharu, bernama Street Gaussians, dicadangkan, direka khusus untuk mewakili pemandangan jalanan yang dinamik. Seperti yang ditunjukkan dalam Rajah 2, pemandangan jalan bandar yang dinamik diwakili sebagai satu set awan titik, setiap awan titik sepadan dengan latar belakang statik atau kenderaan bergerak. Perwakilan berasaskan titik eksplisit membolehkan komposisi ringkas model individu, membolehkan pemaparan masa nyata serta penguraian objek latar depan untuk aplikasi penyuntingan. Perwakilan pemandangan yang dicadangkan boleh dilatih dengan cekap menggunakan hanya imej RGB bersama-sama dengan pose kenderaan yang dijejaki daripada penjejak di luar rak, dipertingkatkan oleh strategi pengoptimuman pose kenderaan terjejak kami.

Gambaran Keseluruhan Street Gaussians Seperti yang ditunjukkan di bawah, pemandangan jalanan bandar yang dinamik diwakili sebagai satu set latar belakang berasaskan titik dan sasaran latar depan dengan pose kenderaan jejak yang dioptimumkan. Setiap titik diberikan Gaussian 3D termasuk kedudukan, kelegapan dan kovarians yang terdiri daripada putaran dan skala untuk mewakili geometri. Untuk mewakili penampilan, setiap titik latar belakang diberikan model harmonik sfera, manakala titik latar depan dikaitkan dengan model harmonik sfera dinamik. Perwakilan berasaskan titik eksplisit membolehkan gabungan mudah model berasingan, yang membolehkan pemaparan masa nyata imej berkualiti tinggi dan peta semantik (pilihan jika maklumat semantik 2D disediakan semasa latihan), serta penguraian objek latar depan untuk menyunting Aplikasi

Perbandingan Keputusan Eksperimen

Kami menjalankan eksperimen pada set data terbuka Waymo dan penanda aras KITTI. Pada set data terbuka Waymo, 6 jujukan rakaman telah dipilih, yang mengandungi sejumlah besar objek bergerak, gerakan ego yang ketara dan keadaan pencahayaan yang kompleks. Panjang semua jujukan adalah lebih kurang 100 bingkai, dan setiap 10 imej dalam jujukan dipilih sebagai bingkai ujian dan imej yang selebihnya digunakan untuk latihan. Apabila didapati bahawa kaedah garis dasar kami mempunyai kos memori yang tinggi apabila berlatih dengan imej resolusi tinggi, imej input telah dikecilkan kepada 1066×1600. Pada KITTI dan Vitural KITTI 2, tetapan MARS diikuti dan dinilai menggunakan tetapan pembahagian kereta api/ujian yang berbeza. Gunakan kotak sempadan yang dijana oleh pengesan dan penjejak pada set data Waymo dan gunakan trajektori sasaran yang disediakan secara rasmi oleh KITTI.

Bandingkan kaedah kami dengan tiga kaedah terkini.

(1) NSG mewakili latar belakang sebagai imej berbilang satah dan memodelkan objek bergerak menggunakan kod terpendam yang dipelajari untuk setiap objek dan penyahkod yang dikongsi.

(2) MARS membina graf pemandangan berdasarkan Nerfstudio.

(3) Gaussian 3D memodelkan pemandangan menggunakan set Gaussian anisotropik.

Kedua-dua NSG dan MARS dilatih dan dinilai menggunakan kotak GT, versi pelaksanaan yang berbeza dicuba di sini dan hasil terbaik untuk setiap jujukan dilaporkan. Kami juga menggantikan awan titik SfM dalam peta Gaussian 3D dengan input yang sama seperti kaedah kami untuk perbandingan yang saksama. Lihat maklumat tambahan untuk butiran.

Pautan asal: https://mp.weixin.qq.com/s/oikZWcxf4U47

Atas ialah kandungan terperinci Perenderan masa nyata: pemodelan pemandangan bandar dinamik berdasarkan Street Gaussians. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!