DifFlow3D: SOTA baharu untuk anggaran aliran pemandangan, model resapan mempunyai satu lagi kejayaan!

Tajuk asal: DifFlow3D: Menuju Anggaran Aliran Adegan Sedar Ketidakpastian Teguh dengan Penapisan Berasaskan Resapan Berulang

Pautan kertas: https://arxiv.org/pdf/2311.17456.pdf

pautan: https://github

com. ia adalah Tugas asas dalam bidang penglihatan komputer. Walau bagaimanapun, karya terdahulu sering mengalami korelasi yang tidak boleh dipercayai yang disebabkan oleh julat carian yang dikekang secara tempatan dan mengumpul ketidaktepatan dalam struktur kasar hingga halus. Untuk mengurangkan masalah ini, makalah ini mencadangkan rangkaian penganggaran aliran adegan yang menyedari ketidakpastian novel (DifFlow3D), yang menggunakan model kebarangkalian resapan. Penapisan berasaskan resapan berulang direka bentuk untuk meningkatkan keteguhan korelasi dan mempunyai kebolehsuaian yang kuat kepada situasi yang sukar (seperti dinamik, input bising, corak berulang, dll.). Untuk mengehadkan kepelbagaian penjanaan, tiga ciri berkaitan aliran utama dieksploitasi sebagai syarat dalam model penyebaran kami. Tambahan pula, kertas kerja ini membangunkan modul anggaran ketidakpastian dalam penyebaran untuk menilai kebolehpercayaan aliran pemandangan yang dianggarkan. DifFlow3D artikel ini mencapai pengurangan 6.7% dan 19.1% dalam ralat titik akhir tiga dimensi (EPE3D) pada set data FlyingThings3D dan KITTI 2015 masing-masing, dan mencapai ketepatan tahap milimeter yang belum pernah terjadi sebelumnya pada set data KITTI (0.0039 meter). Selain itu, paradigma penghalusan berasaskan resapan kami boleh disepadukan dengan mudah ke dalam rangkaian aliran pemandangan sedia ada sebagai modul pasang dan main, dengan ketara meningkatkan ketepatan anggarannya.

Sumbangan Utama:

Untuk mencapai anggaran aliran adegan yang mantap, kajian ini mencadangkan proses penghalusan berasaskan resapan pasang dan main baharu. Untuk pengetahuan terbaik kami, ini adalah kali pertama model kebarangkalian resapan telah digunakan dalam tugas aliran pemandangan.

Pengarang menggabungkan teknik seperti pembenaman aliran kasar, pengekodan geometri dan volum kos bingkai silang untuk mereka bentuk kaedah panduan bersyarat yang berkesan untuk mengawal kepelbagaian hasil yang dijana.

Untuk menilai kebolehpercayaan aliran dalam kertas ini dan mengenal pasti padanan mata yang tidak tepat, penulis juga memperkenalkan anggaran ketidakpastian bagi setiap titik dalam model resapan.

Hasil penyelidikan menunjukkan bahawa kaedah yang dicadangkan dalam artikel ini berprestasi baik pada set data FlyingThings3D dan KITTI, mengatasi kaedah sedia ada yang lain. Khususnya, DifFlow3D mencapai ralat titik akhir peringkat milimeter (EPE3D) pada set data KITTI buat kali pertama. Berbanding dengan penyelidikan terdahulu, kaedah kami lebih teguh dalam mengendalikan situasi yang mencabar, seperti input bising dan perubahan dinamik.

Reka Bentuk Rangkaian:

Sebagai tugas asas dalam penglihatan komputer, aliran pemandangan merujuk kepada anggaran medan gerakan tiga dimensi daripada imej berterusan atau awan titik. Ia menyediakan maklumat untuk persepsi tahap rendah bagi adegan dinamik dan mempunyai pelbagai aplikasi hiliran, seperti pemanduan autonomi [21], anggaran pose [9] dan segmentasi gerakan [1]. Kerja awal tertumpu pada penggunaan stereo [12] atau imej RGB-D [10] sebagai input. Dengan peningkatan populariti penderia 3D, seperti lidar, kerja baru-baru ini sering mengambil awan titik secara langsung sebagai input.

Sebagai kerja perintis, FlowNet3D[16] menggunakan PointNet++[25] untuk mengekstrak ciri hierarki, dan kemudian mengundur aliran adegan secara berulang. PointPWC [42] menambah baik lagi melalui piramid, ubah bentuk dan struktur isipadu kos [31]. HALFlow [35] mengikuti mereka dan memperkenalkan mekanisme perhatian untuk pembenaman aliran yang lebih baik. Walau bagaimanapun, kerja berasaskan regresi ini sering mengalami korelasi yang tidak boleh dipercayai dan masalah optima tempatan [17]. Terdapat dua sebab utama: (1) Dalam rangkaian mereka, K jiran terdekat (KNN) digunakan untuk mencari korespondensi titik, yang tidak mengambil kira pasangan titik yang betul tetapi jauh, dan terdapat juga bunyi yang sepadan [7] . (2) Satu lagi masalah berpotensi datang dari struktur kasar hingga halus yang digunakan secara meluas dalam kerja-kerja terdahulu [16, 35, 36, 42]. Pada asasnya, aliran awal dianggarkan pada lapisan paling kasar dan kemudian ditapis secara berulang dalam resolusi yang lebih tinggi. Walau bagaimanapun, prestasi penghalusan aliran sangat bergantung pada kebolehpercayaan aliran kasar awal, kerana penghalusan berikutnya biasanya terhad kepada tahap spatial yang kecil di sekitar permulaan.

Untuk menyelesaikan masalah tidak boleh dipercayai, 3DFlow[36] mereka bentuk modul pengumpulan mata semua-ke-semua dan menambah pengesahan terbalik. Begitu juga, Bi-PointFlowNet [4] dan sambungannya MSBRN [5] mencadangkan rangkaian dua hala dengan korelasi ke hadapan-belakang. IHNet [38] menggunakan rangkaian berulang dengan skema bootstrap dan pensampelan semula resolusi tinggi. Walau bagaimanapun, kebanyakan rangkaian ini mengalami kos pengiraan kerana korelasi dua hala atau lelaran gelung. Makalah ini mendapati bahawa model resapan juga boleh meningkatkan kebolehpercayaan korelasi dan daya tahan terhadap bunyi yang sepadan, berkat sifat denoisingnya (ditunjukkan dalam Rajah 1). Diilhamkan oleh penemuan dalam [30] bahawa menyuntik hingar rawak membantu melompat keluar dari optima tempatan, makalah ini membina semula tugas regresi aliran deterministik menggunakan model resapan kemungkinan, seperti yang ditunjukkan dalam Rajah 2. Di samping itu, kaedah kami boleh digunakan sebagai modul pasang dan main untuk menyampaikan rangkaian aliran adegan sebelumnya, yang lebih umum dan menambah hampir tiada kos pengiraan (Bahagian 4.5).

Walau bagaimanapun, memanfaatkan model generatif dalam tugasan kertas ini agak mencabar kerana kepelbagaian generatif yang wujud dalam model resapan. Tidak seperti tugas penjanaan awan titik yang memerlukan sampel keluaran yang pelbagai, ramalan aliran pemandangan ialah tugas penentu yang mengira vektor gerakan per titik yang tepat. Untuk menyelesaikan masalah ini, kertas kerja ini menggunakan maklumat bersyarat yang kukuh untuk mengehadkan kepelbagaian dan mengawal aliran yang dihasilkan dengan berkesan. Khususnya, aliran pemandangan jarang kasar mula-mula dimulakan, dan kemudian sisa aliran dijana secara berulang melalui resapan. Dalam setiap lapisan penghalusan berasaskan resapan, kami menggunakan pembenaman aliran kasar, volum kos dan pengekodan geometri sebagai syarat. Dalam kes ini, resapan digunakan untuk benar-benar mempelajari pemetaan kebarangkalian daripada input bersyarat kepada sisa aliran.

Selain itu, beberapa karya terdahulu telah meneroka keyakinan dan kebolehpercayaan anggaran aliran adegan. Walau bagaimanapun, seperti yang ditunjukkan dalam Rajah 1, padanan aliran padat terdedah kepada ralat dengan kehadiran hingar, perubahan dinamik, objek kecil dan corak berulang. Oleh itu, adalah sangat penting untuk mengetahui sama ada setiap anggaran titik koresponden boleh dipercayai. Diilhamkan oleh kejayaan anggaran ketidakpastian baru-baru ini dalam tugas aliran optik [33], kami mencadangkan ketidakpastian dari segi titik dalam model penyebaran untuk menilai kebolehpercayaan anggaran aliran pemandangan kami.

Gambar 3. Struktur keseluruhan DifFlow3D. Artikel ini mula-mula memulakan aliran pemandangan jarang kasar di lapisan bawah. Lapisan penapisan resapan berulang kemudiannya digunakan bersama dengan isyarat bersyarat berkaitan aliran untuk memulihkan sisa aliran yang lebih padat. Untuk menilai kebolehpercayaan aliran yang dianggarkan dalam kertas ini, ketidakpastian pada setiap titik juga akan diramalkan bersama dengan aliran adegan.

Gambar 2. Gambarajah skematik proses resapan yang digunakan dalam artikel ini untuk anggaran aliran pemandangan.

Gambar 4. Menggambarkan ketidakpastian. Semasa proses latihan, selang ketidakpastian yang direka dalam artikel ini secara beransur-ansur mengecut, yang menggalakkan aliran yang diramalkan untuk bergerak lebih dekat kepada nilai sebenar.

Hasil eksperimen:

Rajah 1. Perbandingan dalam situasi yang mencabar. DifFlow3D meramalkan aliran pemandangan yang menyedari ketidakpastian menggunakan model resapan yang lebih teguh untuk: (a) perubahan dinamik, (b) input bising, (c) objek kecil dan (d) ) corak berulang.

Rajah 5. Hasil visualisasi tanpa atau dengan penghalusan aliran pemandangan berasaskan penyebaran (DSFR).

Gambar 6. Tambahkan hingar Gaussian rawak pada titik input.

Gambar 7. Peranan ketidakpastian dalam proses latihan. Kertas kerja ini menggambarkan selang ketidakpastian pada peringkat latihan yang berbeza (pusingan ke-10 dan pusingan ke-100).

Ringkasan:

Kertas ini secara inovatif mencadangkan rangkaian penghalusan aliran adegan berasaskan resapan yang menyedari ketidakpastian anggaran. Kertas kerja ini menggunakan penghalusan resapan berbilang skala untuk menjana sisa aliran padat berbutir halus. Untuk meningkatkan keteguhan anggaran, kertas kerja ini juga memperkenalkan ketidakpastian dari segi titik yang dijana bersama dengan aliran pemandangan. Eksperimen yang meluas menunjukkan keunggulan dan keupayaan generalisasi DifFlow3D kami. Perlu diingat bahawa penghalusan berasaskan resapan kertas ini boleh digunakan pada kerja-kerja terdahulu sebagai modul pasang dan main dan memberikan implikasi baharu untuk penyelidikan masa depan.

Petikan:

Liu J, Wang G, Ye W, et al. DifFlow3D: Ke Arah Anggaran Aliran Adegan Ketidakpastian yang Teguh dengan Model Penyebaran[J]. arXiv pracetak arXiv:2351,.

Atas ialah kandungan terperinci DifFlow3D: SOTA baharu untuk anggaran aliran pemandangan, model resapan mempunyai satu lagi kejayaan!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!