


Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat!
0. Apa guna artikel ini?
Cadangan DepthFM: Model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens.
Mari kita baca karya ini bersama-sama~
1. Maklumat kertas
Tajuk: DepthFM: Anggaran Kedalaman Monokular Pantas dengan Padanan Aliran
Pengarang: Ming Gui, Johannes S. Fischering, P. Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer
Institusi: MCML
Pautan asal: https://arxiv.org/abs/2403.13788
Pautan kod: https://github.com/ CompVis -fm
Laman utama rasmi: https://depthfm.github.io/
2 Abstrak
adalah penting untuk banyak tugas dan aplikasi persiaran hiliran. Kaedah diskriminatif semasa untuk masalah ini dihadkan oleh artifak kabur, manakala kaedah generatif tercanggih mengalami kelajuan sampel latihan yang perlahan kerana sifat SDE mereka. Daripada bermula dengan hingar, kami mencari pemetaan terus daripada imej input kepada imej kedalaman. Kami melihat bahawa ini boleh dibina dengan cekap melalui pemadanan aliran, kerana trajektori lurusnya dalam ruang penyelesaian memberikan kecekapan dan kualiti yang tinggi. Kajian kami menunjukkan bahawa model resapan imej yang telah terlatih boleh digunakan sebagai pengetahuan sedia ada yang mencukupi untuk model padanan aliran yang mendalam. Pada penanda aras pemandangan semula jadi yang kompleks, pendekatan ringan kami menunjukkan prestasi tercanggih pada kos pengiraan yang sangat rendah walaupun dilatih hanya pada sejumlah kecil data sintetik.
3. Demonstrasi kesan
DepthFM ialah model pemadanan aliran inferens pantas dengan keupayaan generalisasi tangkapan sifar yang kuat, yang boleh menggunakan pengetahuan sedia ada yang kukuh dan mudah digeneralisasikan kepada imej sebenar yang tidak diketahui. Selepas latihan mengenai data sintetik, model ini membuat generalisasi dengan baik kepada imej sebenar yang tidak diketahui dan memadankan imej kedalaman dengan tepat.
Berbanding model tercanggih yang lain, DepthFM memperoleh imej yang lebih jelas dengan hanya satu penilaian fungsi. Anggaran kedalaman Marigold mengambil masa dua kali lebih lama daripada DethFM, tetapi ia tidak dapat menjana peta kedalaman dengan butiran yang sama.
4. Sumbangan utama
(1) Cadangan DepthFM, model anggaran kedalaman monokular yang tercanggih, serba boleh dan pantas. Selain tugasan anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugasan hiliran seperti pengecatan dalam kedalaman dan sintesis imej berhawa dingin.
(2) menunjukkan kejayaan pemindahan imej terdahulu yang kukuh daripada model penyebaran kepada model padanan aliran dengan sedikit pergantungan pada data latihan dan tidak memerlukan imej dunia sebenar.
(3) menunjukkan bahawa model pemadanan aliran adalah cekap dan boleh mensintesis peta kedalaman dalam satu langkah inferens.
(4) Walaupun dilatih hanya pada data sintetik, DepthFM berprestasi baik pada set data penanda aras dan imej semula jadi.
(5) Gunakan kehilangan normal permukaan sebagai sasaran tambahan untuk mendapatkan anggaran kedalaman yang lebih tepat.
(6) Selain anggaran kedalaman, keyakinan ramalannya juga boleh diramalkan dengan pasti.
5. Apakah prinsip khusus?
Saluran Paip Latihan. Latihan dihadkan oleh pemadanan aliran dan kehilangan normal permukaan: untuk pemadanan aliran, pemadanan aliran bergantung data digunakan untuk mengundur medan vektor antara kedalaman kebenaran tanah dan imej yang sepadan. Selain itu, realisme geometri dicapai melalui kehilangan normal permukaan.
Padanan aliran berkaitan data: DepthFM mengundur medan vektor garis lurus antara taburan imej dan taburan kedalaman dengan menggunakan pasangan imej ke kedalaman. Pendekatan ini menggalakkan penaakulan beberapa langkah yang cekap tanpa mengorbankan prestasi.
Penalaan halus daripada Diffusion Priors: Pengarang menunjukkan kejayaan pemindahan prior imej yang berkuasa daripada model resapan sintesis imej asas (Stable Diffusion v2-1) kepada model padanan aliran dengan sedikit pergantungan pada data latihan dan tidak memerlukan penggunaan sebenar -Imej dunia.
Kehilangan normal permukaan tambahan: Memandangkan DepthFM hanya dilatih pada data sintetik, dan kebanyakan set data sintetik menyediakan normal permukaan kebenaran tanah, kehilangan normal permukaan digunakan sebagai sasaran tambahan untuk meningkatkan ketepatan anggaran kedalaman DepthFM.
6. Keputusan percubaan
DepthFM menunjukkan keupayaan generalisasi yang ketara dengan melatih hanya 63k sampel sintetik semata-mata, dan mampu membuat anggaran kedalaman sifar tangkapan pada set data dalaman dan luaran. Jadual 1 secara kualitatif menunjukkan perbandingan prestasi DepthFM dengan model sepadan yang terkini. Walaupun model lain sering bergantung pada set data yang besar untuk latihan, DepthFM memanfaatkan pengetahuan yang kaya yang wujud dalam model berasaskan resapan asas. Kaedah ini bukan sahaja menjimatkan sumber pengkomputeran, tetapi juga menekankan kebolehsuaian dan kecekapan latihan model.
Perbandingan anggaran kedalaman Marigold berasaskan resapan, penanda aras Padanan Aliran (FM) dan model DepthFM. Setiap kaedah dinilai menggunakan hanya satu ahli ensemble dan dengan bilangan penilaian fungsi (NFE) yang berbeza-beza pada dua set data penanda aras biasa. Berbanding dengan garis dasar FM, DepthFM menyepadukan kehilangan normal dan gandingan bergantung kepada data semasa latihan.
Hasil kualitatif untuk model Marigold dan DepthFM dalam bilangan penilaian fungsi yang berbeza. Perlu diingat bahawa Marigold tidak memberikan sebarang hasil yang bermakna melalui inferens satu langkah, manakala keputusan DepthFM sudah menunjukkan peta kedalaman sebenar.
Penyelesaian mendalam pada Hypersim. Kiri: Memberi sedikit kedalaman. Sederhana: Kedalaman dianggarkan daripada kedalaman separa yang diberikan. Kanan: Kedalaman sebenar.
7. Ringkasan
DepthFM, kaedah pemadanan aliran untuk anggaran kedalaman monokular. Dengan mempelajari pemetaan langsung antara imej input dan kedalaman, dan bukannya menafikan taburan normal ke dalam peta kedalaman, pendekatan ini jauh lebih cekap daripada penyelesaian berasaskan resapan semasa sambil masih menyediakan peta kedalaman yang terperinci tanpa artifak biasa paradigma diskriminatif . DepthFM menggunakan model resapan imej yang telah terlatih sebagai model sebelumnya, dengan berkesan memindahkannya ke model padanan aliran dalam. Oleh itu, DepthFM hanya dilatih pada data sintetik tetapi masih digeneralisasikan dengan baik kepada imej semula jadi semasa inferens. Selain itu, kehilangan normal permukaan tambahan telah ditunjukkan untuk meningkatkan anggaran kedalaman. Pendekatan ringan DepthFM adalah kompetitif, pantas dan memberikan anggaran keyakinan yang boleh dipercayai.
Pembaca yang berminat dengan lebih banyak keputusan eksperimen dan butiran artikel boleh membaca kertas asal
Atas ialah kandungan terperinci Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

DDREASE ialah alat untuk memulihkan data daripada fail atau peranti sekat seperti cakera keras, SSD, cakera RAM, CD, DVD dan peranti storan USB. Ia menyalin data dari satu peranti blok ke peranti lain, meninggalkan blok data yang rosak dan hanya memindahkan blok data yang baik. ddreasue ialah alat pemulihan yang berkuasa yang automatik sepenuhnya kerana ia tidak memerlukan sebarang gangguan semasa operasi pemulihan. Selain itu, terima kasih kepada fail peta ddasue, ia boleh dihentikan dan disambung semula pada bila-bila masa. Ciri-ciri utama lain DDREASE adalah seperti berikut: Ia tidak menimpa data yang dipulihkan tetapi mengisi jurang sekiranya pemulihan berulang. Walau bagaimanapun, ia boleh dipotong jika alat itu diarahkan untuk melakukannya secara eksplisit. Pulihkan data daripada berbilang fail atau blok kepada satu

0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.

Menghadapi ketinggalan, sambungan data mudah alih perlahan pada iPhone? Biasanya, kekuatan internet selular pada telefon anda bergantung pada beberapa faktor seperti rantau, jenis rangkaian selular, jenis perayauan, dsb. Terdapat beberapa perkara yang boleh anda lakukan untuk mendapatkan sambungan Internet selular yang lebih pantas dan boleh dipercayai. Betulkan 1 – Paksa Mulakan Semula iPhone Kadangkala, paksa memulakan semula peranti anda hanya menetapkan semula banyak perkara, termasuk sambungan selular. Langkah 1 – Hanya tekan kekunci naikkan kelantangan sekali dan lepaskan. Seterusnya, tekan kekunci Turun Kelantangan dan lepaskannya semula. Langkah 2 - Bahagian seterusnya proses adalah untuk menahan butang di sebelah kanan. Biarkan iPhone selesai dimulakan semula. Dayakan data selular dan semak kelajuan rangkaian. Semak semula Betulkan 2 – Tukar mod data Walaupun 5G menawarkan kelajuan rangkaian yang lebih baik, ia berfungsi lebih baik apabila isyarat lemah

Apa? Adakah Zootopia dibawa menjadi realiti oleh AI domestik? Didedahkan bersama-sama dengan video itu ialah model penjanaan video domestik berskala besar baharu yang dipanggil "Keling". Sora menggunakan laluan teknikal yang serupa dan menggabungkan beberapa inovasi teknologi yang dibangunkan sendiri untuk menghasilkan video yang bukan sahaja mempunyai pergerakan yang besar dan munasabah, tetapi juga mensimulasikan ciri-ciri dunia fizikal dan mempunyai keupayaan gabungan konsep dan imaginasi yang kuat. Mengikut data, Keling menyokong penjanaan video ultra panjang sehingga 2 minit pada 30fps, dengan resolusi sehingga 1080p dan menyokong berbilang nisbah aspek. Satu lagi perkara penting ialah Keling bukanlah demo atau demonstrasi hasil video yang dikeluarkan oleh makmal, tetapi aplikasi peringkat produk yang dilancarkan oleh Kuaishou, pemain terkemuka dalam bidang video pendek. Selain itu, tumpuan utama adalah untuk menjadi pragmatik, bukan untuk menulis cek kosong, dan pergi ke dalam talian sebaik sahaja ia dikeluarkan Model besar Ke Ling telah pun dikeluarkan di Kuaiying.

Baru-baru ini, bulatan tentera telah terharu dengan berita: jet pejuang tentera AS kini boleh melengkapkan pertempuran udara automatik sepenuhnya menggunakan AI. Ya, baru-baru ini, jet pejuang AI tentera AS telah didedahkan buat pertama kali, mendedahkan misterinya. Nama penuh pesawat pejuang ini ialah Variable Stability Simulator Test Aircraft (VISTA). Ia diterbangkan sendiri oleh Setiausaha Tentera Udara AS untuk mensimulasikan pertempuran udara satu lawan satu. Pada 2 Mei, Setiausaha Tentera Udara A.S. Frank Kendall berlepas menggunakan X-62AVISTA di Pangkalan Tentera Udara Edwards Ambil perhatian bahawa semasa penerbangan selama satu jam, semua tindakan penerbangan telah diselesaikan secara autonomi oleh AI! Kendall berkata - "Sejak beberapa dekad yang lalu, kami telah memikirkan tentang potensi tanpa had pertempuran udara-ke-udara autonomi, tetapi ia sentiasa kelihatan di luar jangkauan." Namun kini,
