Jadual Kandungan
0. Apa guna artikel ini?
1. Maklumat kertas
2 Abstrak
3. Demonstrasi kesan
4. Sumbangan utama
5. Apakah prinsip khusus?
6. Keputusan percubaan
7. Ringkasan
Rumah Peranti teknologi AI Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat!

Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat!

Apr 03, 2024 pm 12:04 PM
data kereta api

0. Apa guna artikel ini?

Cadangan DepthFM: Model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens.

Mari kita baca karya ini bersama-sama~

1. Maklumat kertas

Tajuk: DepthFM: Anggaran Kedalaman Monokular Pantas dengan Padanan Aliran

Pengarang: Ming Gui, Johannes S. Fischering, P. Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer

Institusi: MCML

Pautan asal: https://arxiv.org/abs/2403.13788

Pautan kod: https://github.com/ CompVis -fm

Laman utama rasmi: https://depthfm.github.io/

2 Abstrak

adalah penting untuk banyak tugas dan aplikasi persiaran hiliran. Kaedah diskriminatif semasa untuk masalah ini dihadkan oleh artifak kabur, manakala kaedah generatif tercanggih mengalami kelajuan sampel latihan yang perlahan kerana sifat SDE mereka. Daripada bermula dengan hingar, kami mencari pemetaan terus daripada imej input kepada imej kedalaman. Kami melihat bahawa ini boleh dibina dengan cekap melalui pemadanan aliran, kerana trajektori lurusnya dalam ruang penyelesaian memberikan kecekapan dan kualiti yang tinggi. Kajian kami menunjukkan bahawa model resapan imej yang telah terlatih boleh digunakan sebagai pengetahuan sedia ada yang mencukupi untuk model padanan aliran yang mendalam. Pada penanda aras pemandangan semula jadi yang kompleks, pendekatan ringan kami menunjukkan prestasi tercanggih pada kos pengiraan yang sangat rendah walaupun dilatih hanya pada sejumlah kecil data sintetik.

3. Demonstrasi kesan

DepthFM ialah model pemadanan aliran inferens pantas dengan keupayaan generalisasi tangkapan sifar yang kuat, yang boleh menggunakan pengetahuan sedia ada yang kukuh dan mudah digeneralisasikan kepada imej sebenar yang tidak diketahui. Selepas latihan mengenai data sintetik, model ini membuat generalisasi dengan baik kepada imej sebenar yang tidak diketahui dan memadankan imej kedalaman dengan tepat.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

Berbanding model tercanggih yang lain, DepthFM memperoleh imej yang lebih jelas dengan hanya satu penilaian fungsi. Anggaran kedalaman Marigold mengambil masa dua kali lebih lama daripada DethFM, tetapi ia tidak dapat menjana peta kedalaman dengan butiran yang sama.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

4. Sumbangan utama

(1) Cadangan DepthFM, model anggaran kedalaman monokular yang tercanggih, serba boleh dan pantas. Selain tugasan anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugasan hiliran seperti pengecatan dalam kedalaman dan sintesis imej berhawa dingin.

(2) menunjukkan kejayaan pemindahan imej terdahulu yang kukuh daripada model penyebaran kepada model padanan aliran dengan sedikit pergantungan pada data latihan dan tidak memerlukan imej dunia sebenar.

(3) menunjukkan bahawa model pemadanan aliran adalah cekap dan boleh mensintesis peta kedalaman dalam satu langkah inferens.

(4) Walaupun dilatih hanya pada data sintetik, DepthFM berprestasi baik pada set data penanda aras dan imej semula jadi.

(5) Gunakan kehilangan normal permukaan sebagai sasaran tambahan untuk mendapatkan anggaran kedalaman yang lebih tepat.

(6) Selain anggaran kedalaman, keyakinan ramalannya juga boleh diramalkan dengan pasti.

5. Apakah prinsip khusus?

Saluran Paip Latihan. Latihan dihadkan oleh pemadanan aliran dan kehilangan normal permukaan: untuk pemadanan aliran, pemadanan aliran bergantung data digunakan untuk mengundur medan vektor antara kedalaman kebenaran tanah dan imej yang sepadan. Selain itu, realisme geometri dicapai melalui kehilangan normal permukaan.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

Padanan aliran berkaitan data: DepthFM mengundur medan vektor garis lurus antara taburan imej dan taburan kedalaman dengan menggunakan pasangan imej ke kedalaman. Pendekatan ini menggalakkan penaakulan beberapa langkah yang cekap tanpa mengorbankan prestasi.

Penalaan halus daripada Diffusion Priors: Pengarang menunjukkan kejayaan pemindahan prior imej yang berkuasa daripada model resapan sintesis imej asas (Stable Diffusion v2-1) kepada model padanan aliran dengan sedikit pergantungan pada data latihan dan tidak memerlukan penggunaan sebenar -Imej dunia.

Kehilangan normal permukaan tambahan: Memandangkan DepthFM hanya dilatih pada data sintetik, dan kebanyakan set data sintetik menyediakan normal permukaan kebenaran tanah, kehilangan normal permukaan digunakan sebagai sasaran tambahan untuk meningkatkan ketepatan anggaran kedalaman DepthFM.

6. Keputusan percubaan

DepthFM menunjukkan keupayaan generalisasi yang ketara dengan melatih hanya 63k sampel sintetik semata-mata, dan mampu membuat anggaran kedalaman sifar tangkapan pada set data dalaman dan luaran. Jadual 1 secara kualitatif menunjukkan perbandingan prestasi DepthFM dengan model sepadan yang terkini. Walaupun model lain sering bergantung pada set data yang besar untuk latihan, DepthFM memanfaatkan pengetahuan yang kaya yang wujud dalam model berasaskan resapan asas. Kaedah ini bukan sahaja menjimatkan sumber pengkomputeran, tetapi juga menekankan kebolehsuaian dan kecekapan latihan model.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

Perbandingan anggaran kedalaman Marigold berasaskan resapan, penanda aras Padanan Aliran (FM) dan model DepthFM. Setiap kaedah dinilai menggunakan hanya satu ahli ensemble dan dengan bilangan penilaian fungsi (NFE) yang berbeza-beza pada dua set data penanda aras biasa. Berbanding dengan garis dasar FM, DepthFM menyepadukan kehilangan normal dan gandingan bergantung kepada data semasa latihan.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

Hasil kualitatif untuk model Marigold dan DepthFM dalam bilangan penilaian fungsi yang berbeza. Perlu diingat bahawa Marigold tidak memberikan sebarang hasil yang bermakna melalui inferens satu langkah, manakala keputusan DepthFM sudah menunjukkan peta kedalaman sebenar.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

Penyelesaian mendalam pada Hypersim. Kiri: Memberi sedikit kedalaman. Sederhana: Kedalaman dianggarkan daripada kedalaman separa yang diberikan. Kanan: Kedalaman sebenar.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

7. Ringkasan

DepthFM, kaedah pemadanan aliran untuk anggaran kedalaman monokular. Dengan mempelajari pemetaan langsung antara imej input dan kedalaman, dan bukannya menafikan taburan normal ke dalam peta kedalaman, pendekatan ini jauh lebih cekap daripada penyelesaian berasaskan resapan semasa sambil masih menyediakan peta kedalaman yang terperinci tanpa artifak biasa paradigma diskriminatif . DepthFM menggunakan model resapan imej yang telah terlatih sebagai model sebelumnya, dengan berkesan memindahkannya ke model padanan aliran dalam. Oleh itu, DepthFM hanya dilatih pada data sintetik tetapi masih digeneralisasikan dengan baik kepada imej semula jadi semasa inferens. Selain itu, kehilangan normal permukaan tambahan telah ditunjukkan untuk meningkatkan anggaran kedalaman. Pendekatan ringan DepthFM adalah kompetitif, pantas dan memberikan anggaran keyakinan yang boleh dipercayai.

Pembaca yang berminat dengan lebih banyak keputusan eksperimen dan butiran artikel boleh membaca kertas asal

Atas ialah kandungan terperinci Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Gunakan ddrescue untuk memulihkan data pada Linux Gunakan ddrescue untuk memulihkan data pada Linux Mar 20, 2024 pm 01:37 PM

DDREASE ialah alat untuk memulihkan data daripada fail atau peranti sekat seperti cakera keras, SSD, cakera RAM, CD, DVD dan peranti storan USB. Ia menyalin data dari satu peranti blok ke peranti lain, meninggalkan blok data yang rosak dan hanya memindahkan blok data yang baik. ddreasue ialah alat pemulihan yang berkuasa yang automatik sepenuhnya kerana ia tidak memerlukan sebarang gangguan semasa operasi pemulihan. Selain itu, terima kasih kepada fail peta ddasue, ia boleh dihentikan dan disambung semula pada bila-bila masa. Ciri-ciri utama lain DDREASE adalah seperti berikut: Ia tidak menimpa data yang dipulihkan tetapi mengisi jurang sekiranya pemulihan berulang. Walau bagaimanapun, ia boleh dipotong jika alat itu diarahkan untuk melakukannya secara eksplisit. Pulihkan data daripada berbilang fail atau blok kepada satu

Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat! Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat! Apr 03, 2024 pm 12:04 PM

0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Apr 01, 2024 pm 07:46 PM

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data Apr 29, 2024 pm 06:55 PM

Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.

Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan May 03, 2024 pm 09:01 PM

Menghadapi ketinggalan, sambungan data mudah alih perlahan pada iPhone? Biasanya, kekuatan internet selular pada telefon anda bergantung pada beberapa faktor seperti rantau, jenis rangkaian selular, jenis perayauan, dsb. Terdapat beberapa perkara yang boleh anda lakukan untuk mendapatkan sambungan Internet selular yang lebih pantas dan boleh dipercayai. Betulkan 1 – Paksa Mulakan Semula iPhone Kadangkala, paksa memulakan semula peranti anda hanya menetapkan semula banyak perkara, termasuk sambungan selular. Langkah 1 – Hanya tekan kekunci naikkan kelantangan sekali dan lepaskan. Seterusnya, tekan kekunci Turun Kelantangan dan lepaskannya semula. Langkah 2 - Bahagian seterusnya proses adalah untuk menahan butang di sebelah kanan. Biarkan iPhone selesai dimulakan semula. Dayakan data selular dan semak kelajuan rangkaian. Semak semula Betulkan 2 – Tukar mod data Walaupun 5G menawarkan kelajuan rangkaian yang lebih baik, ia berfungsi lebih baik apabila isyarat lemah

Versi Kuaishou Sora 'Ke Ling' dibuka untuk ujian: menghasilkan video lebih 120-an, memahami fizik dengan lebih baik dan boleh memodelkan pergerakan kompleks dengan tepat Versi Kuaishou Sora 'Ke Ling' dibuka untuk ujian: menghasilkan video lebih 120-an, memahami fizik dengan lebih baik dan boleh memodelkan pergerakan kompleks dengan tepat Jun 11, 2024 am 09:51 AM

Apa? Adakah Zootopia dibawa menjadi realiti oleh AI domestik? Didedahkan bersama-sama dengan video itu ialah model penjanaan video domestik berskala besar baharu yang dipanggil "Keling". Sora menggunakan laluan teknikal yang serupa dan menggabungkan beberapa inovasi teknologi yang dibangunkan sendiri untuk menghasilkan video yang bukan sahaja mempunyai pergerakan yang besar dan munasabah, tetapi juga mensimulasikan ciri-ciri dunia fizikal dan mempunyai keupayaan gabungan konsep dan imaginasi yang kuat. Mengikut data, Keling menyokong penjanaan video ultra panjang sehingga 2 minit pada 30fps, dengan resolusi sehingga 1080p dan menyokong berbilang nisbah aspek. Satu lagi perkara penting ialah Keling bukanlah demo atau demonstrasi hasil video yang dikeluarkan oleh makmal, tetapi aplikasi peringkat produk yang dilancarkan oleh Kuaishou, pemain terkemuka dalam bidang video pendek. Selain itu, tumpuan utama adalah untuk menjadi pragmatik, bukan untuk menulis cek kosong, dan pergi ke dalam talian sebaik sahaja ia dikeluarkan Model besar Ke Ling telah pun dikeluarkan di Kuaiying.

Tentera Udara A.S. mempamerkan jet pejuang AI pertamanya dengan profil tinggi! Menteri secara peribadi menjalankan pandu uji tanpa campur tangan semasa keseluruhan proses, dan 100,000 baris kod telah diuji selama 21 kali. Tentera Udara A.S. mempamerkan jet pejuang AI pertamanya dengan profil tinggi! Menteri secara peribadi menjalankan pandu uji tanpa campur tangan semasa keseluruhan proses, dan 100,000 baris kod telah diuji selama 21 kali. May 07, 2024 pm 05:00 PM

Baru-baru ini, bulatan tentera telah terharu dengan berita: jet pejuang tentera AS kini boleh melengkapkan pertempuran udara automatik sepenuhnya menggunakan AI. Ya, baru-baru ini, jet pejuang AI tentera AS telah didedahkan buat pertama kali, mendedahkan misterinya. Nama penuh pesawat pejuang ini ialah Variable Stability Simulator Test Aircraft (VISTA). Ia diterbangkan sendiri oleh Setiausaha Tentera Udara AS untuk mensimulasikan pertempuran udara satu lawan satu. Pada 2 Mei, Setiausaha Tentera Udara A.S. Frank Kendall berlepas menggunakan X-62AVISTA di Pangkalan Tentera Udara Edwards Ambil perhatian bahawa semasa penerbangan selama satu jam, semua tindakan penerbangan telah diselesaikan secara autonomi oleh AI! Kendall berkata - "Sejak beberapa dekad yang lalu, kami telah memikirkan tentang potensi tanpa had pertempuran udara-ke-udara autonomi, tetapi ia sentiasa kelihatan di luar jangkauan." Namun kini,

See all articles