Jadual Kandungan
RawNeRF dalam gelap
Lima adegan klasik
Manfaat RAW
Komen netizen
Rumah Peranti teknologi AI Kamera 'penglihatan malam' Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Kamera 'penglihatan malam' Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Apr 13, 2023 pm 04:16 PM
Google 3d

Baru-baru ini, video rakaman adegan malam AI daripada Google telah menjadi tular!

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Teknologi dalam video dipanggil RawNeRF, yang seperti namanya ialah varian baharu NeRF.

NeRF ialah rangkaian saraf bersambung sepenuhnya yang menggunakan maklumat imej 2D sebagai data latihan untuk memulihkan pemandangan 3D.

RawNeRF mempunyai banyak peningkatan berbanding NeRF sebelum ini. Ia bukan sahaja mengurangkan hingar dengan sempurna, tetapi ia juga mengubah perspektif kamera dan melaraskan fokus, pendedahan dan pemetaan nada. Makalah oleh Google ini diterbitkan pada November 2021 dan disertakan dalam CVPR 2022.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Alamat projek: https://bmild.github.io/rawnerf/

RawNeRF dalam gelap

Sebelum ini, NeRF menggunakan imej LDR julat dinamik rendah dipetakan nada sebagai input.

RawNeRF Google sebaliknya melatih terus pada imej mentah linear, yang boleh mengekalkan julat dinamik penuh adegan.

Dalam bidang pandangan komposit, berurusan dengan foto gelap sentiasa menjadi masalah.

Kerana dalam kes ini terdapat butiran minimum dalam imej. Dan imej ini menyukarkan untuk menggabungkan pandangan baharu.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Nasib baik, kami mempunyai penyelesaian baharu - menggunakan data sensor mentah.

ialah gambar seperti ini, jadi kami mempunyai butiran lanjut.

Walau bagaimanapun, masih terdapat masalah: terdapat terlalu banyak bunyi.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Jadi kita perlu membuat pilihan: kurang butiran dan kurang bunyi, atau lebih terperinci dan lebih banyak bunyi .

Berita baiknya ialah: kita boleh menggunakan teknologi pengurangan hingar imej.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Seperti yang anda lihat, kesan imej selepas pengurangan hingar adalah baik, tetapi untuk paparan komposit, kualiti ini masih tidak mencukupi.

Walau bagaimanapun, teknologi penyah imej memberi kita idea: memandangkan kita boleh menafikan satu imej, kita juga boleh menafikan sekumpulan imej.

Mari kita lihat kesan RawNeRF.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Dan, ia mempunyai ciri yang lebih menakjubkan: nada memetakan data asas untuk mengekstrak lebih banyak butiran daripada imej gelap .

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Sebagai contoh, menukar fokus imej menghasilkan kesan medan kedalaman yang hebat.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Apa yang lebih menakjubkan ialah ini dalam masa nyata.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Selain itu, pendedahan imej juga akan berubah dengan sewajarnya apabila fokus berubah!

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Seterusnya, mari kita lihat lima senario aplikasi klasik RawNeRF.

Lima adegan klasik

1 Kejelasan imej

Lihat imej ini, anda Boleh. anda melihat maklumat pada papan tanda jalan?

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Seperti yang anda lihat, selepas pemprosesan RawNeRF, maklumat mengenai papan tanda jalan adalah lebih jelas.

Dalam animasi berikut, kita dapat melihat dengan jelas perbezaan dalam sintesis imej antara teknologi NeRF asal dan RawNeRF.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Sebenarnya apa yang dipanggil NeRF bukanlah teknologi yang lama, baru 2 tahun...

Dapat dilihat bahawa RawNeRF berprestasi sangat baik dalam memproses sorotan malah kita boleh melihat perubahan sorotan di sekeliling plat lesen di sudut kanan bawah.

2. Sorotan Spekular

Sorotan Spekular ialah objek yang sangat sukar untuk ditangkap kerana ia menggerakkan kamera , mereka akan banyak berubah, dan jarak relatif antara foto akan menjadi agak jauh. Faktor ini merupakan cabaran besar untuk mempelajari algoritma.
Seperti yang anda lihat dalam gambar di bawah, sorotan spekular yang dihasilkan oleh RawNeRF boleh dikatakan agak dipulihkan.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

3 Struktur nipis

Walaupun dalam keadaan terang , teknologi sebelum ini tidak memaparkan pagar dengan baik.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Dan RawNeRF boleh mengendalikan foto malam dengan sekumpulan pagar, dan ia boleh memegangnya sendiri.

Walaupun pagar bertindih dengan plat, kesannya masih sangat baik.

Kamera 'penglihatan malam' Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

4 Pantulan cermin

Pantulan di jalan raya adalah. Sorotan spekular yang lebih mencabar. Seperti yang anda lihat, RawNeRF juga mengendalikannya secara semula jadi dan realistik.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

5 Tukar fokus, laraskan pendedahan

Dalam adegan ini, mari cuba mengubah perspektif, sentiasa menukar fokus, dan melaraskan pendedahan pada masa yang sama.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Pada masa lalu, untuk menyelesaikan tugasan ini, kami memerlukan koleksi mana-mana dari 25 hingga 200 foto.

Dan kini, kita hanya memerlukan beberapa saat untuk menyelesaikan penggambaran.

Sudah tentu, RawNeRF tidak sempurna sekarang. Kita dapat melihat bahawa masih terdapat beberapa perbezaan antara imej RawNeRF di sebelah kiri dan foto sebenar di sebelah kanan.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Walau bagaimanapun, RAWnerf telah mencapai kemajuan yang besar daripada satu set imej asal yang penuh dengan hingar kepada kesan semasa. Anda tahu, teknologi dua tahun lalu tidak dapat melakukan ini sepenuhnya.

Manfaat RAW

Untuk menyemak secara ringkas, saluran paip latihan NeRF menerima imej LDR yang diproses oleh kamera, dan pembinaan semula pemandangan dan pemaparan paparan adalah berdasarkan LDR ruang warna. Oleh itu, output NeRF sebenarnya telah diproses selepas, dan adalah mustahil untuk mengubah suai dan mengeditnya dengan ketara.

Sebaliknya, RawNeRF dilatih secara langsung pada data input HDR mentah linear. Paparan yang terhasil boleh diedit seperti mana-mana foto asal, menukar fokus dan pendedahan, dsb.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Faedah utama yang dibawa oleh ini ialah dua perkara: sintesis paparan HDR dan pemprosesan pengurangan hingar.

Dalam adegan dengan kecerahan yang sangat berbeza-beza, kelajuan pengatup tetap tidak mencukupi untuk menangkap julat dinamik penuh. Model RawNeRF boleh mengoptimumkan kedua-dua dedahan pendek dan panjang serentak untuk memulihkan julat dinamik penuh.

Sebagai contoh, pemandangan nisbah cahaya yang besar dalam (b) memerlukan algoritma pemetaan nada tempatan yang lebih kompleks (seperti HDR + pemprosesan pasca) untuk mengekalkan butiran bahagian gelap dan pemandangan luar pada masa yang sama.

Selain itu, RawNeRF boleh menghasilkan kesan nyahfokus sintetik dengan sorotan "kabur" tepu dengan betul menggunakan warna linear.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Dari segi pemprosesan hingar imej, penulis terus melatih RawNeRF pada imej mentah linear HDR yang tidak diproses sepenuhnya untuk menjadikannya "noiser" yang boleh memproses berpuluh-puluh atau bahkan ratusan imej input.

Keteguhan ini bermakna RawNeRF boleh menyelesaikan tugas membina semula adegan dalam gelap dengan cemerlang.

Contohnya, dalam (a) pemandangan malam yang diterangi oleh hanya satu lilin, RawNeRF boleh mengekstrak butiran daripada data mentah yang bising yang sebaliknya akan dimusnahkan oleh pasca pemprosesan (b, c ).

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Pengenalan kepada pengarang

Pengarang pertama kertas kerja, Ben Mildenhall, ialah seorang penyelidik di Google Research Scientists mengusahakan masalah dalam penglihatan komputer dan grafik.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Beliau menerima ijazah sarjana muda dalam sains komputer dan matematik dari Universiti Stanford pada 2015, dan PhD dalam sains komputer dari University of California, Berkeley pada tahun 2020.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

CVPR 2022 yang baru sahaja tamat boleh dikatakan sebagai detik kemuncak Ben.

Lima daripada tujuh kertas yang diterima memenangi Lisan, dan satu menerima penghormatan untuk kertas pelajar terbaik.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Komen netizen

Sebaik sahaja video itu keluar, ia terus memukau netizen. Mari bergembira bersama.

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Kamera penglihatan malam Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D

Melihat kepantasan kemajuan teknologi, tidak lama kemudian anda tidak lagi perlu risau tentang mengambil gambar pada waktu malam. Faham~

Atas ialah kandungan terperinci Kamera 'penglihatan malam' Google yang luar biasa tiba-tiba menjadi popular! Pengurangan hingar sempurna dan sintesis perspektif 3D. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Cara Mengulas DeepSeek Cara Mengulas DeepSeek Feb 19, 2025 pm 05:42 PM

DeepSeek adalah alat pengambilan maklumat yang kuat. .

Cara Mencari DeepSeek Cara Mencari DeepSeek Feb 19, 2025 pm 05:39 PM

DeepSeek adalah enjin carian proprietari yang hanya mencari dalam pangkalan data atau sistem tertentu, lebih cepat dan lebih tepat. Apabila menggunakannya, pengguna dinasihatkan untuk membaca dokumen itu, cuba strategi carian yang berbeza, dapatkan bantuan dan maklum balas mengenai pengalaman pengguna untuk memanfaatkan kelebihan mereka.

Sesame Open Door Exchange Web Pautan Pautan Gerbang Perdagangan Laman Web Pendaftaran Terkini Sesame Open Door Exchange Web Pautan Pautan Gerbang Perdagangan Laman Web Pendaftaran Terkini Feb 28, 2025 am 11:06 AM

Artikel ini memperkenalkan proses pendaftaran versi web Web Open Exchange (GATE.IO) dan aplikasi Perdagangan Gate secara terperinci. Sama ada pendaftaran web atau pendaftaran aplikasi, anda perlu melawat laman web rasmi atau App Store untuk memuat turun aplikasi tulen, kemudian isi nama pengguna, kata laluan, e -mel, nombor telefon bimbit dan maklumat lain, dan lengkap e -mel atau pengesahan telefon bimbit.

Mengapa pautan Bybit Exchange tidak dimuat turun dan dipasang secara langsung? Mengapa pautan Bybit Exchange tidak dimuat turun dan dipasang secara langsung? Feb 21, 2025 pm 10:57 PM

Mengapa pautan Bybit Exchange tidak dimuat turun dan dipasang secara langsung? Bybit adalah pertukaran cryptocurrency yang menyediakan perkhidmatan perdagangan kepada pengguna. Aplikasi mudah alih Exchange tidak boleh dimuat turun terus melalui AppStore atau GooglePlay untuk sebab -sebab berikut: 1. Aplikasi pertukaran cryptocurrency sering tidak memenuhi keperluan ini kerana ia melibatkan perkhidmatan kewangan dan memerlukan peraturan dan standard keselamatan tertentu. 2. Undang -undang dan Peraturan Pematuhan di banyak negara, aktiviti yang berkaitan dengan urus niaga cryptocurrency dikawal atau terhad. Untuk mematuhi peraturan ini, aplikasi bybit hanya boleh digunakan melalui laman web rasmi atau saluran yang diberi kuasa lain

Platform Perdagangan Pintu Terbuka Sesame Muat turun Versi Mudah Alih Platform Perdagangan Platform Perdagangan Alamat Muat Turun Platform Perdagangan Pintu Terbuka Sesame Muat turun Versi Mudah Alih Platform Perdagangan Platform Perdagangan Alamat Muat Turun Feb 28, 2025 am 10:51 AM

Adalah penting untuk memilih saluran rasmi untuk memuat turun aplikasi dan memastikan keselamatan akaun anda.

Portal Pendaftaran Rasmi Exchange Gate.io Portal Pendaftaran Rasmi Exchange Gate.io Feb 20, 2025 pm 04:27 PM

Gate.io adalah pertukaran cryptocurrency terkemuka yang menawarkan pelbagai aset crypto dan pasangan perdagangan. Mendaftar Gate.io sangat mudah. Lengkapkan pendaftaran. Dengan Gate.io, pengguna dapat menikmati pengalaman perdagangan cryptocurrency yang selamat dan mudah.

Alamat muat turun terbaru Bitget pada tahun 2025: Langkah -langkah untuk mendapatkan aplikasi rasmi Alamat muat turun terbaru Bitget pada tahun 2025: Langkah -langkah untuk mendapatkan aplikasi rasmi Feb 25, 2025 pm 02:54 PM

Panduan ini menyediakan langkah muat turun dan pemasangan terperinci untuk aplikasi Bitget Exchange rasmi, sesuai untuk sistem Android dan iOS. Panduan ini mengintegrasikan maklumat dari pelbagai sumber yang berwibawa, termasuk laman web rasmi, App Store, dan Google Play, dan menekankan pertimbangan semasa muat turun dan pengurusan akaun. Pengguna boleh memuat turun aplikasinya dari saluran rasmi, termasuk App Store, muat turun APK laman web rasmi dan melompat laman web rasmi, dan lengkap pendaftaran, pengesahan identiti dan tetapan keselamatan. Di samping itu, panduan itu merangkumi soalan dan pertimbangan yang sering ditanya, seperti

Portal Log Masuk Versi Rasmi Binance Binance Portal Log Masuk Versi Rasmi Binance Binance Feb 21, 2025 pm 05:42 PM

Untuk mengakses versi Login Laman Web Binance yang terkini, ikuti langkah mudah ini. Pergi ke laman web rasmi dan klik butang "Login" di sudut kanan atas. Pilih kaedah log masuk anda yang sedia ada. Masukkan nombor mudah alih berdaftar atau e -mel dan kata laluan anda dan pengesahan lengkap (seperti kod pengesahan mudah alih atau Google Authenticator). Selepas pengesahan yang berjaya, anda boleh mengakses Portal Log masuk laman web rasmi Binance.

See all articles