Refleksi bola mata membuka dunia 3D, menjadikan Black Mirror satu realiti! Karya baharu Cina Maryland memukau peminat fiksyen sains

"Satu-satunya perjalanan penemuan yang sebenar bukanlah untuk melawat tanah asing, tetapi untuk mengamati alam semesta melalui mata orang lain." dunia melalui mata orang lain, idea sci-fi, puitis (dan menakutkan) ini, telah menjadi kenyataan!

Black Mirror Musim 1 "Sejarah Keseluruhan Anda"

Kini, kita hanya perlu menggunakan pantulan mata untuk membina semula objek yang diperhatikan oleh orang itu dalam tiga dimensi.

Ya, ini adalah Cermin Hitam.

Baru-baru ini, satu pasukan dari University of Maryland mencadangkan kaedah baharu - dengan menggunakan potret yang mengandungi pantulan mata untuk melakukan pembinaan semula tiga dimensi bagi adegan yang tidak ditangkap oleh kamera.

Alamat kertas: https://arxiv.org/abs/2306.09348

Alamat projek: https://world-from-eyes.github.io/

Adegan daripada fiksyen sains klasik telah menjadi kenyataan ?

Gunakan pantulan mata untuk menjana pembinaan semula medan sinaran? Idea ini mungkin kelihatan gila, tetapi ia sebenarnya mempunyai asas teori yang mencukupi.

Pengarang berkata kerana mata manusia sangat mencerminkan, adalah mungkin untuk membina semula satu siri bingkai yang menangkap pergerakan kepala hanya menggunakan pantulan mata dan rendering adegan 3D yang sedang diperhatikan oleh orang ramai.

Memandangkan konsep ini sangat "Black Mirror", dan hanya beberapa jam selepas kertas kerja ini dikeluarkan, " Black Mirror" "Musim baharu "Black Mirror" diumumkan dalam talian Kebetulan ini membuatkan orang tertanya-tanya sama ada pengarah "Black Mirror" juga menyedari kertas kerja ini. (Kepala Anjing)

Black Mirror Musim 6 dilancarkan hari ini

Sebaik sahaja kajian ini keluar, netizen menjadi gila.

Jadi, kita hampir sampai?

Bukankah ini adegan dari Ghost in the Shell pada tahun 2000-an? Semua fiksyen ini telah menjadi realiti!

100% Blade Runner, berikan saya salinan sekarang.

"Abang Kip" Jules Verne menjadi kenyataan!

Sudah tentu, sesetengah orang menyatakan rasa seram terhadap perkara ini: Teknologi ini tidak boleh digunakan untuk penyiasatan dan pengumpulan bukti .

Hari ini, kami sudah mempunyai kamera pengesan mata Varjo, serta VisionPro Apple dan set kepala lain , peranti ini boleh menangkap sejumlah besar bahan kanta Digabungkan dengan teknologi baharu ini, banyak adegan fiksyen sains baharu akan menjadi kenyataan tidak lama lagi...

Dengan mengeksploitasi pantulan kecil cahaya pada mata manusia, pasukan penyelidik membangunkan kaedah untuk membina semula perkara yang diperhatikan oleh seseorang (secara tidak langsung) menggunakan urutan imej bermata yang diambil pada kedudukan kamera tetap (lihat).

Walau bagaimanapun, hanya melatih medan sinaran pada pantulan yang diperhatikan tidak mencukupi kerana beberapa sebab: 1) bunyi yang wujud dalam kedudukan kornea, 2) kerumitan tekstur iris, 3) Pantulan resolusi rendah ditangkap dalam setiap imej.

Untuk menangani cabaran ini, pasukan memperkenalkan pengoptimuman pose kornea dan penguraian tekstur iris semasa proses latihan, dengan bantuan kehilangan regularisasi tekstur jejari berdasarkan iris manusia.

Berbeza dengan kaedah latihan medan saraf tradisional yang memerlukan menggerakkan kamera, kaedah yang mereka gunakan meletakkan kamera pada sudut pandangan tetap dan bergantung sepenuhnya pada pergerakan pengguna.

Menggunakan pantulan mata manusia untuk mencapai pembinaan semula pemandangan

Disebabkan kesukaran untuk menganggar postur mata dengan tepat dan tekstur yang saling berkaitan antara iris dan pantulan pemandangan, The tugasan agak mencabar.

Untuk menyelesaikan masalah ini, penulis bersama-sama mengoptimumkan pose mata, medan sinaran yang menggambarkan pemandangan, dan tekstur iris mata pemerhati.

Secara khusus, terdapat tiga sumbangan utama:

1. Pembinaan semula 3D baharu

mencadangkan kaedah baharu untuk membina semula pemandangan 3D dunia pemerhati daripada imej mata, yang boleh menggabungkan kerja asas sebelumnya dengan saraf Digabungkan dengan kemajuan terkini dalam rendering.

2. Jejari sebelum iris

Memperkenalkan jejari sebelum penguraian tekstur iris, kualiti sinaran yang dibina semula dengan ketara padang.

3. Pengoptimuman postur kornea

Membangunkan proses pengoptimuman postur kornea untuk mengurangkan postur mata Anggaran bunyi bising mengatasi cabaran unik mengekstrak ciri dari mata manusia.

Hasilnya menunjukkan bahawa dengan kaedah baharu ini, kita boleh memperoleh pelbagai perspektif pemandangan daripada pantulan mata dengan menggerakkan gambar, dan akhirnya mencapai pembinaan semula pemandangan yang lengkap.

Apa yang lebih menakjubkan ialah pasukan itu juga cuba menggunakan MV Miley Cyrus dan Lady Gaga untuk mencipta semula adegan di mata mereka.

Pengarang menyatakan bahawa mereka berjaya membina semula objek yang muncul di mata Miley, dan bahagian atas badan seseorang seolah-olah dilihat melalui mata Lady Gaga.

Namun, memandangkan kualiti video ini tidak cukup tinggi, ketepatan keputusan pembinaan semula tidak dapat disimpulkan.

Lady Gaga

Miley Cyrus

Bagaimana untuk melakukannya?

Adalah diketahui bahawa geometri kornea orang dewasa yang sihat adalah hampir sama.

Jadi dengan hanya mengira saiz piksel kornea seseorang dalam imej, kedudukan mata mereka boleh dikira dengan tepat.

Seterusnya, pengarang melatih medan sinaran yang dipantulkan oleh mata dengan mengambil sinaran daripada kamera dan memantulkannya dari anggaran geometri mata.

Untuk mengelakkan iris mata manusia muncul dalam pembinaan semula, penulis juga melatih pemetaan tekstur dua dimensi yang mempelajari tekstur iris untuk melakukan penguraian tekstur.

Penilaian Eksperimen

Penilaian data sintetik

Pertama, penulis menjalankan penilaian ke atas data sintetik dengan meletakkan model mata manusia dalam adegan Blender.

Imej di bawah menunjukkan pemandangan yang dibina semula menggunakan pantulan mata sahaja.

Memandangkan kornea tidak dapat dianggarkan dengan sempurna dalam kehidupan sebenar, penulis menilai keteguhan pengoptimuman pose kornea kepada anggaran hingar jejari kornea.

Untuk mensimulasikan ralat anggaran kedalaman yang mungkin ditemui dalam data sebenar, pengarang merosakkan kornea yang diperhatikan dengan menskalakannya dengan tahap hingar yang berbeza dalam setiap imej radius r_img.

Graf di bawah menunjukkan perubahan prestasi di bawah tahap hingar yang berbeza.

Perlu diambil perhatian bahawa apabila hingar meningkat, pembinaan semula dioptimumkan pose yang dicadangkan oleh pengarang adalah lebih teguh dari segi geometri dan warna yang dibina semula berbanding dengan pembinaan semula tanpa pengoptimuman pose .

Ini membuktikan bahawa pengoptimuman pose adalah penting untuk senario dunia sebenar, kerana kesesuaian dari kornea yang diunjurkan kepada elips awal dalam imej tidak sempurna.

Tambahan pula, perbandingan kuantitatif dengan dan tanpa penguraian tekstur menunjukkan bahawa kaedah pengarang menunjukkan prestasi yang lebih baik dari segi SSIM dan LPIPS Berprestasi lebih baik dengan penguraian tekstur.

Perlu diingat bahawa penulis tidak mengira PSNR kerana dalam persediaan perbezaan pencahayaan antara pantulan dan pemandangan itu sendiri adalah sangat besar.

Penilaian Dunia Sebenar

Untuk Jaminan Untuk memastikan realiti bidang pandangan, penulis memilih kamera Sony RX IV untuk penggambaran dan menggunakan Adobe Lightroom untuk memproses pasca imej untuk mengurangkan bunyi dalam pantulan kornea. Pada masa yang sama, penulis menambah sumber cahaya pada kedua-dua belah watak untuk menerangi objek sasaran.

Semasa proses, orang yang diambil gambar perlu bergerak dalam medan pandangan kamera supaya pasukan boleh menangkap 5-15 bingkai imej dalam setiap adegan.

Disebabkan julat dinamik pencahayaan pemandangan yang besar, pengarang menggunakan imej 16-bit dalam semua eksperimen untuk mengelakkan kehilangan maklumat dalam pantulan yang diperhatikan.

Secara purata, kornea hanya meliputi kira-kira 0.1% daripada kawasan dalam setiap imej, manakala objek sasaran mengambil kira-kira 20x20 piksel, bersilang dengan tekstur iris.

Pemprosesan data

Pengarang dahulu melepasi Pusat dan jejari kornea dianggarkan daripada imej untuk mendapatkan anggaran kedudukan awal kornea.

Kemudian, kedudukan tiga dimensi kornea dikira menggunakan anggaran langsung kedalaman purata dan panjang fokus kamera, dan normal permukaannya dikira.

Untuk mengautomasikan proses ini, pengarang menggunakan Grounding Dino untuk mencari kotak sempadan mata dan menggunakan ELLSeg untuk melakukan pemasangan elips pada iris.

Walaupun kornea biasanya tersumbat, kita hanya memerlukan kawasan yang tidak tertutup, jadi Segmen Anything boleh digunakan untuk mendapatkan topeng segmentasi untuk iris.

Hasil sebenar

Daripada gambar di bawah Seperti yang dapat dilihat daripada hasil yang ditunjukkan, kaedah pengarang dapat membina semula adegan 3D daripada imej potret dunia sebenar, walaupun kedudukan kornea dan anggaran geometri tidak tepat.

Disebabkan kekaburan sempadan kornea, amat sukar untuk mencapai kedudukan yang tepat dalam imej.

Selain itu, untuk warna mata tertentu, seperti hijau dan biru, pembinaan semula 3D juga akan menjadi lebih sukar kerana tekstur iris lebih cerah.

Selain itu, apabila tekstur tidak dimodelkan secara eksplisit, lebih banyak "terapung" akan muncul dalam gambar yang dibina semula ". perkara".

Untuk menyelesaikan masalah ini, kualiti pembinaan semula boleh dipertingkatkan dengan meningkatkan tahap regularisasi jejari.

Walau bagaimanapun, kaedah ini masih mempunyai dua had utama.

Pertama sekali, hasil dunia sebenar semasa adalah berdasarkan "tetapan makmal", seperti zum masuk pada muka, menggunakan sumber cahaya tambahan untuk menerangi pemandangan, dsb. Dalam persekitaran yang lebih bebas, anda perlu menghadapi cabaran yang lebih besar seperti peleraian penderia yang lebih rendah, julat dinamik yang lebih kecil dan kabur gerakan.

Kedua, andaian semasa mengenai tekstur iris (cth. tekstur malar, warna malar jejari) mungkin terlalu dipermudahkan, jadi kaedah ini mungkin gagal apabila mata berputar dengan ketara.

Pengenalan kepada pengarang

Pengarang bersama Kevin Zhang kini merupakan pelajar kedoktoran di Universiti Maryland.

Brandon Y. Feng menerima PhD dalam sains komputer dari University of Maryland Minat penyelidikannya tertumpu pada pengimejan pengiraan , penglihatan peringkat pertengahan dan Bidang fotografi pengiraan. Beliau telah membangunkan algoritma pembelajaran mesin untuk pemprosesan data imej dan 3D, dengan aplikasi daripada realiti campuran kepada sains semula jadi.

Jia-Bin Huang ialah seorang profesor bersekutu di University of Maryland dan sebelum ini menerima PhD daripada UIUC. Minat penyelidikan tertumpu pada persilangan penglihatan komputer, grafik komputer dan pembelajaran mesin.

Atas ialah kandungan terperinci Refleksi bola mata membuka dunia 3D, menjadikan Black Mirror satu realiti! Karya baharu Cina Maryland memukau peminat fiksyen sains. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!