Daud telah dibangkitkan! NVIDIA mencipta semula 'Neural Langelo', 3D membina semula tekstur otot yang boleh dilihat dengan mata kasar

Hari ini, NVIDIA mencipta semula "Neuralangelo" Michelangelo dari abad ke-16.

Lihat, Neularangelo telah "menghasilkan semula" versi 3D patung terkenal David, dengan butiran marmar dan tekstur yang seperti hidup.

Anda tahu, patung David yang dikumpulkan di Akademi Seni Halus di Florence hanya setinggi 3.96 meter, termasuk tapaknya ada 5.5 meter.

Malah ia boleh membina semula struktur dalaman dan luaran bangunan, dengan jubin bumbung, anak tetingkap kaca dan pelbagai butiran diterbitkan semula satu demi satu.

Semua ini adalah keajaiban "Neuralangelo".

Model AI baharu yang dicadangkan oleh penyelidik dari NVIDIA dan Universiti Johns Hopkins menggunakan rangkaian saraf untuk membina semula objek 3D.

Penyelidikan terkini telah diterima oleh CVPR 2023.

Alamat kertas: https://research.nvidia.com/labs/dir/neularangelo/paper.pdf

Khususnya, Neularangelo boleh membina semula "adegan berskala besar ketelitian tinggi" daripada video telefon mudah alih dan video yang diambil oleh dron.

Bukankah itu masa depan, di mana anda boleh menukar video bandar atau angkasa lepas dengan mudah menjadi dunia yang mengasyikkan, dan kemudian memasukkannya ke dalam permainan untuk dinikmati.

Netizen menyuarakan bahawa NVIDIA telah menggodam dunia "Matrix"!

Sesetengah orang mengatakan bahawa teknologi XR Apple, ditambah dengan Neularangelo, boleh mencipta "dunia baharu" .

Demonstrasi Kesan

Ibu pejabat NVIDIA

Lori lama

Patung Ignatius

Adegan 3D yang dibina semula

Model AI sebelumnya sering bergelut untuk menangkap corak tekstur berulang, warna seragam dan perubahan warna yang kuat dengan tepat semasa membina semula adegan 3D.

Untuk tujuan ini, pasukan mencadangkan kaedah baharu yang menggabungkan keupayaan perwakilan grid cincang 3D berbilang resolusi dengan pemaparan permukaan saraf - Neularangelo.

Tahun lepas, penyelidik Nvidia mencipta alat baharu, 3D MoMa, yang memudahkan untuk menukar foto menjadi objek 3D.

NeuralAngelo membina konsep ini, membenarkan pengimportan ruang dan objek yang lebih besar dan terperinci. Apa yang menjadikannya istimewa ialah ia dapat menangkap corak tekstur berulang, warna homogen dan perubahan warna yang kuat dengan tepat.

Dengan menggunakan "primitif neurografik masa nyata", yang merupakan teras teknologi NVIDIA Instant NeRF, Neularangelo boleh menangkap butiran yang lebih halus.

Pendekatan pasukan bergantung pada 2 elemen utama:

(1) Kecerunan berangka untuk mengira derivatif tertib tinggi sebagai operasi pelicinan; >

(2) Lakukan pengoptimuman kasar kepada halus pada grid cincang yang mengawal tahap perincian yang berbeza.

Walaupun tanpa kedalaman tambahan, Neularangelo memulihkan struktur permukaan 3D padat dengan berkesan daripada imej berbilang paparan dengan ketepatan yang ketara melebihi kaedah sebelumnya, membolehkan pengesanan struktur permukaan 3D padat daripada video RGB. Tangkap dan bina semula adegan berskala besar yang terperinci.

Membina NeuralAngelo

Model NeuralAngelo dibina pada pengekodan cincang berbilang resolusi dan pemaparan volum berasaskan SDF.

Langkah 1: Gunakan kecerunan berangka untuk mengira derivatif tertib lebih tinggi

Adalah mungkin untuk mengoptimumkan melangkaui sel tempatan dengan menggunakan kecerunan berangka dengan langkah yang sepadan dengan resolusi spatial grid cincang. Berbanding dengan kecerunan analitik, kecerunan berangka memainkan operasi pelicinan pada SDF.

Langkah 2: Perhalusi secara beransur-ansur tahap perincian

Dengan mengurangkan saiz langkah kecerunan berangka secara beransur-ansur dan mendayakan grid cincang peleraian yang lebih tinggi, kesan yang dioptimumkan boleh memulihkan kawasan besar kelicinan Permukaan dan butiran geometri yang halus. Proses pembelajaran ini secara beransur-ansur dapat meningkatkan tahap perincian.

Langkah 3: Pengoptimuman

NeuralAngelo menggunakan tiga objektif pengoptimuman:

Kehilangan sintesis RGB

: Kehilangan pembinaan semula RGB antara imej input dan imej tersintesis.

Kehilangan eikonal

: Selaraskan SDF asas supaya permukaannya normal adalah keteraturan Unit.

Kehilangan kelengkungan

: Selaraskan SDF asas supaya kelengkungan purata tidak sewenang-wenangnya menjadi lebih besar .

"Neurolangelo" dibina, jadi bagaimana ia berfungsi?

Boleh dikatakan Neularangelo memulihkan keseluruhan proses penggambaran David Michelangelo:

· Pertama, model akan memilih beberapa bingkai daripada video 2D objek/adegan yang diambil dari sudut yang berbeza, dan dengan itu "melihat" kedalaman, saiz dan bentuknya. Proses ini serupa dengan cara artis arca pada mulanya mengarang gubahan dari pelbagai sudut.

· Model kemudian mencipta gambaran 3D yang kasar bagi pemandangan itu, sama seperti seorang artis mula memahat bentuk subjek.

· Akhir sekali, model ini dioptimumkan untuk memberikan perincian yang lebih jelas, sama seperti artis menghiasi tekstur kain atau bentuk manusia dengan teliti.

Dalam perbandingan kualitatif penanda aras DPU, Neuralangelo menghasilkan permukaan yang lebih tepat dan ketepatan yang lebih tinggi.

Berikut ialah hasil kuantitatif Neuralangelo dalam set data DTU Model ini mencapai ketepatan pembinaan semula dan kualiti sintesis imej.

Dalam perbandingan kualitatif skema pengoptimuman kasar-ke-halus yang berbeza, apabila menggunakan kecerunan analitik AG dan AG+P, permukaan kasar bagi objek juga mempunyai filem pseudo.

Apabila menggunakan kecerunan digital (NG), permukaan kasar yang lebih baik boleh dibina semula dan butirannya dilicinkan.

Dan penyelesaian NVIDIA (NG+P) boleh menghasilkan permukaan licin dan butiran halus.

Hasil akhir ialah objek 3D atau objek besar yang boleh digunakan dalam aplikasi realiti maya, kembar digital atau robotik senario skala pembangunan.

Nvidia menyatakan bahawa keupayaan Neuralangelo untuk menukar tekstur bahan kompleks, termasuk kekasaran jubin bumbung dan kelancaran marmar, daripada video 2D kepada objek 3D dengan ketara melebihi kaedah sebelumnya.

Ming-Yu Liu, pengarah kanan jabatan penyelidikan Nvidia dan pengarang kertas kerja, memberikan pendapatnya tentang kepentingan penyelidikan ini:

"Disediakan oleh Neularangelo Keupayaan pembinaan semula 3D akan menjadi manfaat besar kepada pencipta, membantu mereka mencipta semula dunia sebenar dalam dunia digital. Alat ini akhirnya akan membolehkan pembangun mengimport objek terperinci - sama ada patung kecil atau bangunan besar - ke dalam video atau kembar digital industri dalam persekitaran maya

Profesional kreatif boleh mengimport objek 3D ini ke dalam aplikasi reka bentuk untuk penyuntingan lanjut untuk seni, pembangunan permainan video, robotik dan banyak lagi kembar digital dan bidang lain

Li Zhaoshuo kini merupakan pelajar kedoktoran dalam sains komputer di Universiti Johns Hopkins Unberath dan Profesor Russell H Taylor

Beliau mempunyai minat yang kuat dalam penglihatan komputer, grafik komputer dan pembelajaran mendalam, penyelidikannya memfokuskan pada menghasilkan semula gerakan dan struktur daripada imej.

Selain itu, dia mempunyai banyak hobi, termasuk menjadi juruvideo, promoter kesihatan mental, pencinta anjing peliharaan, peselancar, terjun udara, papan salji...

Chen-Hsuan Lin

Chen-Hsuan Lin ialah seorang saintis penyelidikan di NVIDIA Research, bekerja dalam penglihatan komputer, grafik komputer, dan kecerdasan buatan.

Beliau menerima PhD dalam Robotik dari Carnegie Mellon University dan menerima biasiswa siswazah NVIDIA. Sebelum ini, beliau juga pernah berkhidmat di Facebook AI Research dan Adobe Research.

Lin sangat berminat untuk menyelesaikan masalah pembinaan semula 3D, sintesis paparan dan penghasilan kandungan 3D. Penyelidikannya bertujuan untuk memberikan sistem kecerdasan buatan persepsi 3D peringkat manusia dan keupayaan imaginasi dengan belajar daripada data visual berskala Internet, bergerak ke arah kecerdasan spatial 3D sebenar.

Komen hangat daripada netizen

Saintis NVIDIA Jim Fan berkata,

Untuk membolehkan anda memahami perkembangan tiruan kecerdasan dalam pemodelan 3D Kelajuan: Medan pergi dari kiri (jaringan asal NeRF dibina semula) ke kanan (Neuralangelo Nvidia) dalam masa 3 tahun.

Mengangkut realiti ke dalam simulasi kesetiaan tinggi bukan lagi mimpi.

Model Neularangelo baharu adalah binatang dan Nvidia telah memutuskan untuk mematikan perisian fotogrametri kami, R.I.P.

Ia seperti "Michelangelo" dunia digital.

Beberapa netizen ingin tahu, berapa harganya?

Kami boleh menggunakan dron di kilang dan kemudian menghantar video ke model ini, membuat kembar digital, dan menggunakannya untuk mengoptimumkan proses kami.

Mengenai kepentingan teknologi ini, netizen percaya bahawa kesannya terhadap industri permainan akan menjadi besar.

Atas ialah kandungan terperinci Daud telah dibangkitkan! NVIDIA mencipta semula 'Neural Langelo', 3D membina semula tekstur otot yang boleh dilihat dengan mata kasar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!