Kandungan AI sifar! Matematik rawak tulen tanpa terhingga menjana dunia 3D yang realistik, karya seorang Cina dari Princeton.

Siapa kata menjana imej dan video mesti bergantung pada AI?

Artifak baharu Universiti Princeton boleh menjana dunia 3D yang sangat realistik, dengan penekanan khusus pada “Tiada AI” .

Rasai kesannya secara ringkas:

Jangan anggap apa yang dihasilkan hanyalah video sebenarnya ada yang lengkap set aset 3D di belakangnya Dibina pada perisian pemodelan Blender.

Pada masa ini, semua pengguna pengisar menyertai saya: Hah?

Dengan cara ini, kita boleh menggunakan parameter untuk mengawal butiran:

Atau dapatkan yang sepadan Peta aliran optik, peta aliran optik pemandangan 3D, peta kedalaman, peta pembahagian panorama, dsb., dengan mudah memegang pelbagai tugas CV.

Perkara yang paling penting ialah ia juga percuma dan sumber terbuka!

Ibu benar-benar tidak perlu risau lagi bahawa saya tidak dapat mencari data 3D berkualiti tinggi untuk memberi makan AI...

100% penjana data 3D berdasarkan matematik rawak

Walaupun perkembangan pesat AI, banyak tugas dalam bidang CV masih kekurangan data berkualiti tinggi, terutamanya dalam 3D.

Satu penyelesaian ialah menggunakan untuk mensintesis data. Ternyata model yang dilatih pada jenis data ini juga boleh berfungsi dengan baik pada imej sebenar dengan sampel sifar.

Tetapi masalahnya ialah kebanyakan alatan data sintetik 3D percuma sedia ada pada asasnya terhad kepada satu adegan: sama ada berkaitan pemanduan autonomi atau objek buatan manusia yang terletak dalam persekitaran dalaman.

Oleh itu, untuk meluaskan liputan terutamanya pemandangan alam di dunia nyata, penulis mencipta ini berdasarkan Blender Berdasarkan peraturan matematik rawakMenjana pelbagai adegan Infinigen.

Infinigen terutamanya menggunakan "primitif" Blender (atau primitif) untuk mereka bentuk perpustakaan peraturan program untuk melengkapkan pelbagai aspek pemandangan semula jadi yang sebenar melalui pengkodan daripada objek.

Makalah ini terutamanya memperkenalkan sistem program Infinigen, termasuk:

• Transpiler Nod (penukar nod) , yang secara automatik boleh menukar graf nod Blender kepada Python code , memudahkan pengguna bukan pengaturcara menggunakan Infinigen.

Seperti yang ditunjukkan dalam rajah di bawah, kod yang dijana adalah lebih umum, membolehkan kami merawak kedua-dua parameter input dan struktur graf.

• Subsistem Penjana(subsistem penjana), Penjana Infinigen ialah atur cara berasaskan kebarangkalian, setiap atur cara dikhususkan Digunakan untuk menjana sub- objek (seperti gunung atau ikan) . Setiap objek mempunyai satu set parameter peringkat tinggi (seperti jumlah ketinggian gunung) yang pengguna boleh laraskan menggunakan API Python untuk mencapai kawalan terperinci ke atas penjanaan data.
• Penjana Bahan (Penjana Bahan) , 50 kesemuanya, setiap satu terdiri daripada pelorek rawak yang menentukan warna dan pemantulan serta geometri tempatan yang menjana butiran geometri halus yang sepadan dengan komposisi Penjana.

Seperti yang ditunjukkan dalam rajah di bawah, ia boleh memastikan butiran geometri yang sangat realistik.

• Terrain Generators (terrain generator) , seperti yang ditunjukkan dalam rajah di bawah, generator boleh dipicit berulang kali Tekan untuk menjana batu, dan gunakan pemalam terbina dalam Blender untuk menghasilkan batu kecil.

dan membantu Infinigen dengan mensimulasikan cecair dinamik menggunakan FLIP dan mensimulasikan cuaca menggunakan sistem zarah Blender.

• Tumbuhan & Penjana Objek Bawah Air (Tumbuhan dan Penjana Objek Bawah Air) , termasuk menggunakan algoritma seperti berjalan rawak untuk menanam pokok Model untuk mencipta dunia 3D yang diliputi pelbagai pokok, pokok renek dan juga kaktus.

Atau anda boleh menggunakan pertumbuhan berbeza, pertumbuhan Laplacian dan resapan tindak balas untuk mencipta pelbagai batu karang, gunakan graf nod geometri untuk menjana daun, bunga, rumpai laut, Kelp, moluska dan obor-obor.

Terdapat juga pelbagai sub-generator (seperti penjana biologi) yang tidak akan saya perkenalkan satu persatu.

Selain itu, Infinigen turut menyertakan pemaparan imej dan program pengekstrakan Ground Truth, terutamanya digunakan untuk menjana jenis imej yang ditunjukkan di bawah.

Bagi yang pertama, sistem menggunakan Kitaran pemapar pengesanan laluan Blender berdasarkan undang-undang semula jadi untuk memaparkan imej.

Pengarang memperkenalkan bahawa walaupun Blender digunakan untuk membangunkan peraturan program Infinigen, sebahagian besar penjanaan program telah diselesaikan di luar Blender.

Selain itu, mereka juga menyatakan bahawa membina Infinigen ialah projek perisian yang besar, dan cabang utama pangkalan kodnya sahaja termasuk 40,485 baris kod.

Akhirnya, Infinigen telah ditanda aras pada 2 Intel Xeon Silver 4114 @ 2.20GHz CPU dan 1 NVidia GPU, dan masa untuk menjana sepasang imej 1080p (masa dinding) ialah 🎜>3.5 jam.

Jadual di bawah ialah cara ia dibandingkan dengan set data atau penjana sintetik sedia ada.

Pengarang mengatakan bahawa ia dapat dilihat bahawa kelebihan terbesar Infinigen ialah ia boleh

secara pemrograman menjana tanpa sebarang perpustakaan rujukan luaran Tidak terhad data 3D semula jadi dan tiada yang lain akan berfungsi.

Pengenalan Pasukan

Infinigen akan mengadakan pembentangan poster di persidangan CVPR Rabu ini.

Semua pengarangnya adalah dari Makmal Visi & Pembelajaran Universiti Princeton.

Tiga orang adalah pengarang bersama, seorang daripadanya bernama

Ma Zeyu, yang merupakan pelajar PhD tahun ketiga di Princeton University dan lulus dari Tsinghua University di 2020 dengan ijazah sarjana muda dalam kejuruteraan elektronik.

Pengarang yang sepadan ialah Profesor Madya Sains Komputer di Princeton University

Deng Jia.

Pada masa ini, kod Infinigen telah dilancarkan di GitHub, dengan 850 bintang dalam masa dua hari sahaja.

Alamat kertas:
https://www.php. cn/link/d9812f756d0df06c7381945d2e2c7d4bHalaman utama projek:
Halaman utama projek:
https://www.php.cn/link/ca886eb9edb61a42256192745c72cd79
🎜>

https://www.php.cn/link/a1cb608a30fc2883eed0831dcf25f260

Atas ialah kandungan terperinci Kandungan AI sifar! Matematik rawak tulen tanpa terhingga menjana dunia 3D yang realistik, karya seorang Cina dari Princeton.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!