Dua kertas telah dicalonkan untuk Best Paper Honorable Mention pada masa yang sama Pasukan Cina Langsung Masa Nyata pertama di SIGGRAPH menggunakan AI generatif untuk mencipta dunia 3D.

SIGGRAPH, persidangan akademik global teratas yang memfokuskan pada grafik komputer, muncul dengan trend baharu.

Pada persidangan SIGGRAPH 2024 yang diadakan minggu lepas, antara kertas kerja terbaik dan anugerah lain, pasukan dari Makmal MARS Universiti Sains dan Teknologi Shanghai menerima dua pencalonan kehormat untuk kertas terbaik pada masa yang sama, dan hasil penyelidikannya adalah juga bergerak pantas ke arah perindustrian.

Pengarang menggunakan kaedah model generatif untuk membuka cara baharu untuk terus mengubah imaginasi kepada model 3D yang kompleks.文 Clay dan Dresscode, yang dicalonkan untuk kertas terbaik, adalah janaan 3D dan penjanaan pakaian 3D.

Dalam sesi Langsung Masa Nyata SIGGARPH, pasukan dari Universiti Sains dan Teknologi Shanghai menunjukkan satu siri senario aplikasi berdasarkan dua tugasan ini dalam masa nyata.

Zhang Qixuan, pengarang kertas kerja, pelajar siswazah tahun kedua dan CTO syarikat permulaan Yingmo Technology, mula-mula menunjukkan penyelesaian penjanaan 3D berdasarkan CLAY. Tahun lepas, pasukan Shadow Eye membina model 3D yang realistik untuk Zuckerberg dan Jen-Hsun Huang menggunakan gesaan teks mudah (Prompt), menjadi pasukan China pertama yang mengambil bahagian dalam SIGGRAPH Real-Time Live. Tahun ini, penyelesaian penjanaan 3D mereka menggunakan satu imej sebagai input untuk menjana imej kartun Xiao Zha dan Lao Huang dalam gaya yang berbeza.

Di sebalik kandungan yang dijana ini ialah enjin AI 3D generasi baharu Rodin, yang memberi penghormatan kepada pengukir terkenal Rodin. Kandungan 3D yang dipaparkan di tapak dijana secara langsung daripada satu imej yang dimuat naik oleh pengguna, dan Rodin boleh terus menjana tekstur PBR dan permukaan segiempat untuk memudahkan pengubahsuaian dan penggunaan selanjutnya oleh artis.

Dengan 3D ControlNet, Rodin boleh mengawal bentuk yang dijana AI. Diberikan secara ringkas sebagai panduan, elemen geometri mudah boleh ditukar kepada voxel dan diubah menjadi aset 3D yang diperlukan berdasarkan maklumat semantik imej rujukan.

Rodin juga menyokong gambar lukisan tangan langsung, walaupun grafiti mudah. Beberapa foto telah digunakan untuk menjana aksara 3D, dan grafiti kanak-kanak menghasilkan pokok sebagai latar belakang Pembangun beroperasi di tapak dalam masa nyata, dan membina adegan pemodelan 3D yang lengkap dalam satu minit. Apabila tuan rumah bertanya siapa raksasa kecil di tengah itu, Zhang Qixuan berkata dengan lucu bahawa ini adalah AI.

Bercakap mengenainya, kali terakhir penjanaan model 3D keluar dari bulatan sebenarnya adalah pada SIGGRAPH: Pada tahun 2021, NVIDIA memperkenalkan kaedah membuat model 3D untuk Huang Renxun pada peringkat ini, mengejutkan dunia dengan palsu dan nyata kesan.

Pada masa itu, penjanaan model 3D dianggap penting untuk teknologi seperti manusia digital dan realiti maya. Tetapi tidak syak lagi bahawa kos tinggi pengimbasan badan berketepatan tinggi + pembinaan semula pembelajaran mendalam menentukan bahawa ia ditakdirkan untuk tidak dimasukkan ke dalam pengeluaran besar-besaran.

Menggunakan penjanaan AI mungkin jalan yang lebih baik. Walau bagaimanapun, pada masa lalu, teknologi yang dicadangkan oleh orang ke arah ini sentiasa "dipuji tetapi tidak popular."

Untuk aplikasi praktikal, kaedah ini mempunyai beberapa cabaran:

3D ialah masalah industri Tidak cukup untuk model berprestasi baik secara visual. Ia juga perlu mematuhi piawaian industri tertentu, seperti cara bahan diwakili, tampalan perancangan, Betapa munasabah strukturnya. Jika ia tidak dapat diselaraskan dengan piawaian industri manusia, hasil yang dihasilkan akan memerlukan banyak pelarasan dan sukar untuk digunakan pada pengeluaran.

Sama seperti model bahasa besar (LLM) perlu diselaraskan dengan nilai kemanusiaan, model AI yang dijana 3D perlu diselaraskan dengan piawaian industri 3D yang kompleks.

Penyelesaian yang lebih praktikal telah muncul: asli 3D

Salah satu pencalonan kertas terbaik untuk Makmal MARS di Universiti Sains dan Teknologi Shanghai - CLAY telah membolehkan industri melihat penyelesaian yang boleh dilaksanakan untuk masalah di atas, iaitu 3D asli.

Kami tahu bahawa dalam dua tahun yang lalu, laluan teknikal untuk penjanaan 3D boleh dibahagikan secara kasar kepada dua kategori: peningkatan dimensi 2D dan 3D asli.

Peningkatan dimensi 2D ialah proses mencapai pembinaan semula tiga dimensi melalui model resapan 2D yang digabungkan dengan kaedah seperti NeRF. Oleh kerana mereka boleh dilatih mengenai sejumlah besar data imej 2D, model sedemikian cenderung untuk menghasilkan hasil yang pelbagai. Walau bagaimanapun, disebabkan oleh keupayaan terdahulu 3D model resapan 2D yang tidak mencukupi, model jenis ini mempunyai keupayaan terhad untuk memahami dunia 3D dan terdedah kepada menjana hasil dengan struktur geometri yang tidak munasabah (seperti manusia atau haiwan dengan berbilang kepala).

Satu siri usaha pembinaan semula berbilang paparan baru-baru ini telah mengurangkan masalah ini pada tahap tertentu dengan menambahkan imej 2D berbilang paparan aset 3D pada data latihan model penyebaran 2D. Tetapi hadnya ialah titik permulaan kaedah sedemikian ialah imej 2D, jadi mereka menumpukan pada kualiti imej yang dijana daripada cuba mengekalkan kesetiaan geometri, jadi geometri yang dihasilkan sering tidak lengkap dan kurang terperinci.

Dalam erti kata lain, data 2D hanya merekodkan satu sisi, atau unjuran, dunia sebenar Imej dari pelbagai sudut tidak dapat menerangkan sepenuhnya kandungan tiga dimensi Oleh itu, masih terdapat banyak maklumat yang hilang dalam perkara yang dipelajari oleh model. dan hasil yang dihasilkan masih Ia memerlukan banyak pengubahsuaian dan sukar untuk memenuhi piawaian industri.

Memandangkan pengehadan ini, pasukan penyelidik CLAY memilih jalan lain - asli 3D.

Laluan ini melatih model generatif terus daripada set data 3D, mengekstrak prior 3D yang kaya daripada pelbagai geometri 3D. Hasilnya, model boleh "memahami" dengan lebih baik dan mengekalkan ciri geometri.

Walau bagaimanapun, model jenis ini mestilah cukup besar untuk "muncul" dengan keupayaan penjanaan yang berkuasa, dan model yang lebih besar perlu dilatih pada set data yang lebih besar. Seperti yang kita sedia maklum, set data 3D berkualiti tinggi adalah sangat terhad dan mahal, yang merupakan masalah pertama yang mesti diselesaikan oleh laluan 3D asli.

Dalam kertas CLAY ini, penyelidik menggunakan saluran paip pemprosesan data tersuai untuk melombong berbilang set data 3D dan mencadangkan teknik yang berkesan untuk meningkatkan model generatif.

Secara khusus, proses pemprosesan data mereka bermula dengan algoritma reshing tersuai untuk menukar data 3D kepada jerat kedap air, dengan berhati-hati memelihara perkara seperti tepi keras dan permukaan rata. Selain itu, mereka memanfaatkan GPT-4V untuk mencipta anotasi terperinci yang menyerlahkan ciri geometri yang penting.

Selepas melalui proses pemprosesan di atas, banyak set data digabungkan ke dalam set data model 3D ultra-besar yang digunakan untuk latihan model CLAY. Sebelum ini, set data ini tidak pernah digunakan bersama untuk melatih model generatif 3D kerana format yang berbeza dan kekurangan konsistensi. Set data gabungan yang diproses mengekalkan perwakilan yang konsisten dan anotasi yang koheren, yang boleh meningkatkan generalisasi model generatif.

CLAY yang dilatih menggunakan set data ini mengandungi model generatif 3D dengan sehingga 1.5 bilion parameter. Untuk memastikan kehilangan maklumat daripada penukaran set data kepada ungkapan tersirat kepada output adalah sekecil mungkin, mereka menghabiskan masa yang lama untuk menapis dan menambah baik, dan akhirnya meneroka kaedah ekspresi 3D yang baharu dan cekap. Khususnya, mereka menggunakan reka bentuk medan saraf dalam 3DShape2VecSet untuk menggambarkan permukaan yang berterusan dan lengkap, dan menggabungkannya dengan VAE geometri berbilang resolusi yang direka khas untuk memproses awan titik resolusi yang berbeza, membolehkannya menyesuaikan diri dengan saiz vektor terpendam (laten saiz).

Untuk memudahkan pengembangan model, CLAY menggunakan Transformer resapan pendam minimalis (DiT). Ia terdiri daripada Transformer, boleh menyesuaikan diri dengan saiz vektor terpendam, dan mempunyai skalabiliti model yang besar. Selain itu, CLAY juga memperkenalkan skim latihan progresif dengan meningkatkan saiz vektor terpendam dan parameter model secara beransur-ansur.

Akhir sekali, CLAY mencapai kawalan geometri yang tepat, dan pengguna boleh mengawal kerumitan, gaya, dsb. (walaupun aksara) penjanaan geometri dengan melaraskan perkataan segera. Berbanding dengan kaedah sebelumnya, CLAY dengan cepat boleh menjana geometri terperinci dan memastikan ciri-ciri geometri yang penting seperti permukaan rata dan integriti struktur.

Sesetengah hasil dalam kertas kerja menunjukkan sepenuhnya kelebihan laluan 3D asli. Rajah di bawah menunjukkan tiga sampel jiran terdekat pertama yang diambil oleh penyelidik daripada set data. Geometri berkualiti tinggi yang dijana oleh CLAY sepadan dengan perkataan segera, tetapi berbeza daripada sampel dalam set data, menunjukkan kekayaan yang mencukupi dan keupayaan untuk muncul daripada model besar.

Afin de permettre aux actifs numériques générés d'être directement utilisés dans les pipelines de production CG existants, les chercheurs ont en outre adopté une solution en deux étapes :

1. L'optimisation géométrique garantit l'intégrité structurelle et la compatibilité tout en conservant l'esthétique et en affinant fonctionnellement le. forme du modèle, telle que quadrilatéralisation, expansion UV, etc. ;

2. La synthèse des matériaux donne au modèle une texture réaliste grâce à des textures réelles. Ensemble, ces étapes transforment un maillage brut en un actif plus utilisable dans un environnement numérique.

Parmi eux, la deuxième étape implique un modèle de diffusion de matériaux multi-vues avec près d'un milliard de paramètres. Après quadrification du maillage et déballage UV, il génère un matériau PBR via une approche multi-vues, qui est ensuite rétroprojeté sur des cartes UV. Ce modèle génère des matériaux PBR plus réalistes que les méthodes précédentes, ce qui donne lieu à des rendus réalistes.

Afin de permettre à CLAY de prendre en charge davantage de tâches, les chercheurs ont également conçu une version 3D de ControlNet. L'architecture minimaliste lui permet de prendre en charge efficacement le contrôle de l'état de différents modes. Ils ont implémenté plusieurs exemples de conditions que les utilisateurs peuvent facilement fournir, notamment du texte (pris en charge de manière native), ainsi que des images/croquis, des voxels, des images multivues, des nuages ​​de points et des cadres de délimitation) et un nuage de points partiel avec un cadre de délimitation. Ces conditions peuvent être appliquées individuellement ou en combinaison, permettant au modèle de générer fidèlement du contenu basé sur une seule condition, ou de combiner plusieurs conditions pour créer du contenu 3D avec style et contrôle de l'utilisateur, offrant ainsi un large éventail de possibilités créatives.

De plus, CLAY prend également directement en charge l'adaptation de bas rang (LoRA) sur les couches d'attention de DiT. Cela permet un réglage fin efficace afin que le contenu 3D généré puisse être adapté à un style spécifique.

Il n’est pas difficile de voir à partir de ces conceptions que la conception de CLAY a ciblé dès le début des scénarios d’application, ce qui est très différent de certaines recherches purement académiques.

Cela permet également une mise en œuvre rapide du modèle : Rodin est désormais devenu un générateur 3D couramment utilisé par de nombreux développeurs 3D.文 Vous pouvez cliquer pour lire le texte original et accéder au produit expérience Rodin (il est recommandé d'ouvrir le côté PC).

De nombreux utilisateurs de l'industrie au pays et à l'étranger ont signalé que les actifs 3D générés par Rodin ont une géométrie scientifique, des règles de câblage et des cartes de matériaux exquises, et peuvent être directement importés dans les moteurs de rendu grand public existants. sont proches de la production -Application de génération 3D prête.

L'équipe du laboratoire MARS de l'Université des sciences et technologies de Shanghai, qui a contribué à CLAY, est devenue la première équipe chinoise à être sélectionnée pour la session Real-Time Live au cours des 50 années écoulées depuis la création de SIGGRAPH en 2023. Elle a est sur cette scène pour la deuxième année consécutive.

Shadow Eye Technology explore la voie de l'IA native 3D et crée des produits 3D proches de la production, abaissant considérablement le seuil de création 3D.

La technologie de génération 3D basée sur CLAY guide non seulement l'orientation de l'industrie, mais jouera également un rôle positif dans la génération d'images et de vidéos. Parce que du point de vue de l'entropie de l'information, moins vous fournissez d'informations, plus le modèle a de marge de manœuvre. La modélisation 3D peut ancrer la direction de convergence et améliorer la contrôlabilité de la génération d’images et de vidéos.

Cependant, le domaine de la 3D lui-même n'est pas aussi simple que les images et les vidéos. Ce n'est qu'en complétant la chaîne complète que les utilisateurs commenceront véritablement à accepter les capacités de la 3D + de l'IA. Cette partie du travail peut être effectuée via l'API du partenaire ou par son équipe elle-même.

Dans l'attente de la poursuite de la mise en œuvre de nouvelles technologies à l'avenir.

Atas ialah kandungan terperinci Dua kertas telah dicalonkan untuk Best Paper Honorable Mention pada masa yang sama Pasukan Cina Langsung Masa Nyata pertama di SIGGRAPH menggunakan AI generatif untuk mencipta dunia 3D.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!