Jadual Kandungan
Kesan Model
Prinsip dan Kaedah
Ringkasan
Rumah Peranti teknologi AI Dalam satu ayat, model 3D boleh menjana gaya penampilan yang realistik, sehingga butiran peringkat foto.

Dalam satu ayat, model 3D boleh menjana gaya penampilan yang realistik, sehingga butiran peringkat foto.

Apr 12, 2023 pm 05:31 PM
tiga dimensi Model

Mencipta kandungan 3D daripada input yang diberikan (cth., daripada gesaan teks, imej atau bentuk 3D) mempunyai aplikasi penting dalam penglihatan dan grafik komputer. Namun, masalah ini mencabar Pada hakikatnya, ia biasanya memerlukan artis profesional (Artis Teknikal) menghabiskan banyak masa dan kos untuk mencipta kandungan 3D. Pada masa yang sama, sumber dalam kebanyakan perpustakaan model 3D dalam talian biasanya adalah model 3D tanpa sebarang bahan Jika anda ingin menggunakannya pada enjin pemaparan semasa, anda memerlukan Artis Teknikal untuk mencipta bahan berkualiti tinggi, lampu dan peta biasa. untuk mereka. Oleh itu, adalah menjanjikan jika terdapat cara untuk mencapai penjanaan aset model 3D yang automatik, pelbagai dan realistik.

Oleh itu, pasukan penyelidik dari South China University of Technology, Hong Kong Polytechnic University, Cross-Dimensional Intelligence, Pengcheng Makmal dan institusi lain telah mencadangkan satu teks yang dipacu. Kaedah penggayaan Model 3D - TANGO, kaedah ini secara automatik boleh menjana bahan SVBRDF yang lebih realistik, peta dan lampu biasa untuk model dan teks 3D tertentu, serta mempunyai keteguhan yang lebih baik kepada model 3D berkualiti rendah. Kajian ini telah diterima ke dalam NeurIPS 2022.

Dalam satu ayat, model 3D boleh menjana gaya penampilan yang realistik, sehingga butiran peringkat foto.

Laman utama projek: https://cyw-3d.github.io/tango/

Kesan Model

Untuk input teks dan model 3D yang diberikan, TANGO boleh menghasilkan butiran fotorealistik yang lebih halus tanpa persilangan sendiri pada permukaan model 3D. Seperti yang ditunjukkan dalam Rajah 1 di bawah, TANGO bukan sahaja membentangkan kesan pantulan realistik pada bahan licin (seperti emas, perak, dsb.), tetapi juga boleh menganggarkan normal titik demi titik untuk bahan tidak sekata (seperti batu bata, dll.) Render kesan beralun.

Dalam satu ayat, model 3D boleh menjana gaya penampilan yang realistik, sehingga butiran peringkat foto.

Rajah 1. Hasil bergaya TANGO

TANGO boleh menjana The kunci kepada hasil pemaparan sebenar adalah untuk dapat memisahkan setiap komponen dengan tepat (SVBRDF, peta biasa, cahaya) dalam model teduhan dan mempelajarinya secara berasingan Akhir sekali, komponen pembahagian ini dikeluarkan melalui pemapar boleh beza Gaussian sfera dan dihantar ke CLIP dan input teks untuk mengira kerugian. Untuk menunjukkan rasional untuk menyahganding komponen, kajian memvisualisasikan setiap komponen. Rajah 2 (a) menunjukkan hasil gaya "sepasang kasut yang diperbuat daripada batu bata", (b) menunjukkan arah normal asal model 3D, (c) ialah arah normal yang diramalkan oleh TANGO untuk setiap titik pada model 3D , (d) (e) (f) masing-masing mewakili pantulan meresap, kekasaran dan pantulan spekular dalam SVBRDF, (g) ialah cahaya ambien yang dinyatakan oleh fungsi Gaussian sfera yang diramalkan oleh TANGO.

Dalam satu ayat, model 3D boleh menjana gaya penampilan yang realistik, sehingga butiran peringkat foto.

Rajah 2 Visualisasi komponen rendering yang dipisahkan

Pada masa yang sama , Penyelidikan juga boleh mengedit hasil keluaran oleh TANGO. Sebagai contoh, dalam Rajah 3, penyelidikan boleh menggunakan peta cahaya lain untuk menyalakan semula keputusan TANGO dalam Rajah 4, parameter kekasaran dan pemantulan spekular boleh diedit untuk mengubah tahap pantulan pada permukaan objek.

Dalam satu ayat, model 3D boleh menjana gaya penampilan yang realistik, sehingga butiran peringkat foto.


Rajah 3 Menyalakan semula hasil gaya TANGO

Dalam satu ayat, model 3D boleh menjana gaya penampilan yang realistik, sehingga butiran peringkat foto.

Rajah 4 Mengedit bahan objek

Selain itu, kerana TANGO menggunakan ramalan peta biasa untuk menambah butiran permukaan objek, ia juga sangat teguh kepada model tiga dimensi dengan bilangan bucu yang kecil. Seperti yang ditunjukkan dalam Rajah 5, model lampu asal dan model asing masing-masing mempunyai 41160 dan 68430 muka. Para penyelidik menurunkan sampel model asal dan memperoleh model dengan hanya 5000 muka. Dapat dilihat bahawa prestasi TANGO pada model asal dan model yang dikurangkan pada asasnya adalah serupa, manakala Text2Mesh mempunyai fenomena persilangan diri yang serius pada model berkualiti rendah.

Dalam satu ayat, model 3D boleh menjana gaya penampilan yang realistik, sehingga butiran peringkat foto.

Rajah 5 Ujian Kemantapan

Prinsip dan Kaedah

TANGO terutamanya memfokuskan pada penggayaan berpandukan teks bagi objek 3D. Kerja semasa yang paling relevan dalam bidang ini ialah Text2Mesh, yang menggunakan model CLIP yang telah dilatih sebagai panduan untuk meramalkan warna dan kedudukan mengimbangi bucu permukaan model 3D untuk mencapai penggayaan. Walau bagaimanapun, hanya meramalkan warna bucu permukaan selalunya menghasilkan kesan pemaparan yang tidak realistik, dan pengimbangan bucu yang tidak teratur boleh menyebabkan persimpangan diri yang teruk. Oleh itu, penyelidikan ini menggunakan saluran paip pemaparan berasaskan fizikal tradisional untuk menyahganding keseluruhan proses pemaparan ke dalam proses ramalan bahan SVBRDF, peta dan lampu biasa, dan masing-masing menyatakan elemen yang dipisahkan dengan fungsi Gaussian sfera. Kaedah penyahgandingan berasaskan fizik ini membolehkan TANGO menghasilkan kesan pemaparan realistik dengan betul dan mempunyai keteguhan yang baik.

Dalam satu ayat, model 3D boleh menjana gaya penampilan yang realistik, sehingga butiran peringkat foto.

Rajah 6 Carta alir TANGO

Rajah 6 menunjukkan carta alir aliran kerja TANGO. Memandangkan model dan teks 3D (seperti "kasut yang diperbuat daripada emas" dalam gambar), kajian mula-mula menskalakan model 3D kepada sfera unit, dan kemudian mengambil sampel kedudukan kamera berhampiran model 3D Pada kedudukan kamera ini sinar mencari titik persilangan xp dengan model tiga dimensi dan arah normal titik persilangan np. Seterusnya, xp dan np akan dihantar ke rangkaian SVBRDF dan rangkaian Normal untuk meramal parameter bahan dan Arah normal , pada masa yang sama, menggunakan berbilang fungsi Gaussian sfera untuk menyatakan pencahayaan di tempat kejadian. Untuk setiap lelaran latihan, kajian memaparkan imej menggunakan pemapar Gaussian sfera boleh dibezakan, kemudian mengekod imej ditambah menggunakan pengekod imej model CLIP, dan akhirnya model CLIP merambat semula kecerunan untuk mengemas kini semua parameter yang boleh dipelajari.

Ringkasan

Kertas kerja ini mencadangkan TANGO, kaedah baharu yang menjana gaya penampilan realistik untuk model 3D berdasarkan teks input dan teguh kepada model berkualiti rendah. Dengan menyahganding gaya penampilan daripada SVBRDF, perubahan geometri tempatan (normal arah mata) dan keadaan pencahayaan, serta mewakili serta menjadikannya sebagai fungsi Gaussian sfera, kita boleh menggunakan CLIP sebagai penyeliaan kehilangan dan belajar.

Berbanding dengan kaedah sedia ada, TANGO boleh menjadi sangat teguh walaupun untuk model 3D berkualiti rendah. Walau bagaimanapun, kaedah memberikan butiran geometri titik-demi-titik normal sambil mengelakkan persilangan sendiri juga akan mengurangkan sedikit darjah kelenturan dan kecembungan permukaan bahan yang boleh dinyatakan Kajian ini percaya bahawa TANGO dan Text2Mesh berdasarkan offset vertex adalah dilakukan mengikut hala tuju masing-masing. Ia merupakan percubaan awal yang baik dan akan memberi inspirasi kepada lebih banyak kajian susulan.


Atas ialah kandungan terperinci Dalam satu ayat, model 3D boleh menjana gaya penampilan yang realistik, sehingga butiran peringkat foto.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo May 07, 2024 pm 04:13 PM

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka Jun 01, 2024 pm 10:03 PM

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Apr 01, 2024 pm 07:46 PM

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Apr 09, 2024 am 11:52 AM

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Kerja baharu pada ramalan siri masa + model besar NLP: secara automatik menjana gesaan tersirat untuk ramalan siri masa Kerja baharu pada ramalan siri masa + model besar NLP: secara automatik menjana gesaan tersirat untuk ramalan siri masa Mar 18, 2024 am 09:20 AM

Hari ini saya ingin berkongsi kerja penyelidikan terbaru dari University of Connecticut yang mencadangkan kaedah untuk menyelaraskan data siri masa dengan model pemprosesan bahasa semula jadi (NLP) yang besar pada ruang terpendam untuk meningkatkan prestasi peramalan siri masa. Kunci kepada kaedah ini ialah menggunakan petunjuk spatial terpendam (prompt) untuk meningkatkan ketepatan ramalan siri masa. Tajuk kertas: S2IP-LLM: SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting Alamat muat turun: https://arxiv.org/pdf/2403.05798v1.pdf 1. Model latar belakang masalah besar

Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! May 06, 2024 pm 04:13 PM

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye Apr 26, 2024 am 11:37 AM

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

See all articles