Jadual Kandungan
Tinjauan Keseluruhan Kaedah
Rumah Peranti teknologi AI Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Apr 12, 2023 pm 03:43 PM
Model teks

Penjanaan imej ialah salah satu arah paling popular dalam medan AIGC. Model penjanaan imej yang dikeluarkan baru-baru ini seperti DALL・E 2, Imagen, Stable Diffusion, dsb. telah memulakan era baharu penjanaan imej, mencapai tahap kualiti imej dan fleksibiliti model yang belum pernah terjadi sebelumnya. Model resapan juga telah menjadi paradigma yang dominan pada masa kini. Walau bagaimanapun, model resapan bergantung pada inferens berulang, yang merupakan pedang bermata dua kerana kaedah lelaran boleh mencapai latihan yang stabil dengan objektif mudah, tetapi proses inferens memerlukan kos pengiraan yang tinggi.

Sebelum model penyebaran, rangkaian adversarial generatif (GAN) ialah infrastruktur yang biasa digunakan dalam model penjanaan imej. Berbanding dengan model resapan, GAN menjana imej melalui satu pas ke hadapan dan oleh itu sememangnya lebih cekap, tetapi disebabkan ketidakstabilan proses latihan, penskalaan GAN memerlukan penalaan teliti seni bina rangkaian dan faktor latihan. Oleh itu, GAN pandai memodelkan kelas objek tunggal atau berbilang, tetapi sangat mencabar untuk skala kepada set data yang kompleks (apatah lagi dunia nyata). Akibatnya, model, data dan sumber pengiraan yang sangat besar kini didedikasikan untuk model penyebaran dan autoregresif.

Tetapi sebagai kaedah penjanaan yang cekap, ramai penyelidik tidak meninggalkan sepenuhnya kaedah GAN. Sebagai contoh, NVIDIA baru-baru ini mencadangkan model StyleGAN-T Cina dan lain-lain menggunakan kaedah berasaskan GAN untuk menjana video lancar Ini adalah percubaan lanjut oleh penyelidik CV pada GAN.

Kini, dalam kertas kerja CVPR 2023, penyelidik dari POSTECH, Carnegie Mellon University dan Adobe Research bersama-sama meneroka beberapa isu penting tentang GAN, termasuk:

  • Bolehkah GAN terus meningkat dan mendapat manfaat daripada sumber yang besar Adakah GAN menghadapi masalah?
  • Apakah yang menghalang pengembangan GAN selanjutnya, dan bolehkah kita mengatasi halangan ini?

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

  • Pautan kertas: https://arxiv.org/abs/2303.05511
  • Pautan projek: https://mingukkang.github.io/GigaGAN/

Perlu diingat bahawa Zhu Junyan, pengarang utama CycleGAN dan pemenang Anugerah Tesis Kedoktoran Terbaik ACM SIGGRAPH 2018, ialah pengarang kedua kertas CVPR ini.

Kajian itu mula-mula menjalankan eksperimen menggunakan StyleGAN2 dan mendapati bahawa hanya memanjangkan rangkaian tulang belakang mengakibatkan latihan yang tidak stabil. Berdasarkan ini, para penyelidik mengenal pasti beberapa isu utama dan mencadangkan teknik untuk menstabilkan latihan sambil meningkatkan kapasiti model.

Pertama, kajian ini secara berkesan mengembangkan kapasiti penjana dengan mengekalkan set penapis dan menggunakan kombinasi linear khusus sampel. Kajian itu juga menggunakan beberapa teknik yang biasa digunakan dalam konteks penyebaran dan mengesahkan bahawa ia membawa faedah yang sama kepada GAN. Contohnya, jalinan perhatian diri (imej sahaja) dan perhatian silang (teks imej) dengan lapisan konvolusi boleh meningkatkan prestasi model.

Penyelidikan ini juga memperkenalkan semula latihan berskala dan mencadangkan skema baharu untuk menambah baik penjajaran teks imej dan menjana butiran output frekuensi rendah. Latihan berbilang skala membolehkan penjana berasaskan GAN menggunakan parameter dalam blok resolusi rendah dengan lebih cekap, menghasilkan penjajaran teks imej dan kualiti imej yang lebih baik. Selepas pelarasan yang teliti, kajian ini mencadangkan model GigaGAN baharu dengan satu bilion parameter dan mencapai latihan yang stabil dan berskala pada set data yang besar (seperti LAION2B-en Keputusan eksperimen ditunjukkan dalam Rajah 1 di bawah).

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Selain itu, kajian ini juga menggunakan kaedah berbilang peringkat [14, 104], pertama menggunakan kaedah rendah- tahap 64 × 64 Imej dijana pada resolusi 512 × 512 dan kemudian ditingkatkan kepada resolusi 512 × 512. Kedua-dua rangkaian adalah modular dan cukup berkuasa untuk digunakan secara plug-and-play.

Kajian ini menunjukkan bahawa rangkaian pensampelan GAN berkondisi teks boleh digunakan sebagai pensampel naik yang cekap dan berkualiti tinggi untuk model resapan asas, seperti yang ditunjukkan dalam Rajah 2 dan 3 di bawah.

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Peningkatan di atas menjadikan GigaGAN jauh melebihi GAN sebelumnya: 36 kali lebih besar daripada StyleGAN2 dan 6 kali lebih besar daripada StyleGAN-XL dan XMC-GAN . Walaupun kiraan parameter GigaGAN sebanyak satu bilion (1B) masih lebih rendah daripada model sintetik besar baru-baru ini seperti Imagen (3.0B), DALL・E 2 (5.5B) dan Parti (20B), para penyelidik mengatakan bahawa mereka masih belum melakukannya. diperhatikan sebarang perubahan ketara dalam model Kualiti saiz adalah tepu.

GigaGAN mencapai FID sampel sifar sebanyak 9.09 pada set data COCO2014, yang lebih rendah daripada DALL・E 2, Parti-750M dan Stable Diffusion.


Selain itu, GigaGAN mempunyai tiga kelebihan praktikal utama berbanding dengan model resapan dan model autoregresif. Pertama, ia berpuluh-puluh kali lebih pantas, menghasilkan imej 512 piksel dalam 0.13 saat (Rajah 1). Kedua, ia boleh mensintesis imej resolusi ultra tinggi pada resolusi 4k dalam masa 3.66 saat sahaja. Ketiga, ia mempunyai ruang vektor pendam terkawal yang sesuai untuk aplikasi sintesis imej terkawal yang dikaji dengan baik, seperti pengadunan gaya (Rajah 6), interpolasi segera (Rajah 7), dan pengadunan segera (Rajah 8).


Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Penyelidikan ini berjaya melatih model skala bilion parameter berasaskan GAN GigaGAN pada berbilion imej dunia sebenar. Ini menunjukkan bahawa GAN kekal sebagai pilihan yang berdaya maju untuk sintesis teks ke imej dan penyelidik harus mempertimbangkannya untuk pengembangan masa depan yang agresif.

Tinjauan Keseluruhan Kaedah

Penyelidik melatih penjana G (z, c), diberi pengekodan terpendam z∼N (0, 1)∈R ^128 dan teks isyarat pelaziman c, ramalkan imej x∈R^(H×W×3). Mereka menggunakan diskriminator D(x, c) untuk menilai ketulenan imej yang dijana berbanding sampel dalam pangkalan data latihan D, yang mengandungi pasangan teks imej.

Walaupun GAN berjaya menjana imej realistik pada set data tunggal dan berbilang kelas, sintesis bersyarat teks terbuka pada imej Internet masih menghadapi cabaran. Para penyelidik membuat hipotesis bahawa batasan semasa berpunca daripada pergantungannya pada lapisan konvolusi. Iaitu, penapis konvolusi yang sama digunakan untuk memodelkan fungsi sintesis imej universal untuk semua keadaan teks di semua lokasi dalam imej, yang merupakan satu cabaran. Memandangkan perkara ini, penyelidik cuba menyuntik lebih ekspresif ke dalam parameterisasi dengan memilih penapis lilitan secara dinamik berdasarkan keadaan input dan menangkap kebergantungan jarak jauh melalui mekanisme perhatian.

Penjana Imej Teks Berkapasiti Tinggi GigaGAN ditunjukkan dalam Rajah 4 di bawah. Pertama, kami menggunakan model CLIP terlatih dan pengekod T yang dipelajari untuk mengekstrak pembenaman teks. Suapkan deskriptor teks tempatan kepada penjana menggunakan perhatian silang. Deskriptor teks global, bersama-sama dengan kod terpendam z, dimasukkan ke dalam rangkaian pemetaan gaya M untuk menghasilkan kod gaya w. Kod gaya melaraskan penjana utama menggunakan gaya daripada kertas - pemilihan kernel adaptif, ditunjukkan di sebelah kanan.

Penjana mengeluarkan piramid imej dengan menukar ciri perantaraan kepada imej RGB. Untuk mencapai kapasiti yang lebih tinggi, kami menggunakan pelbagai perhatian dan lapisan konvolusi pada setiap skala (Lampiran A2). Mereka juga menggunakan model upsampler yang berasingan, yang tidak ditunjukkan dalam angka ini.

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Pendiskriminasi terdiri daripada dua cabang untuk memproses penyesuaian imej dan teks t_D. Cawangan teks mengendalikan teks sama seperti penjana (Rajah 4). Cawangan imej menerima piramid imej dan membuat ramalan bebas untuk setiap skala imej. Tambahan pula, ramalan dibuat pada semua skala lapisan pensampelan ke bawah, menjadikannya input berbilang skala, diskriminator keluaran berbilang skala (MS-I/O).

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Keputusan eksperimen

Dalam kertas itu, penulis merekodkan lima eksperimen berbeza.

Dalam percubaan pertama, mereka menunjukkan keberkesanan kaedah yang dicadangkan dengan menggabungkan setiap komponen teknikal satu demi satu.

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Dalam percubaan kedua, mereka menguji keupayaan model untuk menjana graf, dan keputusan menunjukkan bahawa GigaGAN berprestasi lebih baik daripada Resapan Stabil (SD-v1.5) adalah setanding dengan FID sambil menghasilkan hasil lebih cepat daripada model resapan atau autoregresif.

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Dalam percubaan ketiga, mereka membandingkan GigaGAN dengan model resapan berasaskan penyulingan, dan keputusan menunjukkan bahawa GigaGAN lebih cekap daripada berasaskan penyulingan penyebaran. Model mensintesis imej berkualiti tinggi dengan lebih cepat.

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Dalam percubaan keempat, mereka mengesahkan resolusi super bersyarat dan tanpa syarat Kelebihan upsampler GigaGAN yang lain menilai tugas.

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion

Akhir sekali, mereka membentangkan cadangan Large- model GAN ​​berskala masih menikmati operasi ruang terpendam GAN yang berterusan dan terurai, sekali gus membolehkan mod pengeditan imej baharu. Lihat Rajah 6 dan 8 di atas untuk gambar rajah.


Atas ialah kandungan terperinci Serangan balas GAN: Kerja CVPR baharu Zhu Junyan GigaGAN, kelajuan output imej mengatasi Stable Diffusion. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo May 07, 2024 pm 04:13 PM

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka Jun 01, 2024 pm 10:03 PM

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Apr 09, 2024 am 11:52 AM

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Apr 01, 2024 pm 07:46 PM

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! May 06, 2024 pm 04:13 PM

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

DualBEV: mengatasi BEVFormer dan BEVDet4D dengan ketara, buka buku! DualBEV: mengatasi BEVFormer dan BEVDet4D dengan ketara, buka buku! Mar 21, 2024 pm 05:21 PM

Kertas kerja ini meneroka masalah mengesan objek dengan tepat dari sudut pandangan yang berbeza (seperti perspektif dan pandangan mata burung) dalam pemanduan autonomi, terutamanya cara mengubah ciri dari perspektif (PV) kepada ruang pandangan mata burung (BEV) dengan berkesan dilaksanakan melalui modul Transformasi Visual (VT). Kaedah sedia ada secara amnya dibahagikan kepada dua strategi: penukaran 2D kepada 3D dan 3D kepada 2D. Kaedah 2D-ke-3D meningkatkan ciri 2D yang padat dengan meramalkan kebarangkalian kedalaman, tetapi ketidakpastian yang wujud dalam ramalan kedalaman, terutamanya di kawasan yang jauh, mungkin menimbulkan ketidaktepatan. Manakala kaedah 3D ke 2D biasanya menggunakan pertanyaan 3D untuk mencuba ciri 2D dan mempelajari berat perhatian bagi kesesuaian antara ciri 3D dan 2D melalui Transformer, yang meningkatkan masa pengiraan dan penggunaan.

FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye Apr 26, 2024 am 11:37 AM

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

See all articles