Peranti teknologi
AI
Paradigma baharu untuk penyuntingan teks dan imej, satu model membolehkan penyuntingan imej berpandukan berbilang teks
Paradigma baharu untuk penyuntingan teks dan imej, satu model membolehkan penyuntingan imej berpandukan berbilang teks
Ikhtisar ringkas kertas kerja
Penyelidikan yang berkaitan dengan penyuntingan imej menggunakan teks sangat hangat dan banyak kajian baru-baru ini adalah berdasarkan pada penyebaran denoising Walau bagaimanapun, beberapa sarjana terus memberi perhatian kepada penyelidikan berkaitan GAN. Artikel ini adalah berdasarkan StyleGAN dan CLIP klasik dan mencadangkan modul modulasi semantik, supaya hanya satu model diperlukan untuk teks yang berbeza untuk melaksanakan pengeditan imej teks.
Artikel ini mula-mula menggunakan pengekod sedia ada untuk menukar imej untuk diedit ke dalam pengekodan terpendam w dalam ruang semantik W^+ StyleGAN, dan kemudian menggunakan modul modulasi semantik yang dicadangkan untuk mengekod kod pendam w Pengekodan melaksanakan modulasi adaptif. Modul pemodulatan semantik termasuk penjajaran semantik dan modul suntikan semantik Ia mula-mula menjajarkan semantik antara pengekodan teks dan pengekodan terpendam GAN melalui mekanisme perhatian, dan kemudian menyuntik maklumat teks ke dalam pengekodan terpendam sejajar untuk memastikan pengekodan Cain memiliki. teks. Maklumat dengan itu mencapai keupayaan untuk mengedit imej menggunakan teks.
Berbeza daripada model StyleCLIP klasik, model kami tidak perlu melatih model berasingan untuk setiap teks Satu model boleh bertindak balas kepada berbilang teks untuk mengedit imej dengan berkesan, jadi kita Model itu menjadi Manipulasi Imej Dipacu Teks Borang Bebas FFCLIP. Pada masa yang sama, model kami telah mencapai hasil yang sangat baik pada set data gereja, muka dan kereta klasik.
- Alamat kertas: https://arxiv.org/pdf/2210.07883.pdf
- Alamat Github: https://github.com/KumapowerLIU/FFCLIP
Latar belakang dan inspirasi
Baru-baru ini, gesaan teks percuma yang menerangkan niat pengguna telah digunakan untuk mengedit ruang terpendam StyleGAN untuk operasi penyuntingan imej [1, 2]. Mengambil sebagai input ayat (cth., 'Biru') atau frasa (cth., 'Lelaki berumur 10'), kaedah ini mengedit atribut imej yang diterangkan dengan sewajarnya dengan memodulasi pengekodan pendam dalam ruang pendam StyleGAN.
Pengeditan imej teks yang tepat bergantung pada pemetaan terpendam yang tepat antara ruang semantik visual StyleGAN dan ruang semantik teks CLIP. Sebagai contoh, apabila gesaan teks ialah "kejutan", kami mula-mula mengenal pasti subruang semantik yang berkaitan (iaitu "ungkapan", kerana kejutan tergolong dalam atribut ungkapan) dalam ruang semantik visual. Selepas mencari subruang semantik yang sepadan dengan teks, teks akan memberitahu kami arah perubahan pengekodan terpendam, daripada ungkapan semasa kepada ungkapan kejutan. Kajian perintis seperti TediGAN [1] dan StyleCLIP [2] dipratentukan secara empirik subruang visual terpendam yang sepadan dengan pembenaman pembayang teks sasaran (iaitu, pemilihan atribut khusus dalam TediGAN dan pemetaan kumpulan dalam StyleCLIP). Pengecaman empirikal ini mengekang bahawa diberikan gesaan teks, mereka mesti melatih model penyuntingan yang sepadan.
Isyarat teks yang berbeza memerlukan model yang berbeza untuk memodulasi kod terpendam dalam subruang visual terpendam StyleGAN. Walaupun kaedah orientasi global dalam StyleCLIP tidak menggunakan proses sedemikian, pelarasan parameter dan orientasi penyuntingan dipratakrifkan secara manual. Atas sebab ini, kami mempunyai sebab untuk meneroka cara mencari subruang semantik visual tersirat secara automatik melalui teks eksplisit, supaya satu model boleh mengendalikan berbilang teks.
Dalam kertas kerja ini, kami mencadangkan FFCLIP-Free Borang CLIP, yang secara automatik boleh mencari subruang visual yang sepadan untuk teks yang berbeza. FFCLIP terdiri daripada beberapa modul modulasi semantik yang mengambil sebagai input pengekodan terpendam w^+ dan pengekodan teks e dalam ruang pendam StyleGAN W^+.
Modul modulasi semantik terdiri daripada modul penjajaran semantik dan modul suntikan semantik. Modul penjajaran semantik mengambil pengekodan teks e sebagai pertanyaan dan pengekodan terpendam w sebagai kunci dan nilai. Kemudian kami mengira perhatian silang dalam dimensi kedudukan dan saluran masing-masing, menghasilkan dua peta perhatian. Kemudian kami menggunakan transformasi linear untuk mengubah ruang visual semasa ke dalam subruang yang sepadan dengan teks, di mana parameter transformasi linear (iaitu, terjemahan dan parameter penskalaan) dikira berdasarkan dua peta perhatian ini. Melalui penjajaran ini, kami boleh mencari subruang visual yang sepadan secara automatik untuk setiap teks. Akhir sekali, modul suntikan semantik [3] mengubah suai kod terpendam dalam subruang dengan mengikuti satu lagi transformasi linear.
Dari perspektif FFCLIP, [1, 2] pemilihan empirikal ruang neutron ialah satu bentuk khas transformasi linear kami dalam modul penjajaran semantik. Operasi pemilihan kumpulan mereka adalah serupa dengan nilai binari parameter penskalaan kami untuk menunjukkan penggunaan setiap dimensi kedudukan w. Sebaliknya, kami melihat bahawa semantik ruang W^+ masih terikat, dan reka bentuk empirikal tidak dapat mencari pemetaan yang tepat antara ruang terpendam StyleGAN dan ruang semantik teks CLIP. Sebaliknya, parameter penskalaan dalam modul penjajaran semantik kami secara adaptif mengubah suai kod terpendam w untuk memetakan pembenaman kiu teks yang berbeza. Penjajaran kemudiannya dipertingkatkan lagi melalui parameter terjemahan kami. Kami menilai kaedah kami pada set data penanda aras dan membandingkan FFCLIP dengan kaedah terkini. Keputusan menunjukkan bahawa FFCLIP mampu menjana kandungan yang lebih munasabah sambil menyampaikan niat pengguna.
FFCLIP
Rajah 1 menunjukkan rangka kerja keseluruhan kami. FFCLIP mula-mula memperoleh pengekodan terpendam imej dan teks melalui pengekod penyongsangan GAN dan pengekod teks yang telah terlatih Pengekodan terpendam imej adalah w dalam ruang semantik visual StyleGAN W^+ yang dinyatakan sebelum ini, manakala pengekodan teks ialah e_t. Seperti StyleCLIP, kami menggunakan pengekod penyongsangan e4e GAN [4] dan pengekod teks dalam CLIP untuk mendapatkan pengekodan pendam yang sepadan masing-masing. Kemudian kami menggunakan e_t dan w sebagai input modul modulasi dan keluarkan offset Δw w Akhir sekali, tambahkan Δw kepada w asal dan masukkan ke dalam StyleGAN yang telah dilatih untuk mendapatkan hasil yang sepadan.
Rajah 1: Gambarajah keseluruhan bingkai
Rajah 2 di bawah ialah modul modulasi semantik kami. Dalam modul penjajaran semantik (Penjajaran Semantik), kita dapat melihat dengan jelas bahawa kita menetapkan Δw kepada Kunci dan Nilai dan menetapkan e_t kepada Pertanyaan untuk mengira dua peta perhatian Saiz kedua-dua peta perhatian ini adalah 18×1 dan 512×512 . Kemudian kami menganggap peta perhatian 18×1 sebagai pekali skala S dalam penjelmaan linear Proses kami mengira peta perhatian adalah seperti berikut:
Pada masa yang sama kita Selepas mendarab peta perhatian 512×512 dengan Nilai, pekali terjemahan T dalam penjelmaan eksplisit diperoleh melalui operasi Pengumpulan. Proses kami mengira peta perhatian adalah seperti berikut:
Selepas mempunyai terjemahan dan pekali penskalaan, kita boleh mencari fasa untuk teks semasa e_t melalui transformasi linear Untuk subruang visual yang sepadan, langkah pengiraan adalah seperti berikut:
Pertengahan x_i ialah hasil keluaran modulasi semantik ke-i kami modul. Oleh kerana saiz Δw ialah 18×512, peta perhatian 18×1 dan 512×512 masing-masing dikira dalam dua dimensi kedudukan dan saluran Δw Operasi ini serupa dengan Perhatian Berganda [5]. 🎜>
Rajah 2: Modulasi semantik Kita boleh dapatkan subruang visual yang sepadan dengan teks melalui operasi di atas Kemudian kami menggunakan kaedah yang serupa dengan AdaIN untuk menyuntik maklumat teks ke dalam ruang ini untuk mendapatkan hasil akhir Kami memanggil operasi ini sebagai modul suntikan semantik. Langkah-langkah pelaksanaan keseluruhan modul adalah seperti berikut:
Akhirnya, sejumlah 4 modul modulasi semantik telah disusun dalam FFCLIP kami, dan akhirnya offset akhir Δw diperolehi.
Hasil eksperimen
Rajah 3: Perbandingan visual
Seperti yang ditunjukkan dalam Rajah 3, kami membuat perbandingan visual dengan StyleCLIP [1], TediGAN [2] dan HairCLIP [3]: dapat dilihat bahawa FFCLIP boleh mencerminkan semantik teks dengan lebih baik, dan menjana imej yang disunting yang lebih realistik. Pada masa yang sama, hasil perbandingan berangka yang sepadan ditunjukkan dalam jadual di bawah Kaedah kami boleh mencapai hasil terbaik dalam kedua-dua nilai objektif dan subjektif.
Jadual 1: Perbandingan berangka
Pada masa yang sama, kaedah kami juga menunjukkan keteguhan yang sangat baik semasa latihan tetapi menggunakan perkataan tunggal untuk latihan, bagaimanapun, ia boleh melakukan pemprosesan imej dengan baik berdasarkan semantik kumpulan perkataan. kesan visual ditunjukkan dalam Rajah 4.
Rajah 4: Penyuntingan frasa
Untuk lebih banyak keputusan percubaan dan percubaan ablasi, sila lihat teks asal.
Ringkasan
Dalam kertas kerja ini kami mencadangkan FFCLIP, kaedah baharu untuk penyuntingan imej yang cekap yang boleh menyasarkan teks yang berbeza tetapi hanya memerlukan satu model. Motivasi artikel ini ialah kaedah sedia ada sepadan dengan teks semasa dan subruang semantik GAN berdasarkan pengalaman sedia ada, jadi model pengeditan hanya boleh mengendalikan satu gesaan teks. Kami menambah baik pemetaan terpendam melalui penjajaran dan modulasi semantik yang disuntik. Ia memudahkan satu model penyuntingan untuk mengendalikan berbilang gesaan teks. Percubaan pada berbilang set data menunjukkan bahawa FFCLIP kami berkesan menghasilkan hasil yang berkaitan secara semantik dan visual yang realistik.
Atas ialah kandungan terperinci Paradigma baharu untuk penyuntingan teks dan imej, satu model membolehkan penyuntingan imej berpandukan berbilang teks. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
AI Hentai Generator
Menjana ai hentai secara percuma.
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am
KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka
Jun 01, 2024 pm 10:03 PM
Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah
Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh
Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU
Apr 01, 2024 pm 07:46 PM
Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana
Apr 09, 2024 am 11:52 AM
AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.
Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini!
May 06, 2024 pm 04:13 PM
Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh
FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye
Apr 26, 2024 am 11:37 AM
Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi
DualBEV: mengatasi BEVFormer dan BEVDet4D dengan ketara, buka buku!
Mar 21, 2024 pm 05:21 PM
Kertas kerja ini meneroka masalah mengesan objek dengan tepat dari sudut pandangan yang berbeza (seperti perspektif dan pandangan mata burung) dalam pemanduan autonomi, terutamanya cara mengubah ciri dari perspektif (PV) kepada ruang pandangan mata burung (BEV) dengan berkesan dilaksanakan melalui modul Transformasi Visual (VT). Kaedah sedia ada secara amnya dibahagikan kepada dua strategi: penukaran 2D kepada 3D dan 3D kepada 2D. Kaedah 2D-ke-3D meningkatkan ciri 2D yang padat dengan meramalkan kebarangkalian kedalaman, tetapi ketidakpastian yang wujud dalam ramalan kedalaman, terutamanya di kawasan yang jauh, mungkin menimbulkan ketidaktepatan. Manakala kaedah 3D ke 2D biasanya menggunakan pertanyaan 3D untuk mencuba ciri 2D dan mempelajari berat perhatian bagi kesesuaian antara ciri 3D dan 2D melalui Transformer, yang meningkatkan masa pengiraan dan penggunaan.
