Jadual Kandungan
1 > Penyelidik MIT mencadangkan Hipotesis Tiket Loteri (ICLR'19): Dalam rangkaian yang dimulakan secara rawak, terdapat subrangkaian loteri (tiket menang) yang mencapai keputusan yang baik apabila dilatih bersendirian. Hipotesis tiket loteri meneroka kebolehlatihan rangkaian jarang stokastik. Penyelidik Uber mencadangkan Supermask (NeurIPS'19): Dalam rangkaian yang dimulakan secara rawak, terdapat sub-rangkaian yang boleh digunakan secara langsung untuk inferens tanpa latihan. Supermask meneroka kebolehgunaan rangkaian jarang stokastik. Penyelidik di University of Washington mencadangkan Edge-Popup (CVPR'20): mempelajari topeng subrangkaian melalui perambatan belakang, yang meningkatkan kebolehgunaan rangkaian jarang rawak.
Penyelidikan berkaitan di atas meneroka potensi rangkaian jarang rawak dari sudut yang berbeza, seperti kebolehlatihan dan kebolehgunaan, yang mana kebolehgunaan juga boleh difahami untuk keupayaan perwakilan. Dalam karya ini, penulis berminat dengan seberapa baik rangkaian saraf yang dihasilkan daripada nombor rawak boleh mewakili tanpa pemberat latihan. Berikutan penerokaan masalah ini, penulis mencadangkan Parameter-Efficient Masking Networks (PEMN). Sememangnya, pengarang menggunakan PEMN untuk memberikan idea baharu untuk pemampatan rangkaian dan menjadi contoh untuk meneroka kemungkinan senario aplikasi PEMN.
Memandangkan rangkaian rawak, pengarang memilih algoritma Edge-Popup untuk memilih sub-rangkaian untuk meneroka keupayaan Perwakilannya. Perbezaannya ialah bukannya secara rawak memulakan keseluruhan rangkaian, penulis mencadangkan tiga strategi penjanaan rangkaian intensif parameter untuk menggunakan prototaip untuk membina rangkaian rawak.
4. Idea pemampatan rangkaian baharu
5. Kesimpulan
Rumah Peranti teknologi AI Bagaimana untuk meningkatkan kecekapan penyimpanan dan penghantaran? Rangkaian topeng intensif parameter mempunyai kesan yang ketara

Bagaimana untuk meningkatkan kecekapan penyimpanan dan penghantaran? Rangkaian topeng intensif parameter mempunyai kesan yang ketara

Apr 12, 2023 pm 05:10 PM
penyimpanan penularan

Untuk mengendalikan tugas yang lebih kompleks, skala rangkaian saraf telah meningkat sejak beberapa tahun kebelakangan ini, dan cara menyimpan dan menghantar rangkaian saraf dengan cekap telah menjadi sangat penting. Sebaliknya, dengan cadangan Hipotesis Tiket Loteri (LTH), rangkaian neural jarang rawak baru-baru ini telah menunjukkan potensi yang kuat Cara menggunakan potensi ini untuk meningkatkan kecekapan penyimpanan dan penghantaran rangkaian juga patut diterokai.

Penyelidik dari Northeastern University dan Rochester Institute of Technology mencadangkan Rangkaian Masking Cekap Parameter (PEMN). Penulis terlebih dahulu meneroka keupayaan perwakilan rangkaian rawak yang dihasilkan oleh bilangan nombor rawak yang terhad. Eksperimen menunjukkan bahawa walaupun rangkaian dijana daripada bilangan nombor rawak yang terhad, ia masih mempunyai keupayaan perwakilan yang baik dengan memilih struktur sub-rangkaian yang berbeza.

Melalui eksperimen penerokaan ini, penulis secara semula jadi mencadangkan untuk menggunakan bilangan nombor rawak yang terhad sebagai prototaip, digabungkan dengan satu set topeng untuk mengekspresikan rangkaian saraf. Oleh kerana bilangan nombor rawak dan topeng binari yang terhad menduduki ruang storan yang sangat sedikit, pengarang menggunakan ini untuk mencadangkan idea baharu untuk pemampatan rangkaian. Artikel tersebut telah diterima untuk NeurIPS 2022. Kod tersebut telah menjadi sumber terbuka.

Bagaimana untuk meningkatkan kecekapan penyimpanan dan penghantaran? Rangkaian topeng intensif parameter mempunyai kesan yang ketara

  • Alamat kertas: https://arxiv.org/abs/2210.06699
  • Kod kertas: https://github.com/yueb17/PEMN

1 > Penyelidik MIT mencadangkan Hipotesis Tiket Loteri (ICLR'19): Dalam rangkaian yang dimulakan secara rawak, terdapat subrangkaian loteri (tiket menang) yang mencapai keputusan yang baik apabila dilatih bersendirian. Hipotesis tiket loteri meneroka kebolehlatihan rangkaian jarang stokastik. Penyelidik Uber mencadangkan Supermask (NeurIPS'19): Dalam rangkaian yang dimulakan secara rawak, terdapat sub-rangkaian yang boleh digunakan secara langsung untuk inferens tanpa latihan. Supermask meneroka kebolehgunaan rangkaian jarang stokastik. Penyelidik di University of Washington mencadangkan Edge-Popup (CVPR'20): mempelajari topeng subrangkaian melalui perambatan belakang, yang meningkatkan kebolehgunaan rangkaian jarang rawak.

2. Motivasi/proses penyelidikan

Penyelidikan berkaitan di atas meneroka potensi rangkaian jarang rawak dari sudut yang berbeza, seperti kebolehlatihan dan kebolehgunaan, yang mana kebolehgunaan juga boleh difahami untuk keupayaan perwakilan. Dalam karya ini, penulis berminat dengan seberapa baik rangkaian saraf yang dihasilkan daripada nombor rawak boleh mewakili tanpa pemberat latihan. Berikutan penerokaan masalah ini, penulis mencadangkan Parameter-Efficient Masking Networks (PEMN). Sememangnya, pengarang menggunakan PEMN untuk memberikan idea baharu untuk pemampatan rangkaian dan menjadi contoh untuk meneroka kemungkinan senario aplikasi PEMN.

3 Meneroka keupayaan perwakilan rangkaian saraf yang terdiri daripada nombor rawak

Memandangkan rangkaian rawak, pengarang memilih algoritma Edge-Popup untuk memilih sub-rangkaian untuk meneroka keupayaan Perwakilannya. Perbezaannya ialah bukannya secara rawak memulakan keseluruhan rangkaian, penulis mencadangkan tiga strategi penjanaan rangkaian intensif parameter untuk menggunakan prototaip untuk membina rangkaian rawak.

Satu lapisan: Pilih berat struktur berulang dalam rangkaian sebagai prototaip untuk mengisi lapisan rangkaian lain dengan struktur yang sama.
  • Pelapik lapisan maksimum (MP): Pilih lapisan rangkaian dengan bilangan parameter terbesar sebagai prototaip dan potong amaun parameter yang sepadan untuk mengisi lapisan rangkaian lain.
  • Pelapik vektor rawak (RP): Pilih vektor rawak dengan panjang tertentu sebagai prototaip dan salinnya untuk mengisi keseluruhan rangkaian.
  • Tiga strategi penjanaan rangkaian rawak yang berbeza secara beransur-ansur mengurangkan bilangan nilai unik dalam rangkaian Kami memilih berdasarkan rangkaian rawak yang diperolehi oleh strategi yang berbeza potensi perwakilan rangkaian rawak yang dihasilkan oleh bilangan nombor rawak yang terhad.

Rajah di atas menunjukkan keputusan eksperimen pengelasan imej CIFAR10 menggunakan rangkaian ConvMixer dan ViT. Paksi-Y ialah ketepatan, dan paksi-X ialah rangkaian rawak yang diperoleh menggunakan strategi yang berbeza. Sebagaimana yang

Menurut keputusan percubaan, kami mendapati bahawa walaupun rangkaian rawak hanya mempunyai bilangan nombor rawak tidak berulang yang sangat terhad (seperti PR_1e-3), ia masih boleh mengekalkan perwakilan keupayaan sub-rangkaian yang dipilih. Setakat ini, penulis telah meneroka keupayaan perwakilan rangkaian saraf yang terdiri daripada bilangan nombor rawak yang terhad melalui strategi penjanaan rangkaian rawak yang berbeza dan memerhatikan bahawa walaupun nombor rawak tidak berulang adalah sangat terhad, rangkaian rawak yang sepadan masih boleh mewakili data dengan baik.

Pada masa yang sama, penulis mencadangkan jenis rangkaian neural baharu yang dipanggil Parameter-Efficient Masking Networks (PEMN) berdasarkan strategi penjanaan rangkaian rawak ini dan digabungkan dengan topeng sub-rangkaian yang diperolehi .

4. Idea pemampatan rangkaian baharu

Artikel ini memilih pemampatan rangkaian saraf sebagai contoh untuk mengembangkan potensi aplikasi PEMN. Secara khusus, strategi penjanaan rangkaian rawak berbeza yang dicadangkan dalam artikel ini boleh menggunakan prototaip dengan cekap untuk mewakili rangkaian rawak yang lengkap, terutamanya strategi padding vektor rawak (RP) yang paling halus.

Pengarang menggunakan prototaip vektor rawak dalam strategi RP dan set topeng sub-rangkaian yang sepadan untuk mewakili rangkaian rawak. Prototaip perlu disimpan dalam format titik terapung, manakala topeng hanya perlu disimpan dalam format binari. Oleh kerana panjang prototaip dalam RP boleh menjadi sangat pendek (kerana bilangan terhad nombor rawak tidak berulang masih mempunyai keupayaan perwakilan yang kuat), overhed mewakili rangkaian saraf akan menjadi sangat kecil, iaitu, menyimpan format nombor titik terapung dengan panjang terhad. Vektor rawak dan satu set topeng dalam format binari. Berbanding dengan rangkaian jarang tradisional yang menyimpan nilai titik terapung subrangkaian, kertas kerja ini mencadangkan idea pemampatan rangkaian baharu untuk menyimpan dan menghantar rangkaian saraf dengan cekap.

Bagaimana untuk meningkatkan kecekapan penyimpanan dan penghantaran? Rangkaian topeng intensif parameter mempunyai kesan yang ketara

Dalam rajah di atas, penulis menggunakan PEMN untuk memampatkan rangkaian dan membandingkannya dengan kaedah pemangkasan rangkaian tradisional. Percubaan menggunakan rangkaian ResNet untuk melaksanakan tugas pengelasan imej pada set data CIFAR. Kami mendapati bahawa skim mampatan baharu secara amnya berprestasi lebih baik daripada pemangkasan rangkaian tradisional Terutamanya pada kadar mampatan yang sangat tinggi, PEMN masih boleh mengekalkan ketepatan yang baik.

5. Kesimpulan

Diilhamkan oleh potensi yang ditunjukkan oleh rangkaian rawak terkini, kertas kerja ini mencadangkan strategi intensif parameter yang berbeza untuk membina rangkaian saraf rawak, dan kemudian meneroka kemungkinan hanya menggunakan Potensi perwakilan rangkaian saraf rawak yang dijana tanpa nombor rawak berulang adalah terhad, dan Rangkaian Topeng Cekap Parameter (PEMN) dicadangkan. Pengarang menggunakan PEMN pada senario pemampatan rangkaian untuk meneroka potensinya dalam aplikasi praktikal dan menyediakan idea baharu untuk pemampatan rangkaian. Pengarang menyediakan eksperimen yang meluas yang menunjukkan bahawa walaupun terdapat bilangan yang sangat terhad bagi nombor rawak tidak berulang dalam rangkaian rawak, ia masih mempunyai keupayaan perwakilan yang baik melalui pemilihan subrangkaian. Di samping itu, berbanding dengan algoritma pemangkasan tradisional, eksperimen menunjukkan bahawa kaedah yang baru dicadangkan boleh mencapai kesan mampatan rangkaian yang lebih baik, mengesahkan potensi aplikasi PEMN dalam senario ini.

Atas ialah kandungan terperinci Bagaimana untuk meningkatkan kecekapan penyimpanan dan penghantaran? Rangkaian topeng intensif parameter mempunyai kesan yang ketara. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Huawei akan melancarkan produk storan MED yang inovatif tahun depan: kapasiti rak melebihi 10 PB dan penggunaan kuasa kurang daripada 2 kW Huawei akan melancarkan produk storan MED yang inovatif tahun depan: kapasiti rak melebihi 10 PB dan penggunaan kuasa kurang daripada 2 kW Mar 07, 2024 pm 10:43 PM

Laman web ini melaporkan pada 7 Mac bahawa Dr. Zhou Yuefeng, Presiden Barisan Produk Penyimpanan Data Huawei, baru-baru ini menghadiri persidangan MWC2024 dan secara khusus menunjukkan penyelesaian penyimpanan magnetoelektrik OceanStorArctic generasi baharu yang direka untuk data hangat (WarmData) dan data sejuk (ColdData). Zhou Yuefeng, Presiden barisan produk penyimpanan data Huawei, mengeluarkan satu siri penyelesaian inovatif Sumber imej: Siaran akhbar rasmi Huawei yang dilampirkan pada tapak ini adalah seperti berikut: Kos penyelesaian ini adalah 20% lebih rendah daripada pita magnetik. penggunaan kuasa adalah 90% lebih rendah daripada cakera keras. Menurut bloksandfiles media teknologi asing, jurucakap Huawei turut mendedahkan maklumat tentang penyelesaian storan magnetoelektrik: Cakera magnetoelektronik (MED) Huawei ialah inovasi utama dalam media storan magnetik. Generasi pertama ME

Kemahiran pembangunan Vue3+TS+Vite: cara menyulitkan dan menyimpan data Kemahiran pembangunan Vue3+TS+Vite: cara menyulitkan dan menyimpan data Sep 10, 2023 pm 04:51 PM

Petua pembangunan Vue3+TS+Vite: Cara menyulitkan dan menyimpan data Dengan perkembangan pesat teknologi Internet, keselamatan data dan perlindungan privasi menjadi semakin penting. Dalam persekitaran pembangunan Vue3+TS+Vite, cara menyulitkan dan menyimpan data adalah masalah yang perlu dihadapi oleh setiap pembangun. Artikel ini akan memperkenalkan beberapa teknik penyulitan dan storan data biasa untuk membantu pembangun meningkatkan keselamatan aplikasi dan pengalaman pengguna. 1. Penyulitan Data Penyulitan Data Bahagian Hadapan Penyulitan Bahagian Hadapan ialah bahagian penting dalam melindungi keselamatan data. Biasa digunakan

Cara mengosongkan cache pada Windows 11: Tutorial terperinci dengan gambar Cara mengosongkan cache pada Windows 11: Tutorial terperinci dengan gambar Apr 24, 2023 pm 09:37 PM

Apakah cache? Cache (sebutan ka·shay) ialah komponen perkakasan atau perisian berkelajuan tinggi khusus yang digunakan untuk menyimpan data dan arahan yang kerap diminta, yang seterusnya boleh digunakan untuk memuatkan tapak web, aplikasi, perkhidmatan dan aspek lain bahagian sistem dengan lebih pantas. . Caching menjadikan data yang paling kerap diakses tersedia. Fail cache tidak sama dengan memori cache. Fail cache merujuk kepada fail yang kerap diperlukan seperti PNG, ikon, logo, shader, dsb., yang mungkin diperlukan oleh berbilang program. Fail ini disimpan dalam ruang pemacu fizikal anda, biasanya tersembunyi. Memori cache, sebaliknya, adalah sejenis memori yang lebih pantas daripada memori utama dan/atau RAM. Ia sangat mengurangkan masa capaian data kerana ia lebih dekat dengan CPU dan lebih pantas berbanding dengan RAM

Proses pemasangan Git pada Ubuntu Proses pemasangan Git pada Ubuntu Mar 20, 2024 pm 04:51 PM

Git ialah sistem kawalan versi teragih yang pantas, boleh dipercayai dan boleh disesuaikan. Ia direka bentuk untuk menyokong aliran kerja bukan linear teragih, menjadikannya ideal untuk pasukan pembangunan perisian dari semua saiz. Setiap direktori kerja Git ialah repositori bebas dengan sejarah lengkap semua perubahan dan keupayaan untuk menjejak versi walaupun tanpa akses rangkaian atau pelayan pusat. GitHub ialah repositori Git yang dihoskan pada awan yang menyediakan semua ciri kawalan semakan yang diedarkan. GitHub ialah repositori Git yang dihoskan pada awan. Tidak seperti Git yang merupakan alat CLI, GitHub mempunyai antara muka pengguna grafik berasaskan web. Ia digunakan untuk kawalan versi, yang melibatkan kerjasama dengan pembangun lain dan menjejaki perubahan pada skrip dan

Bagaimana untuk memindahkan fail rakaman skrin ke telefon bimbit tanpa kehilangan_Tutorial memindahkan video rakaman skrin dari komputer ke telefon bimbit tanpa pemampatan Bagaimana untuk memindahkan fail rakaman skrin ke telefon bimbit tanpa kehilangan_Tutorial memindahkan video rakaman skrin dari komputer ke telefon bimbit tanpa pemampatan Mar 01, 2024 pm 09:53 PM

Dalam kehidupan dan kerja harian kita, kita sering perlu menggunakan peranti komputer dan peranti mudah alih untuk memindahkan fail video antara satu sama lain Walau bagaimanapun, fail video di bahagian penerima terdedah kepada kabur Ini disebabkan oleh pemampatan perisian penghantaran semasa proses penghantaran. Bagaimana untuk mengelakkan situasi ini dan bagaimana untuk memindahkan fail ke peranti lain tanpa kehilangan Anda boleh menggunakan perisian rakaman skrin EV untuk memindahkan fail video yang dirakam pada telefon bimbit ke komputer dalam bentuk tanpa kehilangan dan tidak dimampatkan untuk main semula video, di bawah saya akan membawakan anda tutorial yang berkaitan, saya harap ia dapat membantu anda. Langkah pertama tentang cara memindahkan fail rakaman skrin ke telefon mudah alih anda tanpa kehilangan adalah dengan memuat turun perisian rakaman skrin EV pada telefon mudah alih anda, kemudian klik "Toolkit" pada halaman utama dan cari fungsi "WiFi Transfer". Langkah kedua ialah berputus asa

Cara menggunakan sessionStorage dengan betul untuk melindungi data sensitif Cara menggunakan sessionStorage dengan betul untuk melindungi data sensitif Jan 13, 2024 am 11:54 AM

Cara menggunakan sessionStorage dengan betul untuk menyimpan maklumat sensitif memerlukan contoh kod khusus Sama ada dalam pembangunan web atau pembangunan aplikasi mudah alih, kami selalunya perlu menyimpan dan memproses maklumat sensitif, seperti bukti kelayakan log masuk pengguna, nombor ID, dsb. Dalam pembangunan bahagian hadapan, menggunakan sessionStorage ialah penyelesaian storan biasa. Walau bagaimanapun, memandangkan sessionStorage ialah storan berasaskan pelayar, beberapa isu keselamatan perlu diberi perhatian untuk memastikan maklumat sensitif yang disimpan tidak diakses dan digunakan secara berniat jahat.

Bagaimanakah PHP dan swoole mencapai caching dan penyimpanan data yang cekap? Bagaimanakah PHP dan swoole mencapai caching dan penyimpanan data yang cekap? Jul 23, 2023 pm 04:03 PM

Bagaimanakah PHP dan swoole mencapai caching dan penyimpanan data yang cekap? Gambaran Keseluruhan: Dalam pembangunan aplikasi web, caching dan penyimpanan data adalah bahagian yang sangat penting. PHP dan swoole menyediakan kaedah yang cekap untuk cache dan menyimpan data. Artikel ini akan memperkenalkan cara menggunakan PHP dan swoole untuk mencapai caching dan penyimpanan data yang cekap, serta memberikan contoh kod yang sepadan. 1. Pengenalan kepada swoole: swoole ialah enjin komunikasi rangkaian tak segerak berprestasi tinggi yang dibangunkan untuk bahasa PHP

Analisis penuh rangka kerja pengumpulan Java: membedah struktur data dan mendedahkan rahsia storan yang cekap Analisis penuh rangka kerja pengumpulan Java: membedah struktur data dan mendedahkan rahsia storan yang cekap Feb 23, 2024 am 10:49 AM

Gambaran Keseluruhan Rangka Kerja Koleksi Java Rangka kerja pengumpulan Java ialah bahagian penting dalam bahasa pengaturcaraan Java Ia menyediakan satu siri perpustakaan kelas kontena yang boleh menyimpan dan mengurus data. Pustaka kelas kontena ini mempunyai struktur data yang berbeza untuk memenuhi keperluan penyimpanan dan pemprosesan data dalam senario yang berbeza. Kelebihan rangka kerja koleksi ialah ia menyediakan antara muka bersatu, membolehkan pembangun mengendalikan perpustakaan kelas kontena yang berbeza dengan cara yang sama, dengan itu mengurangkan kesukaran pembangunan. Struktur data rangka kerja pengumpulan Java Rangka kerja pengumpulan Java mengandungi pelbagai struktur data, setiap satunya mempunyai ciri unik dan senario yang boleh digunakan. Berikut adalah beberapa struktur data rangka kerja pengumpulan Java yang biasa: 1. Senarai: Senarai ialah koleksi tersusun yang membolehkan elemen diulang. Li

See all articles