Beberapa baris kod menstabilkan UNet! Universiti Sun Yat-sen dan lain-lain mencadangkan model penyebaran ScaleLong: daripada mempersoalkan Penskalaan kepada menjadi Penskalaan

Dalam struktur UNet standard, pekali penskalaan pada sambungan langkau panjang secara amnya ialah 1.

Walau bagaimanapun, dalam beberapa kerja model resapan yang terkenal, seperti Imagen, model generatif berasaskan Skor, dan SR3, dsb., semuanya telah ditetapkan , dan mendapati tetapan sedemikian boleh mempercepatkan latihan resapan dengan berkesan model. . latihan model resapan.

Pertama sekali, paparan empirikal seperti ini membuatkan kita tidak jelas tentang peranan yang dimainkan oleh tetapan ini?

Selain itu, kita tidak tahu sama ada kita hanya boleh menetapkan

, atau bolehkah kita menggunakan pemalar lain?

Adakah "status" sambungan langkau di lokasi berbeza adalah sama?

Pengarang mempunyai banyak tanda tanya tentang perkara ini...

Gambar

Memahami Penskalaan

Secara amnya, berbanding dengan struktur Resep, UNS, bukan dalam Transform Tidak mendalam, ia kurang terdedah kepada masalah pengoptimuman seperti kecerunan lenyap yang biasa dalam struktur rangkaian saraf "dalam" lain.

Selain itu, disebabkan keistimewaan struktur UNet, ciri cetek disambungkan ke lokasi dalam melalui sambungan langkau panjang, sekali gus mengelakkan masalah seperti kehilangan kecerunan.

Kemudian fikirkan sebaliknya, jika struktur sedemikian tidak diberi perhatian, adakah ia akan menyebabkan masalah seperti kecerunan yang berlebihan dan ayunan parameter (ciri) akibat kemas kini?

Gambar

Dengan menggambarkan ciri dan parameter tugas model resapan semasa proses latihan, ia boleh didapati bahawa ketidakstabilan memang wujud.

Ketidakstabilan parameter (ciri) menjejaskan kecerunan, yang seterusnya menjejaskan kemas kini parameter. Akhirnya proses ini mempunyai risiko yang lebih besar untuk gangguan yang tidak diingini terhadap prestasi. Oleh itu, kita perlu mencari jalan untuk mengawal ketidakstabilan ini.

Seterusnya, untuk model resapan. Input UNet ialah imej yang bising Jika model diperlukan untuk meramalkan bunyi tambahan dengan tepat, ini memerlukan model mempunyai keteguhan yang kuat terhadap input terhadap gangguan tambahan.

Kertas: https://arxiv.org/abs/2310.13545

Kod: https://github.com/sail-sg/ScaleLong Penyelidik menemui masalah di atas, yang boleh ditemui di Long sambungan langkau Penskalaan dilakukan pada sistem untuk mitigasi bersatu.

Daripada teorem 3.1, julat ayunan ciri lapisan tengah (lebar sempadan atas dan bawah) secara langsung berkaitan dengan jumlah kuasa dua pekali skala. Pekali skala yang sesuai membantu mengurangkan ketidakstabilan ciri.

Walau bagaimanapun, perlu diingatkan bahawa jika pekali penskalaan ditetapkan secara langsung kepada 0, renjatan sememangnya dapat dikurangkan secara optimum. (Kepala anjing manual)

Tetapi jika UNet merosot kepada situasi tanpa skip, masalah ketidakstabilan dapat diselesaikan, tetapi keupayaan perwakilan juga hilang. Ini adalah pertukaran antara kestabilan model dan keupayaan perwakilan.

Gambar

Begitu juga, dari perspektif kecerunan parameter. Teorem 3.3 juga mendedahkan bahawa pekali skala mengawal magnitud kecerunan.

Gambar

Selanjutnya, Teorem 3.4 juga mendedahkan bahawa penskalaan pada sambungan langkau panjang juga boleh menjejaskan sempadan atas model yang teguh kepada gangguan input dan meningkatkan kestabilan model resapan kepada gangguan input. .

Seterusnya, kami akan menganalisis jenis penskalaan yang boleh mempunyai prestasi yang lebih baik Lagipun, analisis di atas hanya dapat menunjukkan bahawa penskalaan adalah baik, tetapi ia tidak dapat menentukan penskalaan yang mana yang terbaik atau lebih baik.

Cara mudah ialah memperkenalkan modul yang boleh dipelajari untuk sambungan langkau panjang untuk menyesuaikan penskalaan secara adaptif Kaedah ini dipanggil Kaedah Penskalaan Boleh Belajar (LS). Kami menggunakan struktur yang serupa dengan SENet, iaitu seperti berikut (struktur U-ViT yang dipertimbangkan di sini adalah tersusun dengan sangat baik, seperti!) gambar

Daripada hasil artikel ini, LS sememangnya boleh menstabilkan dengan cekap latihan model resapan! Selanjutnya, kami cuba menggambarkan pekali yang dipelajari dalam LS.

Seperti yang ditunjukkan dalam rajah di bawah, kita akan mendapati bahawa pekali ini menunjukkan aliran menurun eksponen (perhatikan bahawa sambungan langkau panjang pertama di sini merujuk kepada sambungan yang menghubungkan hujung pertama dan akhir UNet), dan pekali pertama hampir hampir kepada 1. Ini Fenomena ini juga menakjubkan!

Gambar

Berdasarkan siri pemerhatian ini (sila rujuk kertas untuk butiran lanjut), kami seterusnya mencadangkan Kaedah Penskalaan Malar (CS), yang tidak memerlukan parameter yang boleh dipelajari:

Strategi

CS tidak memerlukan parameter tambahan seperti operasi penskalaan asal menggunakan , jadi hampir tiada penggunaan pengiraan tambahan.

Walaupun CS tidak menunjukkan prestasi sebaik LS dalam latihan yang stabil pada kebanyakan masa, ia masih berbaloi untuk dicuba untuk strategi

yang sedia ada.

Pelaksanaan CS dan LS di atas adalah sangat mudah dan hanya memerlukan beberapa baris kod. Untuk setiap struktur (hua) formula (li) dan setiap (hu) jenis (shao) struktur UNet, dimensi ciri mungkin perlu diselaraskan. (Kepala anjing manual +1)

Baru-baru ini, beberapa kerja susulan, seperti FreeU, SCEdit, dsb., juga telah mendedahkan kepentingan skala pada sambungan langkau Semua orang dialu-alukan untuk mencuba dan mempromosikannya.

Atas ialah kandungan terperinci Beberapa baris kod menstabilkan UNet! Universiti Sun Yat-sen dan lain-lain mencadangkan model penyebaran ScaleLong: daripada mempersoalkan Penskalaan kepada menjadi Penskalaan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!