Penyelesaian persekitaran terbuka yang menyelesaikan kekurangan seperti lapisan Batch Norm

Kaedah Penyesuaian Masa Ujian (TTA) membimbing model untuk melaksanakan pembelajaran tanpa penyeliaan/penyeliaan kendiri yang pantas semasa fasa ujian Ia kini merupakan alat yang berkuasa dan berkesan untuk meningkatkan keupayaan generalisasi luar pengedaran model mendalam. Walau bagaimanapun, dalam senario terbuka dinamik, kestabilan yang tidak mencukupi masih merupakan kelemahan utama kaedah TTA sedia ada, yang secara serius menghalang penggunaan praktikal mereka. Untuk tujuan ini, pasukan penyelidik dari Universiti Teknologi China Selatan, Tencent AI Lab dan Universiti Nasional Singapura menganalisis sebab kaedah TTA sedia ada tidak stabil dalam senario dinamik dari perspektif bersatu, dan menunjukkan bahawa lapisan normalisasi yang bergantung on Batch membawa kepada ketidakstabilan Salah satu sebab utama untuk kestabilan, di samping itu, beberapa sampel dengan kecerunan bunyi/berskala besar dalam aliran data ujian boleh mengoptimumkan model dengan mudah kepada penyelesaian remeh yang merosot. Berdasarkan ini, kaedah pengecilan entropi masa ujian yang sensitif ketajaman dan boleh dipercayai SAR selanjutnya dicadangkan untuk mencapai migrasi dan generalisasi dalam talian model masa ujian yang stabil dan cekap dalam senario terbuka dinamik. Karya ini telah dipilih ke dalam ICLR 2023 Oral (Top-5% antara kertas yang diterima).

• Tajuk kertas: Ke Arah Penyesuaian Masa Ujian Stabil dalam Dunia Liar Dinamik
• Alamat kertas: https://openreview.net/forum?id=g2YraF75Tj
• Kod sumber terbuka: https://github.com / mr-eggplant/SAR

Apakah itu Penyesuaian Masa Ujian?

Teknologi pembelajaran mesin tradisional biasanya mempelajari sejumlah besar data latihan yang dikumpul terlebih dahulu, dan kemudian membetulkan model untuk ramalan inferens. Paradigma ini selalunya mencapai prestasi yang sangat baik apabila data ujian dan latihan datang daripada pengedaran data yang sama. Walau bagaimanapun, dalam aplikasi praktikal, pengedaran data ujian boleh dengan mudah menyimpang daripada pengedaran data latihan asal (anjakan pengedaran Contohnya, semasa mengumpul data ujian: 1) Perubahan cuaca menyebabkan imej mengandungi hujan, salji dan kabus oklusi; 2) Imej menjadi kabur kerana penangkapan yang tidak betul, atau imej mengandungi hingar akibat degradasi penderia; Situasi di atas adalah sangat biasa, tetapi ia selalunya membawa maut untuk model dalam, kerana prestasinya mungkin menurun dengan ketara dalam senario ini, dengan serius mengehadkan penggunaannya dalam dunia nyata (terutamanya aplikasi berisiko tinggi seperti pemanduan autonomi) penggunaan meluas.

Rajah 1 Gambarajah Skema Penyesuaian Masa Ujian (rujuk [5]) dan hubungannya dengan moden Perbandingan ciri kaedah

berbeza daripada paradigma pembelajaran mesin tradisional, seperti yang ditunjukkan dalam Rajah 1. Selepas sampel ujian tiba, Masa Ujian Penyesuaian (TTA) pertama sekali berdasarkan Data digunakan untuk memperhalusi model dengan cara yang diselia sendiri atau tidak diselia, dan kemudian model yang dikemas kini digunakan untuk membuat ramalan akhir. Matlamat pembelajaran kendiri/tanpa seliaan biasa termasuk: ramalan putaran, pembelajaran kontrastif, pengecilan entropi, dsb. Kaedah ini semuanya menunjukkan prestasi generalisasi luar pengedaran yang sangat baik. Berbanding dengan kaedah Penalaan Halus dan Penyesuaian Domain Tanpa Pengawasan tradisional, Penyesuaian Masa Ujian boleh mencapai penghijrahan dalam talian, yang lebih cekap dan lebih universal. Selain itu, kaedah penyesuaian masa ujian yang lengkap [2] boleh disesuaikan dengan mana-mana model pra-latihan tanpa memerlukan data latihan asal atau gangguan terhadap proses latihan asal model tersebut. Kelebihan di atas telah banyak meningkatkan kepelbagaian praktikal kaedah TTA Ditambah dengan prestasi cemerlangnya, TTA telah menjadi hala tuju penyelidikan yang sangat panas dalam migrasi, generalisasi dan bidang lain yang berkaitan.

Mengapa Penyesuaian Masa Ujian Liar?

Walaupun kaedah TTA sedia ada telah menunjukkan potensi besar dalam generalisasi luar pengedaran, prestasi cemerlang ini selalunya diperoleh di bawah beberapa keadaan ujian tertentu, seperti Sampel aliran data dalam tempoh masa semuanya datang daripada jenis anjakan pengedaran yang sama, pengedaran kategori sebenar bagi sampel ujian adalah seragam dan rawak, dan setiap kali sampel kumpulan mini diperlukan sebelum penyesuaian boleh dilakukan. Tetapi sebenarnya, andaian-andaian yang berpotensi di atas ini sukar untuk sentiasa berpuas hati dalam dunia terbuka sebenar. Dalam amalan, strim data ujian mungkin tiba dalam sebarang kombinasi, dan idealnya model tidak boleh membuat sebarang andaian tentang bentuk strim data ujian yang tiba. Seperti yang ditunjukkan dalam Rajah 2, aliran data ujian mungkin ditemui: (a) sampel datang daripada offset pengedaran yang berbeza (iaitu, offset sampel campuran); (b) saiz kelompok sampel adalah sangat kecil ( Genap 1) ; (c) Taburan kategori sebenar sampel dalam tempoh masa adalah tidak sekata dan berubah secara dinamik . Artikel ini merujuk kepada TTA dalam senario di atas sebagai TTA Liar. Malangnya, kaedah TTA sedia ada sering kelihatan rapuh dan tidak stabil dalam senario liar ini, dengan prestasi penghijrahan terhad dan mungkin merosakkan prestasi model asal. Oleh itu, jika kita ingin benar-benar merealisasikan penggunaan aplikasi berskala besar dan mendalam bagi kaedah TTA dalam senario sebenar, menyelesaikan masalah TTA Liar adalah bahagian yang tidak dapat dielakkan dan penting.

Rajah 2 Adegan terbuka dinamik semasa penyesuaian model semasa ujian model Idea penyelesaian dan penyelesaian teknikal

Artikel ini menganalisis sebab TTA gagal dalam banyak senario liar dari perspektif bersatu, dan kemudian menyediakan penyelesaian.

1. Mengapa TTA Liar tidak stabil?

(1) Penormalan Kelompok (BN) ialah salah satu sebab utama ketidakstabilan TTA dalam senario dinamik

: Kaedah TTA sedia ada biasanya diwujudkan Berdasarkan statistik BN adaptif, data ujian digunakan untuk mengira min dan sisihan piawai dalam lapisan BN. Walau bagaimanapun, dalam tiga senario dinamik sebenar, ketepatan anggaran statistik dalam lapisan BN akan menjadi berat sebelah, mengakibatkan TTA tidak stabil:

Senario (a) : Sejak statistik BN sebenarnya mewakili pengedaran data ujian tertentu, menggunakan set parameter statistik untuk menganggarkan berbilang pengedaran pada masa yang sama pasti akan membawa kepada prestasi terhad, lihat Rajah 3

• Senario (b) : Statistik BN bergantung kepada saiz kelompok Sukar untuk mendapatkan anggaran statistik BN yang tepat pada sampel saiz kelompok kecil, lihat Rajah 4; pengedaran label yang tidak seimbang akan membawa kepada berat sebelah dalam statistik dalam lapisan BN, iaitu, statistik adalah berat sebelah kepada kategori tertentu (kategori dengan bahagian yang lebih besar dalam kumpulan), lihat Rajah 5; >
• Untuk mengesahkan lagi analisis di atas, artikel ini mempertimbangkan 3 model yang digunakan secara meluas (dilengkapi dengan Norma BatchLayerGroup berbeza), berdasarkan dua kaedah TTA yang mewakili (TTT [1] dan Khemah [2]) Pengesahan analisis. Kesimpulan akhir ialah: Lapisan Norm bebas kelompok (Norma Kumpulan dan Lapisan) memintas batasan Batch Norm pada tahap tertentu, dan lebih sesuai untuk melaksanakan TTA dalam senario terbuka dinamik, dan kestabilannya juga lebih tinggi. Oleh itu, artikel ini juga akan mereka bentuk kaedah berdasarkan model yang dilengkapi dengan GroupLayer Norm.

Rajah 3 Kaedah dan model yang berbeza (lapisan normalisasi yang berbeza) dalam bias taburan campuran Move menurunkan prestasi

Rajah 4 Kaedah dan model yang berbeza ( Berbeza lapisan normalisasi) prestasi di bawah saiz kelompok yang berbeza. Kawasan berlorek dalam rajah mewakili sisihan piawai prestasi model Sisihan piawai ResNet50-BN dan ResNet50-GN adalah terlalu kecil dan tidak ketara dalam rajah (sama seperti rajah di bawah)

Rajah 5 Prestasi kaedah dan model yang berbeza (lapisan normalisasi yang berbeza) di bawah anjakan pengedaran label tidak seimbang dalam talian Prestasi, semakin besar Nisbah Ketidakseimbangan pada paksi mendatar dalam rajah, lebih serius ketidakseimbangan label kepada penyelesaian remeh yang merosot, iaitu, meramalkan mana-mana sampel kepada kelas yang sama : Menurut Rajah 6 (a) dan (b) , apabila peralihan pengedaran adalah serius (tahap 5), proses penyesuaian dalam talian tiba-tiba muncul Fenomena kemerosotan dan keruntuhan Model, iaitu, semua sampel (dengan kategori sebenar yang berbeza) diramalkan ke kelas yang sama, norma; kecerunan model meningkat dengan cepat sebelum dan selepas model runtuh dan kemudian menurun kepada hampir 0, lihat Rajah 6 (c), penjelasan sampingan mungkin Ia adalah beberapa kecerunan berskala besar/bunyi yang memusnahkan parameter model, menyebabkan model runtuh.

Rajah 6 Analisis kes kegagalan dalam pengurangan entropi semasa ujian dalam talian

2. Kaedah pengecilan entropi masa ujian yang sensitif ketajaman

Untuk mengurangkan masalah degradasi model di atas, kertas kerja ini mencadangkan Kaedah Pengurangan Entropi (SAR) yang Sedar Ketajaman dan Boleh Dipercayai semasa ujian. Ia mengurangkan masalah ini dalam dua cara: 1) Pengecilan entropi yang boleh dipercayai mengeluarkan beberapa sampel yang menghasilkan kecerunan besar/bising daripada kemas kini penyesuaian model; 2)

Pengoptimuman ketajaman model

menjadikan model tidak sensitif kepada kecerunan hingar tertentu yang dijana dalam sampel yang tinggal. Butiran khusus dijelaskan seperti berikut: Pengurangan entropi yang boleh dipercayai: Berdasarkan Entropi, indeks pertimbangan alternatif untuk pemilihan kecerunan diwujudkan, dan sampel entropi tinggi ( termasuk dalam Rajah 6 (d) Sampel dari kawasan 1 dan 2) dikecualikan daripada penyesuaian model dan tidak mengambil bahagian dalam kemas kini model:

di mana x mewakili sampel ujian, Θ mewakili parameter model,

mewakili fungsi penunjuk,

mewakili entropi sampel hasil ramalan, ialah parameter super. Hanya jika sampel akan mengambil bahagian dalam pengiraan rambatan belakang.

Pengoptimuman entropi sensitif ketajaman: Sampel yang ditapis oleh mekanisme pemilihan sampel yang boleh dipercayai tidak boleh mengelakkan masih mengandungi Rajah 6 (d) sampel Rantau 4, sampel ini boleh menghasilkan bunyi/kecerunan besar yang terus mengganggu model. Untuk tujuan ini, artikel ini mempertimbangkan untuk mengoptimumkan model kepada minimum rata supaya ia tidak sensitif terhadap kemas kini model yang disebabkan oleh kecerunan hingar, iaitu, ia tidak akan menjejaskan prestasi model asalnya. Matlamat pengoptimuman ialah:

Borang kemas kini kecerunan akhir sasaran di atas adalah seperti berikut:

di mana diilhamkan oleh SAM [4] dan diperolehi dengan penyelesaian anggaran pengembangan Taylor tertib pertama Untuk butiran, sila rujuk kepada teks dan kod asal kertas ini.

Pada ketika ini, matlamat pengoptimuman keseluruhan artikel ini ialah:

Selain itu, untuk mengelakkan kemungkinan skim di atas masih gagal dalam keadaan yang melampau, strategi pemulihan model diperkenalkan selanjutnya: melalui pemantauan mudah alih sama ada model itu telah merosot atau runtuh, diputuskan untuk memulihkan nilai asal parameter kemas kini model pada masa yang diperlukan.

Penilaian eksperimen

Perbandingan prestasi dalam senario terbuka dinamik

SAR berdasarkan tiga di atas Senario terbuka dinamik, iaitu a) anjakan pengedaran bercampur, b) penyesuaian sampel tunggal dan c) anjakan pengedaran kelas tidak seimbang dalam talian, telah disahkan secara eksperimen pada set data ImageNet-C, dan hasilnya ditunjukkan dalam Jadual 1, 2, dan 3 . SAR mencapai hasil yang luar biasa dalam ketiga-tiga senario, terutamanya dalam senario b) dan c). SAR menggunakan VitBase sebagai model asas, dan ketepatannya melebihi kaedah SOTA semasa EATA sebanyak hampir 10%.

Jadual 1 SAR bercampur dengan kaedah sedia ada untuk 15 jenis kerosakan dalam perbandingan Prestasi ImageNet-C dalam senario, sepadan dengan senario dinamik (a); dan perbandingan kecekapan dengan kaedah sedia ada

Jadual 2 Perbandingan prestasi antara SAR dan kaedah sedia ada dalam senario penyesuaian sampel tunggal pada ImageNet-C, sepadan dengan senario dinamik (b)

Jadual 3 Perbandingan prestasi antara SAR dan kaedah sedia ada dalam senario peralihan pengedaran kelas tidak seimbang dalam talian pada ImageNet-C, adegan Dinamik yang sepadan (c)

Eksperimen Ablasi

dan kaedah keratan kecerunan Perbandingan : Keratan kecerunan ialah kaedah mudah dan langsung untuk mengelakkan kecerunan besar daripada menjejaskan kemas kini model (atau malah menyebabkan keruntuhan). Berikut ialah perbandingan dengan dua varian keratan kecerunan (iaitu: mengikut nilai atau mengikut norma). Seperti yang ditunjukkan dalam rajah di bawah, keratan kecerunan sangat sensitif terhadap pemilihan ambang keratan kecerunan δ δ yang lebih kecil adalah bersamaan dengan hasil model yang tidak dikemas kini, dan δ yang lebih besar sukar untuk mengelakkan keruntuhan model. Sebaliknya, SAR tidak memerlukan proses penapisan hiperparameter yang rumit dan menunjukkan prestasi yang lebih baik daripada pemotongan kecerunan.

Rajah 7 dengan kaedah keratan kecerunan dalam ImageNet-C (shot nose, tahap 5 ) pada senario peralihan pengedaran label tidak seimbang dalam talian. Ketepatan dikira dalam talian berdasarkan semua sampel ujian sebelumnya

Kesan modul berbeza pada prestasi algoritma: seperti yang ditunjukkan dalam jadual di bawah , sinergi modul berbeza SAR secara berkesan meningkatkan kestabilan penyesuaian model semasa ujian dalam senario terbuka dinamik.

Jadual 4 SAR dalam talian pengedaran label tidak seimbang pada ImageNet-C (tahap 5) Percubaan Ablasi dalam senario offset

Visualisasi ketajaman permukaan Loss: Hasil visualisasi fungsi kehilangan dengan menambah gangguan pada berat model ditunjukkan dalam rajah di bawah. Antaranya, SAR mempunyai kawasan yang lebih besar (kawasan biru tua) dalam kontur kehilangan terendah daripada Khemah, menunjukkan bahawa penyelesaian yang diperolehi oleh SAR adalah lebih rata, lebih teguh kepada bunyi/kecerunan yang lebih besar, dan mempunyai keupayaan anti-gangguan yang lebih kuat.

Rajah 8 Penggambaran permukaan kehilangan entropi

Kesimpulan

Artikel ini dikhaskan untuk menyelesaikan masalah ketidakstabilan penyesuaian semasa ujian dalam talian model dalam senario terbuka dinamik. Untuk tujuan ini, artikel ini terlebih dahulu menganalisis sebab kaedah sedia ada gagal dalam senario dinamik sebenar dari perspektif bersatu dan mereka bentuk percubaan lengkap untuk menjalankan pengesahan yang mendalam. Berdasarkan analisis ini, kertas ini akhirnya mencadangkan kaedah pengecilan entropi masa ujian yang sensitif ketajaman dan boleh dipercayai, yang mencapai penyesuaian masa ujian dalam talian model yang stabil dan cekap dengan menyekat kesan sampel ujian tertentu dengan kecerunan/bunyi besar pada kemas kini model. .

Atas ialah kandungan terperinci Penyelesaian persekitaran terbuka yang menyelesaikan kekurangan seperti lapisan Batch Norm. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!