USB: Penanda aras pembelajaran klasifikasi separa seliaan pertama yang menyatukan tugas klasifikasi visual, bahasa dan audio

Pada masa ini, perkembangan pembelajaran separa penyeliaan sedang rancak dijalankan. Walau bagaimanapun, tanda aras pembelajaran separa penyeliaan sedia ada kebanyakannya terhad kepada tugas klasifikasi penglihatan komputer, tidak termasuk penilaian tugas klasifikasi yang konsisten dan pelbagai seperti pemprosesan bahasa semula jadi dan pemprosesan audio. Di samping itu, kebanyakan kertas kerja separa penyeliaan diterbitkan oleh institusi besar, dan selalunya sukar bagi makmal akademik untuk mengambil bahagian dalam memajukan bidang tersebut kerana keterbatasan dalam sumber pengkomputeran.

Untuk tujuan ini, penyelidik dari Microsoft Research Asia, bersama penyelidik dari Westlake University, Tokyo Institute of Technology, Carnegie Mellon University, Max Planck Institute dan institusi lain, mencadangkan Unified SSL Benchmark ( USB): penanda aras pembelajaran klasifikasi separa seliaan pertama yang menyatukan tugas klasifikasi visual, bahasa dan audio.

Kertas kerja ini bukan sahaja memperkenalkan medan aplikasi yang lebih pelbagai, tetapi juga menggunakan model pra-latihan visual buat kali pertama untuk mengurangkan masa pengesahan algoritma separa diselia dengan banyak, menjadikan separa- penyelidikan diselia lebih mudah untuk penyelidik Terutama kumpulan penyelidikan kecil lebih mesra. Kertas kerja yang berkaitan telah diterima oleh NeurIPS 2022, persidangan akademik antarabangsa teratas dalam bidang kecerdasan buatan.

Pautan artikel: https://arxiv.org/pdf/2208.07204.pdf

Pautan kod: https://github.com/microsoft/Semi-supervised-learning​

Pembelajaran diselia Dengan membina model agar sesuai dengan data berlabel, model rangkaian saraf menghasilkan hasil yang kompetitif apabila dilatih pada sejumlah besar data berlabel berkualiti tinggi menggunakan pembelajaran terselia.

Contohnya, mengikut statistik daripada laman web Paperswithcode, pada set data peringkat juta ImageNet, kaedah pembelajaran diselia tradisional boleh mencapai ketepatan lebih daripada 88%. Walau bagaimanapun, mendapatkan sejumlah besar data berlabel selalunya memakan masa dan susah payah.

Untuk mengurangkan kebergantungan pada data berlabel, pembelajaran separuh seliaan (SSL) komited untuk menggunakan sejumlah besar data tidak berlabel apabila terdapat hanya sejumlah kecil data berlabel. untuk menambah baik generalisasi model. Pembelajaran separa penyeliaan juga merupakan salah satu topik penting pembelajaran mesin. Sebelum pembelajaran mendalam, penyelidik dalam bidang ini mencadangkan algoritma klasik seperti mesin vektor sokongan separa diselia, penyusunan entropi dan latihan kolaboratif.

Pembelajaran separa penyeliaan mendalam

Dengan peningkatan pembelajaran mendalam, algoritma pembelajaran separa penyeliaan mendalam juga telah mencapai kemajuan yang besar. Pada masa yang sama, syarikat teknologi termasuk Microsoft, Google dan Meta juga telah mengiktiraf potensi besar pembelajaran separa penyeliaan dalam senario praktikal.

Sebagai contoh, Google menggunakan latihan pelajar yang bising, algoritma separa diawasi, untuk meningkatkan prestasi cariannya [1]. Algoritma separa selia yang paling mewakili pada masa ini menggunakan kehilangan entropi silang untuk latihan pada data berlabel, dan penyelarasan konsistensi pada data tidak berlabel untuk menggalakkan ramalan invarian kepada gangguan input.

Sebagai contoh, algoritma FixMatch[2] yang dicadangkan oleh Google di NeurIPS 2020 menggunakan teknologi penambat pembesaran dan ambang tetap untuk mempertingkatkan model bagi meningkatkan data dengan kekuatan yang berbeza dan mengurangkan kesan daripada label pseudo yang bising. Semasa latihan, FixMatch menapis data tidak berlabel di bawah ambang yang disediakan pengguna/ditetapkan sebelumnya.

FlexMatch[3], yang dicadangkan bersama oleh Microsoft Research Asia dan Tokyo Institute of Technology di NeurIPS 2021, mengambil kira kesukaran pembelajaran yang berbeza antara kategori yang berbeza, jadi ia mencadangkan label pseudo kursus teknologi ( pelabelan pseudo kurikulum), ambang yang berbeza harus digunakan untuk kategori yang berbeza.

Khususnya, untuk kategori yang mudah dipelajari, model harus menetapkan ambang yang tinggi untuk mengurangkan kesan label pseudo yang bising untuk kategori yang sukar dipelajari, model itu hendaklah tetapkan ambang rendah untuk menggalakkan pemadanan kategori ini. Penilaian kesukaran pembelajaran setiap kelas bergantung pada bilangan sampel data tidak berlabel yang jatuh ke dalam kelas tersebut dan melebihi nilai tetap.

Pada masa yang sama, penyelidik dari Microsoft Research Asia juga bekerjasama untuk mencadangkan perpustakaan kod kaedah separuh seliaan berasaskan Pytorch bersatu TorchSSL[4], yang menyediakan kaedah mendalam dan data biasa dalam medan. Set dan hasil penanda aras disokong secara seragam.

Rajah 1: Proses algoritma FlexMatch

Masalah dan cabaran dalam perpustakaan kod pembelajaran separa penyeliaan semasa

Walaupun pembangunan pembelajaran separa penyeliaan sedang giat dijalankan, penyelidik mendapati bahawa kebanyakan kertas kerja semasa dalam arah separa penyeliaan hanya memfokuskan kepada tugasan pengelasan penglihatan komputer (CV) Untuk bidang lain, seperti pemprosesan bahasa semula jadi (. NLP) dan pemprosesan audio (audio), Penyelidik tidak dapat mengetahui sama ada algoritma yang berkesan dalam tugasan CV ini masih berkesan dalam bidang yang berbeza.

Selain itu, kebanyakan kertas kerja separuh penyeliaan diterbitkan oleh institusi besar, dan selalunya sukar bagi makmal akademik untuk mengambil bahagian dalam mempromosikan pembangunan bidang ini kerana keterbatasan sumber pengkomputeran. . Secara umumnya, tanda aras pembelajaran separa penyeliaan pada masa ini mempunyai dua masalah berikut:

(1) Kepelbagaian yang tidak mencukupi. Kebanyakan tanda aras pembelajaran separa penyeliaan sedia ada terhad kepada tugas klasifikasi CV (iaitu, CIFAR-10/100, SVHN, STL-10 dan klasifikasi ImageNet), tidak termasuk penilaian tugas klasifikasi yang konsisten dan pelbagai seperti NLP, audio, dsb. , manakala dalam NLP Kekurangan data berlabel yang mencukupi dalam dan audio juga merupakan masalah biasa.

(2) Memakan masa dan tidak mesra akademik. Penanda aras pembelajaran separa penyeliaan sedia ada seperti TorchSSL selalunya memakan masa dan tidak mesra alam kerana ia sering memerlukan latihan model rangkaian saraf dalam dari awal. Khususnya, menilai FixMatch[1] menggunakan TorchSSL memerlukan kira-kira 300 hari GPU. Kos latihan yang tinggi sedemikian menjadikan penyelidikan berkaitan SSL tidak mampu dimiliki untuk kebanyakan makmal penyelidikan (terutamanya dalam kumpulan akademik atau penyelidikan kecil), sekali gus menghalang kemajuan SSL.

USB: Perpustakaan penanda aras baharu dengan pelbagai tugas dan lebih mesra penyelidik

Untuk menyelesaikan masalah di atas, penyelidik dari Microsoft Research Asia bekerjasama dengan Westlake University , Penyelidik Tokyo dari TU, Universiti Carnegie Mellon, Institut Max Planck dan institusi lain mencadangkan Penanda Aras SSL Bersepadu (USB), yang merupakan klasifikasi separa penyeliaan pertama untuk menyatukan tugas klasifikasi visual, bahasa dan audio Penanda Aras Pembelajaran.

Berbanding dengan tanda aras pembelajaran separa penyeliaan sebelumnya (seperti TorchSSL) yang hanya memfokuskan pada sebilangan kecil tugas visual, penanda aras ini bukan sahaja memperkenalkan medan aplikasi yang lebih pelbagai, tetapi juga menggunakan visual pra-latihan buat kali pertama Model (Pengubah penglihatan pralatihan) sangat mengurangkan masa pengesahan algoritma separa penyeliaan (daripada 7000 jam GPU kepada 900 jam GPU), menjadikan penyelidikan separa penyeliaan lebih mesra penyelidik, terutamanya kumpulan penyelidikan kecil.

Kertas kerja berkaitan telah diterima oleh NeurIPS 2022, persidangan akademik teratas dalam bidang kecerdasan buatan antarabangsa. (Klik "Baca teks asal" untuk mengetahui lebih lanjut)

Penyelesaian yang disediakan oleh USB

Jadi, bagaimanakah USB boleh menyelesaikan masalah penanda aras separa seliaan semasa dalam satu pergi? Para penyelidik terutamanya membuat penambahbaikan berikut:

(1) Untuk meningkatkan kepelbagaian tugas, USB memperkenalkan 5 set data CV, 5 set data NLP dan 5 set data audio, dan menyediakan pelbagai dan penanda aras yang mencabar yang membolehkan penilaian yang konsisten terhadap pelbagai tugas daripada domain yang berbeza. Jadual 1 menyediakan perbandingan terperinci tugas dan masa latihan antara USB dan TorchSSL.

Jadual 1: Perbandingan masa tugas dan latihan antara rangka kerja USB dan TorchSSL

(2) Untuk meningkatkan kecekapan latihan, penyelidik memperkenalkan Transformer visi pra-latihan ke dalam SSL dan bukannya melatih ResNets dari awal. Khususnya, penyelidik mendapati bahawa menggunakan model pra-latihan boleh mengurangkan bilangan lelaran latihan dengan ketara tanpa menjejaskan prestasi (cth., mengurangkan bilangan lelaran latihan untuk tugas CV daripada 1 juta langkah kepada 200,000 langkah).

(3) Untuk menjadi lebih mesra kepada penyelidik, penyelidik telah melaksanakan 14 algoritma SSL sebagai pustaka kod modular sumber terbuka dan sumber terbuka dan fail konfigurasi yang berkaitan untuk penyelidik menghasilkan semula keputusan dalam laporan USB dengan mudah. Untuk bermula dengan cepat, USB juga menyediakan dokumentasi dan tutorial terperinci. Selain itu, USB juga menyediakan pakej pip untuk pengguna menghubungi terus algoritma SSL. Para penyelidik berjanji untuk terus menambah algoritma baharu (seperti algoritma separa penyeliaan yang tidak seimbang, dsb.) dan set data yang lebih mencabar ke USB pada masa hadapan. Jadual 2 menunjukkan algoritma dan modul yang disokong dalam USB.

Jadual 2: Algoritma dan modul yang disokong dalam USB

Separuh pembelajaran yang diselia mempunyai nilai penyelidikan dan aplikasi yang penting pada masa hadapan dengan menggunakan sejumlah besar data tidak berlabel untuk melatih model yang lebih tepat dan mantap. Penyelidik di Microsoft Research Asia berharap untuk menggunakan kerja USB ini untuk membantu akademia dan industri mencapai kemajuan yang lebih besar dalam bidang pembelajaran separa penyeliaan.

Atas ialah kandungan terperinci USB: Penanda aras pembelajaran klasifikasi separa seliaan pertama yang menyatukan tugas klasifikasi visual, bahasa dan audio. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!