Universiti Tsinghua mengeluarkan CurML, perpustakaan sumber terbuka pertama untuk pembelajaran kursus

Dalam proses pembangunan pembelajaran mesin, kaedah pembelajaran manusia sering memberi inspirasi kepada reka bentuk pelbagai algoritma. Sebagai paradigma penting pembelajaran manusia, pembelajaran melalui kursus telah dipinjam daripada pembelajaran mesin untuk membentuk hala tuju penyelidikan yang dipanggil Pembelajaran Kurikulum.

Secara umumnya, pendidikan manusia diselesaikan melalui kursus yang sangat teratur. Setiap kursus atau mata pelajaran akan bermula dengan kandungan mudah dan secara beransur-ansur membentangkan pelajar dengan konsep yang lebih kompleks. Sebagai contoh, sebelum menerima konsep kalkulus di kolej, pelajar harus terlebih dahulu mempelajari aritmetik di sekolah rendah, fungsi di sekolah menengah, dan derivatif di sekolah menengah. Walau bagaimanapun, tidak seperti pendidikan manusia, latihan model pembelajaran mesin tradisional melibatkan memasukkan sampel data secara rawak ke dalam model, mengabaikan kerumitan yang berbeza antara sampel data dan status pembelajaran model semasa. Oleh itu, pembelajaran kurikulum dicadangkan dalam bidang pembelajaran mesin dengan tepat untuk meniru pembelajaran manusia daripada mudah kepada sukar, menyediakan strategi latihan yang lebih baik untuk model, dan dengan itu meningkatkan prestasi model.

Peta Konsep Pembelajaran Kursus

Pada masa ini Pembelajaran kurikulum telah digunakan secara meluas dalam pelbagai tugas pembelajaran mesin, termasuk klasifikasi imej, pengesanan sasaran, segmentasi semantik, terjemahan mesin, pengecaman audio, peningkatan audio, soal jawab video, dsb., serta dalam penyeliaan, tanpa pengawasan dan separa. pembelajaran diselia dan Pembelajaran pengukuhan dan senario lain telah mendapat banyak perhatian dan penyelidikan.

Memandangkan aplikasi dan senario pembelajaran kursus menjadi semakin kaya, adalah amat perlu untuk menjalankan pengisihan dan ringkasan terperinci dalam bidang ini, untuk menggalakkan penerokaan mendalam oleh penyelidik dan meningkatkan pengalaman aplikasi pengguna.

Oleh itu, Makmal Data Besar Media dan Rangkaian yang diketuai oleh Profesor Zhu Wenwu dari Universiti Tsinghua telah menerbitkan beberapa kertas akademik mengenai pembelajaran kursus dan berdasarkan pengumpulan dan asas, ahli makmal Wang Xin IEEE TPAMI menerbitkan kertas ulasan tentang pembelajaran kurikulum, dan makmal itu mengeluarkan lagi perpustakaan sumber terbuka pertama di dunia untuk pembelajaran kurikulum, CurML (Curriculum Machine Learning).

Kerja penyelidikan pembelajaran kurikulum Profesor Zhu Wenwu dan Penolong Penyelidik Wang Xin termasuk kaedah meta-pembelajaran kurikulum yang digunakan pada pengesyoran lokasi minat bandar, pengesyoran produk penyahgandingan kurikulum berdasarkan maklumat pelbagai maklum balas yang bising , Dikongsi carian seni bina saraf parameter berdasarkan pembelajaran kursus, dan penyelesaian masalah pengoptimuman gabungan berdasarkan penyesuaian kesukaran kursus, dsb. Hasil penyelidikan telah diterbitkan dalam persidangan pembelajaran mesin antarabangsa peringkat tinggi seperti SIGKDD, NeurIPS dan ACM MM.

Rajah rangka kerja beberapa hasil penyelidikan

Kertas semakan pembelajaran kursus mengkaji secara menyeluruh semua aspek pembelajaran kursus, seperti kemunculan, definisi, teori dan aplikasi, mereka bentuk rangka kerja pembelajaran kursus yang bersatu, dan membahagikan algoritma pembelajaran kursus kepada dua kategori utama dan pelbagai kategori berdasarkan komponen teras dalam rangka kerja. Subkategori ini membezakan perbezaan dan hubungan antara pembelajaran kurikulum dan konsep pembelajaran mesin yang lain, dan menunjukkan cabaran yang dihadapi oleh bidang ini dan kemungkinan arah penyelidikan masa depan.

Klasifikasi Kaedah Pembelajaran Kursus

Kursus Perpustakaan sumber terbuka pembelajaran CurML ialah platform sokongan untuk algoritma pembelajaran kursus Ia telah menyepadukan lebih daripada sepuluh algoritma pembelajaran kursus dan menyokong kedua-dua senario aplikasi yang bising dan tidak bising, menjadikannya lebih mudah bagi penyelidik dan pengguna untuk menghasilkan semula, menilai, membandingkan dan. memilih algoritma pembelajaran.

Modul utama CurML ialah CL Trainer, yang terdiri daripada dua sub-modul Model Trainer dan CL Algorithm Kedua-duanya berinteraksi melalui lima fungsi antara muka untuk merealisasikan mesin untuk bimbingan pembelajaran kursus. proses pembelajaran.

Rajah rangka kerja CurML

Modul utama: CL Trainer

Modul ini adalah bahagian utama keseluruhan perpustakaan sumber terbuka. Dengan memanggil modul ini, pengguna boleh melaksanakan algoritma pembelajaran kursus dengan hanya beberapa baris kod. Selepas diberikan set data, model dan hiperparameter, modul akan melatih untuk tempoh masa tertentu dan mengeluarkan parameter model terlatih dan hasil ujian tugasan. Modul ini direka bentuk terutamanya untuk memenuhi keperluan kemudahan penggunaan, jadi ia sangat terkandung dan disediakan kepada pengguna yang ingin menggunakan algoritma pembelajaran kursus tetapi tidak mengambil berat tentang butiran pelaksanaan khusus.

Sub-modul 1: Jurulatih Model

Modul ini digunakan untuk melengkapkan proses pembelajaran mesin umum, seperti sebagai latihan Pengelas imej atau model bahasa. Pada masa yang sama, ia menyimpan kedudukan untuk lima fungsi antara muka untuk berinteraksi dengan Algoritma CL sub-modul kedua, dan juga menyokong fungsi input tersuai.

Sub-modul 2: Algoritma CL

Modul ini merangkumi semua algoritma pembelajaran kursus yang disokong oleh CurML dalam jadual berikut:

Modul ini dilaksanakan melalui lima fungsi antara muka, yang digunakan untuk mendapatkan data dan maklumat model daripada proses pembelajaran mesin. dan strategi pembelajaran untuk membimbing model, seperti yang ditunjukkan dalam rajah di bawah.

Carta alir CurML

Fungsi antara muka: data_prepare

Fungsi ini digunakan untuk menyediakan maklumat set data daripada modul Model Trainer kepada modul CL Algorithm. Banyak algoritma pembelajaran kursus memerlukan pemahaman keseluruhan tentang set data untuk menilai dengan lebih baik kesukaran sampel data, jadi fungsi antara muka ini diperlukan.

Fungsi antara muka: model_prepare

Fungsi ini hampir sama dengan data_prepare, bezanya ia tidak memindahkan maklumat set data Ia adalah maklumat yang berkaitan dengan latihan model, seperti seni bina model, pengoptimum parameter, pelaras kadar pembelajaran, dll. Banyak algoritma pembelajaran kursus membimbing pembelajaran mesin dengan melaraskan elemen ini.

Fungsi antara muka: data_curriculum

Fungsi ini digunakan untuk mengira kesukaran sampel data, dan berdasarkan kesukaran data dan keadaan Model semasa menyediakan model dengan data yang sesuai, dan kebanyakan kursus mempunyai idea yang serupa.

Fungsi antara muka: model_curriculum

Fungsi ini digunakan untuk mengemas kini model dan melaraskan parameter yang diperolehi oleh model daripada sampel data Jumlah maklumat secara tidak langsung membimbing pembelajaran model Pada masa ini, bilangan algoritma tersebut masih kecil, tetapi CurML juga menyokong pelaksanaan algoritma tersebut.

Fungsi antara muka: loss_curriculum

Fungsi ini digunakan untuk menimbang semula nilai fungsi kehilangan, dan pelarasan tidak langsung ialah berbeza Kesan data ke atas model Algoritma jenis ini lebih biasa dalam pembelajaran kursus, kerana pemberat nilai kehilangan pada asasnya adalah pensampelan lembut data.

Melalui ringkasan lebih daripada sepuluh kaedah pembelajaran kursus dalam beberapa tahun kebelakangan ini, pelbagai jenis algoritma pembelajaran kursus boleh disatukan dan dilaksanakan menggunakan modul dan parameter antara muka di atas, supaya ia boleh digunakan dalam senario yang adil dan Menilai, membandingkan dan memilih algoritma pembelajaran kursus di bawah tugas.

Tinjauan Masa Depan

Pasukan R&D CurML menyatakan bahawa mereka akan terus mengemas kini perpustakaan sumber terbuka ini pada masa hadapan untuk memberikan sokongan lanjut untuk pembangunan dan aplikasi pembelajaran kursus.

Pautan berkaitan:

• Pautan asas kod sumber terbuka CurML: https://github.com/THUMNLab/CurML
• Pautan kertas perisian sumber terbuka CurML: https://dl.acm.org/doi/pdf/10.1145/3503161.3548549
• Kertas ringkasan pembelajaran kursus pautan: https://ieeexplore.ieee.org/abstract/document/9392296/
• Pautan kertas meta-pembelajaran kursus: https://dl.acm.org/doi/abs /10.1145/ 3447548.3467132
• Pautan kertas pembelajaran penyahgandingan kursus: https://proceedings.neurips.cc/paper/2021/file/e242660df1b79fdeff. 🎜>
Pautan kertas carian seni bina saraf kursus: https://dl.acm.org/doi/abs/10.1145/3503161.3548271
Pautan kertas penyesuaian kesukaran kursus: https:/ / ojs.aaai.org/index.php/AAAI/article/download/20899/version/19196/20658

Atas ialah kandungan terperinci Universiti Tsinghua mengeluarkan CurML, perpustakaan sumber terbuka pertama untuk pembelajaran kursus. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!