Kaedah pembelajaran mesin dioptimumkan dan digunakan untuk pembelajaran berbilang tugas

Pembelajaran berbilang tugas ialah model yang dioptimumkan bersama untuk berbilang tugas, di mana tugas berkaitan berkongsi perwakilan dan meningkatkan prestasi model dengan mempelajari sempadan keputusan yang lebih baik pada tugas asal. Rangkaian saraf tunggal sering digunakan untuk menyelesaikan pelbagai tugas secara serentak. Selain mengurangkan masa inferens, kumpulan tugas menyelesaikan bersama mempunyai faedah lain seperti ketepatan ramalan yang dipertingkatkan, kecekapan data yang dipertingkatkan dan masa latihan yang dikurangkan.

Apakah model pembelajaran pelbagai tugas?

Pembelajaran berbilang tugas bermakna model pembelajaran mesin boleh mengendalikan berbilang tugasan yang berbeza pada masa yang sama. Ia boleh meningkatkan kecekapan penggunaan data, mempercepatkan penumpuan model dan mengurangkan masalah overfitting kerana model boleh berkongsi perwakilan.

Pembelajaran pelbagai tugas lebih serupa dengan mekanisme pembelajaran manusia kerana manusia sering mempelajari kemahiran boleh dipindahkan. Sebagai contoh, selepas anda belajar menunggang basikal, menjadi lebih mudah untuk belajar menunggang motosikal. Ini dipanggil pemindahan pengetahuan induktif.

Mekanisme pemindahan pengetahuan ini membolehkan manusia mempelajari konsep baharu dengan hanya beberapa contoh atau tiada contoh, yang masing-masing dipanggil "pembelajaran sampel kecil" dan "pembelajaran sampel sifar" dalam pembelajaran mesin.

Kaedah pengoptimuman untuk pembelajaran pelbagai tugas

Tidak semua tugasan berkaitan Ketidakseimbangan set data, perbezaan antara tugas dan pemindahan pengetahuan yang negatif semuanya menimbulkan cabaran kepada pembelajaran pelbagai tugas. Oleh itu, pengoptimuman tugas adalah sama pentingnya dengan memilih seni bina yang sesuai. Seterusnya kita membincangkan strategi pengoptimuman untuk pembelajaran pelbagai tugas.

1. Pembinaan Kerugian

Ini adalah salah satu cara paling intuitif untuk melaksanakan pengoptimuman berbilang tugas dengan mengimbangi satu fungsi kerugian yang ditakrifkan untuk tugasan individu menggunakan skema pemberat yang berbeza. Model itu kemudiannya mengoptimumkan fungsi kehilangan agregat sebagai cara untuk mempelajari berbilang tugas sekaligus.

Sebagai contoh, menggunakan mekanisme pemberat kehilangan yang berbeza untuk membantu menyelesaikan masalah pelbagai tugas. Pemberat khusus yang diberikan kepada setiap fungsi kehilangan adalah berkadar songsang dengan saiz set latihan bagi setiap tugas untuk mengelak daripada membiarkan tugas dengan lebih banyak data menguasai pengoptimuman.

2. Perkongsian parameter keras

Dalam perkongsian parameter keras, lapisan tersembunyi rangkaian saraf dikongsi sambil mengekalkan beberapa lapisan output khusus tugas. Berkongsi kebanyakan lapisan untuk tugasan berkaitan mengurangkan kemungkinan overfitting.

Semakin banyak tugas yang dipelajari oleh model yang dikongsi secara serentak, semakin diperlukan untuk mencari perwakilan yang menangkap semua tugasan, dan semakin kecil kemungkinan tugas asal akan dilebihkan.

3. Perkongsian Parameter Lembut

Perkongsian parameter keras hanya berfungsi dengan baik apabila tugasan berkait rapat. Oleh itu, fokus perkongsian parameter lembut adalah untuk mempelajari ciri-ciri yang perlu dikongsi antara tugasan. Perkongsian parameter lembut merujuk kepada penyelarasan jarak antara parameter setiap model dan sasaran latihan keseluruhan untuk menggalakkan penggunaan parameter model yang serupa antara tugas yang berbeza. Ia sering digunakan dalam pembelajaran pelbagai tugas kerana teknik regularization ini mudah untuk dilaksanakan.

4. Persampelan Data

Set data pembelajaran mesin sering dipengaruhi oleh pengagihan data yang tidak seimbang, dan pembelajaran pelbagai tugas merumitkan lagi masalah ini. Kerana set data latihan berbilang tugas dengan saiz dan pengagihan data yang berbeza terlibat. Model berbilang tugas lebih berkemungkinan untuk mengambil sampel titik data daripada tugasan dengan set data latihan yang tersedia lebih besar, yang membawa kepada potensi overfitting.

Untuk menangani ketidakseimbangan data ini, pelbagai teknik pensampelan data telah dicadangkan untuk membina set data latihan dengan betul untuk masalah pengoptimuman pelbagai tugas.

5. Penjadualan tugas pintar

Kebanyakan model pembelajaran berbilang tugas menentukan tugasan untuk dilatih dalam satu zaman dengan cara yang sangat mudah, sama ada melatih semua tugasan pada setiap langkah atau mengambil sampel secara rawak subset tugas untuk latihan. Walau bagaimanapun, penjadualan tugas yang dioptimumkan secara bijak boleh meningkatkan prestasi model keseluruhan dengan ketara untuk semua tugasan.

6. Modulasi Kecerunan

Kebanyakan kaedah pembelajaran pelbagai tugas menganggap bahawa tugas individu pengoptimuman bersama adalah berkait rapat. Namun begitu, setiap tugasan tidak semestinya berkait rapat dengan semua tugasan yang ada. Dalam kes ini, berkongsi maklumat dengan tugas yang tidak berkaitan malah boleh membahayakan prestasi, fenomena yang dikenali sebagai "pemindahan negatif."

Dari perspektif pengoptimuman, migrasi negatif menampakkan dirinya sebagai kecerunan tugas yang bercanggah. Apabila vektor kecerunan dua tugasan menghala ke arah bertentangan, kecerunan tugas semasa merendahkan prestasi tugasan yang lain. Mengikuti purata dua kecerunan bermakna kedua-dua tugasan tidak melihat peningkatan yang sama seperti tetapan latihan tugasan tunggal. Oleh itu, modulasi kecerunan tugas adalah penyelesaian yang berpotensi untuk masalah ini.

Jika model berbilang tugas dilatih pada set tugasan yang berkaitan, sebaiknya kecerunan untuk tugasan ini harus menghala ke arah yang sama. Cara biasa modulasi kecerunan adalah melalui latihan lawan. Sebagai contoh, kaedah latihan adversarial kecerunan (GREAT) secara eksplisit menguatkuasakan syarat ini dengan memasukkan istilah kerugian adversarial dalam latihan model berbilang tugas, yang menggalakkan kecerunan daripada sumber berbeza untuk mempunyai taburan yang tidak dapat dibezakan secara statistik.

7. Penyulingan Ilmu

Penyulingan pengetahuan ialah paradigma pembelajaran mesin di mana pengetahuan dipindahkan daripada model yang mahal secara pengiraan (model "guru") kepada model yang lebih kecil (model "pelajar") sambil mengekalkan prestasi.

Dalam pembelajaran berbilang tugas, penggunaan penyulingan pengetahuan yang paling biasa adalah untuk mengekstrak pengetahuan daripada beberapa rangkaian "guru" tugas tunggal yang berasingan ke dalam rangkaian "pelajar" berbilang tugas. Menariknya, prestasi rangkaian pelajar telah ditunjukkan melebihi rangkaian guru di beberapa kawasan, menjadikan penyulingan pengetahuan sebagai pendekatan yang ideal untuk bukan sahaja menjimatkan memori tetapi juga meningkatkan prestasi.

Aplikasi Praktikal Pembelajaran Pelbagai Tugas

Penyelidik dalam semua bidang kecerdasan buatan menggunakan rangka kerja pembelajaran berbilang tugas untuk membangunkan model pengoptimuman sumber yang boleh dipercayai boleh digunakan dalam berbilang kawasan aplikasi dengan kekangan storan , di bawah Mari kita lihat aplikasi terkini model ini dalam pelbagai bidang kecerdasan buatan.

1. Penglihatan Komputer

Penglihatan komputer ialah satu cabang kecerdasan buatan yang menangani isu seperti pengelasan imej, pengesanan objek dan pengambilan video. Kebanyakan model penglihatan komputer tugasan sangat mahal dari segi pengiraan, dan menggunakan rangkaian berbilang tugas untuk mengendalikan berbilang tugas boleh menjimatkan ruang storan dan menjadikannya lebih mudah untuk digunakan dalam lebih banyak masalah dunia sebenar. Tambahan pula, ia membantu mengurangkan masalah sejumlah besar data berlabel yang diperlukan untuk latihan model.

2. Pemprosesan Bahasa Semulajadi

Pemprosesan Bahasa Asli (NLP) ialah satu cabang kecerdasan buatan yang memproses teks gesaan bahasa manusia semula jadi (sebarang bahasa), pertuturan, dsb. Ia termasuk terjemahan ayat, sari kata imej atau video, pengesanan emosi dan banyak aplikasi lain. Pembelajaran pelbagai tugas digunakan secara meluas dalam masalah NLP untuk meningkatkan prestasi tugas utama melalui tugas tambahan.

3. Sistem pengesyoran

Pengesyoran yang diperibadikan telah menjadi teknologi utama untuk membantu pengguna menangani kandungan dalam talian yang besar. Untuk meningkatkan pengalaman pengguna, model pengesyoran mesti meramalkan pilihan peribadi pengguna dengan tepat untuk item.

Contoh sistem pengesyoran berbilang tugas ialah model CAML, yang meningkatkan ketepatan dan kebolehtafsiran pengesyoran yang boleh dijelaskan dengan menggabungkan tugas pengesyoran dan tugas penjelasan dengan ketat.

4. Pembelajaran Peneguhan

Pembelajaran peneguhan ialah paradigma pembelajaran mendalam, antara pembelajaran diselia dan pembelajaran tanpa penyeliaan. Dalam skema pembelajaran ini, algoritma belajar dengan membuat keputusan melalui percubaan dan kesilapan, dengan keputusan yang betul diberi ganjaran dan keputusan yang salah akan dihukum. Ia biasanya digunakan dalam aplikasi robotik.

Memandangkan banyak masalah pembelajaran pengukuhan tidak semestinya melibatkan persepsi yang kompleks, seperti menggunakan teks atau piksel, keperluan seni bina bagi banyak masalah sedemikian adalah tidak tinggi. Oleh itu, banyak rangkaian dalam yang digunakan untuk pembelajaran pengukuhan adalah seni bina mudah bersambung sepenuhnya, konvolusi atau berulang. Walau bagaimanapun, dalam situasi berbilang tugas, maklumat antara tugas boleh dieksploitasi untuk mencipta seni bina yang lebih baik untuk pembelajaran pengukuhan.

Seperti model CARE, pengekod hibrid digunakan untuk mengekod pemerhatian input kepada berbilang perwakilan, sepadan dengan kemahiran atau objek yang berbeza. Ejen pembelajaran kemudiannya dibenarkan menggunakan konteks untuk memutuskan perwakilan yang digunakan untuk mana-mana tugasan tertentu, memberikan ejen kawalan terperinci ke atas maklumat yang dikongsi merentas tugasan, mengurangkan masalah pemindahan negatif.

5. Pembelajaran pelbagai mod

Seperti namanya, pembelajaran pelbagai mod melibatkan model latihan tentang pelbagai modaliti data, seperti audio, imej, video, teks semula jadi, dll., yang mungkin atau mungkin tidak menjadi relevan. Pembelajaran pelbagai tugas digunakan secara meluas untuk secara tersirat menyuntik ciri berbilang modal ke dalam satu model.

Atas ialah kandungan terperinci Kaedah pembelajaran mesin dioptimumkan dan digunakan untuk pembelajaran berbilang tugas. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!