Penyelesaian umum kepada masalah pembelajaran tanpa pengawasan: rangka kerja berasaskan meta-algoritma

Penyelidik dari Microsoft Research dan Princeton University pada 13 November mencadangkan rangka kerja umum untuk mereka bentuk algoritma yang cekap untuk masalah pembelajaran tanpa pengawasan, seperti campuran pengedaran Gaussian dan pengelompokan subruang

Rangka kerja yang dicadangkan oleh penyelidik meta-algoritma untuk menyelesaikan masalah hingar, yang menggunakan kaedah pengiraan formula pengiraan pembelajaran sempadan bawah. Rangka kerja ini direka bentuk berdasarkan kerja terbaru Garg, Kayal dan Saha (FOCS'20), yang mencadangkan rangka kerja ini untuk mempelajari formula aritmetik tanpa sebarang bunyi. Elemen utama meta-algoritma ialah algoritma yang cekap untuk menyelesaikan masalah baharu yang dipanggil "penguraian ruang vektor teguh"

Penyelidikan telah membuktikan bahawa meta-algoritma berfungsi dengan baik apabila sesetengah matriks mempunyai minimum yang cukup besar bukan sifar tunggal nilai yang baik. "Kami menjangkakan bahawa keadaan ini berlaku untuk keadaan terlicin bagi masalah kami, dan oleh itu rangka kerja kami akan menghasilkan algoritma yang cekap untuk masalah ini dalam tetapan yang lancar

Penyelidikan ini bertajuk "Pembelajaran Formula Aritmetik dalam Kehadiran Kebisingan" : Pembelajaran Formula Aritmetik dalam Kehadiran Kebisingan: Rangka Kerja Umum dan Aplikasi untuk Pembelajaran Tanpa Selia, dikeluarkan pada platform pracetak arXiv pada 13 November

Tiada Pembelajaran di bawah seliaan melibatkan penemuan corak dan struktur tersembunyi dalam data tanpa menggunakan sebarang label atau langsung pengawasan manusia.

Di sini, penyelidik mempertimbangkan data yang mempunyai struktur matematik yang baik atau dijana daripada taburan yang ditakrifkan dengan baik secara matematik. Contoh yang pertama ialah titik data boleh dikumpulkan ke dalam kelompok yang bermakna berdasarkan corak persamaan tertentu, dan matlamatnya adalah untuk mencari kelompok asas. Contoh yang terakhir ialah pemodelan campuran, yang menganggap bahawa data dijana oleh campuran taburan kebarangkalian yang diterangkan secara ringkas (cth. taburan Gaussian), dan matlamatnya adalah untuk mempelajari parameter taburan ini daripada sampel.

Rangka kerja biasa untuk menyelesaikan banyak masalah pembelajaran tanpa pengawasan ialah kaedah detik, yang menggunakan detik statistik data untuk membuat kesimpulan struktur asas atau parameter asas model. Bagi kebanyakan senario masalah pembelajaran tanpa pengawasan, di mana data asas mempunyai beberapa struktur matematik yang bagus, momen data adalah fungsi parameter yang jelas. Argumen heuristik menunjukkan bahawa sebaliknya secara amnya harus dipegang, iaitu parameter struktur/taburan biasanya ditentukan secara unik oleh beberapa detik tertib rendah data. Dalam arah umum ini, cabaran utama adalah untuk mereka bentuk algoritma untuk (kira-kira) memulihkan parameter asas dari momen (empirikal).

Kami juga mahu algoritma menjadi cekap, bertolak ansur dengan bunyi bising (iaitu, ia berfungsi dengan baik walaupun momen hanya diketahui lebih kurang daripada tepat), dan juga toleran anomali (iaitu, walaupun beberapa titik data tidak sesuai dengan struktur / pengagihan asas juga berfungsi dengan baik). Tetapi walaupun masalah paling mudah dalam bidang ini cenderung NP-keras, dan kekal begitu walaupun tanpa kebisingan dan outlier.

Jadi seseorang sebenarnya tidak boleh mengharapkan algoritma dengan jaminan kes terburuk yang boleh dibuktikan. Tetapi seseorang boleh berharap bahawa algoritma dijamin berfungsi dengan baik secara amnya, iaitu untuk contoh masalah rawak, atau lebih ideal untuk contoh yang dipilih dengan cara yang lancar. Oleh itu, banyak algoritma yang berbeza telah direka untuk setiap masalah sedemikian dalam pembelajaran tanpa pengawasan, dengan tahap kecekapan yang berbeza-beza, toleransi hingar, toleransi terpencil dan jaminan yang boleh dibuktikan.

Dalam karya ini, penyelidik membentangkan meta-algoritma yang boleh digunakan untuk banyak masalah pembelajaran tanpa pengawasan sedemikian. Titik permulaan kajian ini adalah pemerhatian bahawa banyak masalah sebegini berpunca daripada tugas mempelajari subkelas rumus aritmetik yang sesuai.

Atas ialah kandungan terperinci Penyelesaian umum kepada masalah pembelajaran tanpa pengawasan: rangka kerja berasaskan meta-algoritma. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!