Pengisihan Schram - belajar menyusun berdasarkan keadilan

Pada persidangan akademik antarabangsa AIBT 2023 yang diadakan pada tahun 2023, Ratidar Technologies LLC menerbitkan algoritma pembelajaran ranking berasaskan keadilan dan memenangi anugerah laporan kertas terbaik persidangan itu. Algoritma, yang dipanggil Kedudukan Skellam, menggunakan sepenuhnya prinsip statistik dan menggabungkan Kedudukan Berpasangan dan teknologi penguraian matriks untuk menyelesaikan masalah ketepatan dan keadilan dalam sistem pengesyoran. Memandangkan terdapat sedikit algoritma pembelajaran pemeringkatan yang inovatif dalam sistem pengesyor, algoritma pemeringkatan Schramam menunjukkan prestasi yang baik sehingga ia memenangi anugerah penyelidikan pada persidangan itu. Prinsip -prinsip asas algoritma Schram akan diperkenalkan di bawah:

Mari kita ingat semula pengedaran Poisson:

Formula pengiraan parameter pengedaran Poisson adalah seperti berikut:

Dua Perbezaan pembolehubah Poisson ialah taburan Schram:

Dalam formula, kita ada:

Fungsi dipanggil fungsi Bessel jenis pertama.

Dengan konsep paling asas dalam statistik ini, mari bina sistem pengesyoran pembelajaran Kedudukan Berpasangan!

Kami mula-mula percaya bahawa penilaian pengguna untuk item adalah konsep pengedaran Poisson. Dalam erti kata lain, nilai penilaian item pengguna mematuhi taburan kebarangkalian berikut:

Sebab mengapa kami boleh menerangkan proses pengguna menilai item sebagai proses Poisson adalah kerana terdapat kesan Matthew dalam penilaian item pengguna, iaitu Lebih tinggi rating, lebih ramai orang telah menilainya, supaya kita boleh menggunakan bilangan orang yang menilai sesuatu item untuk menganggarkan taburan penilaian item tersebut. Apakah proses rawak yang dipatuhi oleh bilangan orang yang menilai sesuatu item? Sememangnya, kita akan memikirkan proses Poisson. Oleh kerana kebarangkalian pengguna menilai item adalah serupa dengan kebarangkalian bilangan orang yang telah menilai item tersebut, kami secara semula jadi boleh menggunakan proses Poisson untuk menganggarkan proses pengguna menilai item.

Kami akan menggantikan parameter proses Poisson dengan statistik data sampel dan mendapatkan formula berikut:

Kami akan mentakrifkan formula fungsi kemungkinan maksimum bagi Kedudukan Pariwise di bawah. Seperti yang kita sedia maklum, apa yang dipanggil Pairwise Ranking bermaksud kita menggunakan fungsi kemungkinan maksimum untuk menyelesaikan parameter model, supaya model dapat mengekalkan hubungan pasangan kedudukan yang diketahui dalam sampel data ke tahap yang paling besar:

kerana R dalam formula ialah taburan Poisson, jadi perbezaannya ialah taburan Schramam, iaitu:

di mana pembolehubah E ditakrifkan seperti berikut:

panggil taburan Schramam Formula dibawa ke dalam fungsi kehilangan L fungsi kemungkinan maksimum, dan formula berikut diperoleh:

Dalam nilai penilaian pengguna R yang muncul dalam pembolehubah E, kami menggunakan penguraian matriks untuk menyelesaikannya. Gunakan parameter vektor ciri pengguna U dan vektor ciri item V dalam penguraian matriks sebagai pembolehubah untuk diselesaikan:

🎜

Di sini kita semak dulu konsep penguraian matriks. Konsep pemfaktoran matriks adalah algoritma sistem pengesyoran yang dicadangkan sekitar tahun 2010. Algoritma ini boleh dikatakan sebagai salah satu algoritma sistem pengesyoran yang paling berjaya dalam sejarah. Sehingga hari ini, sebilangan besar syarikat sistem pengesyoran masih menggunakan algoritma penguraian matriks sebagai garis dasar sistem dalam talian, dan Mesin Pemfaktoran, komponen penting dalam algoritma pengesyoran klasik popular DeepFM, juga merupakan penambahbaikan seterusnya bagi algoritma penguraian matriks dalam algoritma sistem pengesyoran Versi berkait rapat dengan penguraian matriks. Terdapat kertas mercu tanda mengenai algoritma pemfaktoran matriks iaitu Pemfaktoran Matriks Kebarangkalian pada tahun 2007. Penulis menggunakan model pembelajaran statistik untuk merombak konsep pemfaktoran matriks dalam algebra linear, memberikan pemfaktoran matriks asas teori matematik yang kukuh buat kali pertama.

Konsep asas penguraian matriks ialah menggunakan hasil darab titik bagi vektor untuk meramalkan penilaian pengguna yang tidak diketahui dengan cekap sambil mengurangkan dimensi matriks penilaian pengguna. Fungsi kehilangan penguraian matriks adalah seperti berikut:

Terdapat banyak varian algoritma penguraian matriks Contohnya, SVDFeature yang dicadangkan oleh Shanghai Jiao Tong University memodelkan vektor U dan V dalam bentuk gabungan linear. , supaya masalah penguraian matriks menjadi Masalah kejuruteraan ciri. SVDFeature juga merupakan kertas mercu tanda dalam bidang pemfaktoran matriks. Penguraian matriks boleh digunakan dalam Kedudukan Berpasangan untuk menggantikan penilaian pengguna yang tidak diketahui untuk mencapai tujuan pemodelan kes aplikasi Klasik termasuk algoritma BPR-MF dalam Kedudukan Berpasangan Bayesian, dan algoritma kedudukan Schramam menggunakan idea yang sama.

Kami menggunakan keturunan kecerunan stokastik untuk menyelesaikan algoritma pengisihan Schramam. Kerana keturunan kecerunan stokastik boleh memudahkan fungsi kehilangan dalam proses penyelesaian untuk mencapai tujuan penyelesaian, fungsi kehilangan kami menjadi formula berikut:

Gunakan keturunan kecerunan stokastik untuk mengira parameter yang tidak diketahui U dan Penyelesaian untuk V , kami mendapat formula berulang seperti berikut:

Antaranya:

Selain itu:

antaranya:

Selain itu:

Untuk pembolehubah parameter yang tidak diketahui Penyelesaian V adalah serupa, kami mempunyai formula berikut:

Antaranya:

Selain itu:

🎜🎜🎜🎜🎜🎜🎜🎜🎜 🎜 🎜🎜🎜 Keseluruhan proses algoritma, Kami menggunakan kod pseudo berikut untuk menunjukkan: 🎜🎜🎜🎜🎜

Untuk mengesahkan keberkesanan algoritma, pengarang kertas kerja mengujinya pada MovieLens 1 Million Dataset dan LDOS-CoMoDa Dataset. Set data pertama mengandungi penilaian 6040 pengguna dan 3706 filem Keseluruhan set data penilaian mempunyai kira-kira 1 juta data penilaian dan merupakan salah satu koleksi data penilaian yang paling terkenal dalam bidang sistem pengesyoran. Pengumpulan data kedua datang dari Slovenia dan merupakan pengumpulan data sistem pengesyoran berasaskan senario yang jarang berlaku di Internet. Set data mengandungi penilaian daripada 121 pengguna dan 1232 filem. Pengarang membandingkan pengisihan Schram dengan 9 algoritma sistem pengesyoran lain Penunjuk penilaian utama ialah MAE (Min Ralat Mutlak, digunakan untuk menguji ketepatan) dan Darjah Kesan Matthew (terutamanya digunakan untuk menguji kesaksamaan):

Rajah 1. . MovieLens 1 Million Dataset (penunjuk MAE)

Rajah 2. MovieLens 1 Million Dataset (Penunjuk Darjah Kesan Matthew)

Melalui Rajah 1 dan Rajah 2, kami mendapati prestasi yang baik pada Skim 2. penunjuk, tetapi semasa keseluruhan percubaan Carian Grid, ia tidak selalu dijamin untuk berprestasi lebih baik daripada algoritma lain. Tetapi dalam Rajah 2, kami mendapati bahawa pengisihan Schram mendahului dalam indeks kesaksamaan, jauh mendahului 9 algoritma sistem pengesyoran yang lain.

Mari kita lihat prestasi algoritma ini pada set data LDOS-CoMoDa:

Rajah 3. Set Data LDOS-CoMoDa (penunjuk MAE)

4. LDOS- CoMoDa Dataset (Degree of Matthew Effect Indicator)

Melalui Rajah 3 dan Rajah 4, kami memahami bahawa pengisihan Schram berada di kedudukan pertama dalam penunjuk keadilan dan berprestasi baik dalam penunjuk ketepatan. Kesimpulannya serupa dengan eksperimen sebelumnya.

Pengisihan Schramm menggabungkan konsep seperti taburan Poisson, penguraian matriks dan Kedudukan Berpasangan, dan merupakan algoritma pembelajaran ranking yang jarang berlaku untuk sistem pengesyoran. Dalam bidang teknikal, mereka yang menguasai teknologi pembelajaran pemeringkatan menyumbang hanya 1/6 daripada mereka yang menguasai pembelajaran mendalam, jadi pembelajaran pemeringkatan adalah teknologi yang terhad. Dan terdapat lebih sedikit bakat yang boleh mencipta pembelajaran kedudukan asal dalam bidang sistem pengesyoran. Algoritma pembelajaran ranking membebaskan orang daripada perspektif sempit ramalan skor dan menyedarkan orang bahawa perkara yang paling penting ialah susunan, bukan skor. Pembelajaran pemeringkatan berdasarkan keadilan pada masa ini sangat popular dalam bidang pencarian maklumat, terutamanya dalam persidangan teratas seperti SIGIR Kertas mengenai sistem pengesyoran berdasarkan keadilan amat dialu-alukan dan diharapkan mendapat perhatian pembaca.

Mengenai pengarang

Wang Hao, bekas ketua Makmal Kepintaran Buatan Funplus. Beliau telah memegang jawatan eksekutif teknologi dan teknologi dalam syarikat seperti ThoughtWorks, Douban, Baidu, dan Sina. Setelah bekerja di syarikat Internet, teknologi kewangan, permainan dan syarikat lain selama 12 tahun, beliau mempunyai pandangan mendalam dan pengalaman yang kaya dalam bidang seperti kecerdasan buatan, grafik komputer dan rantaian blok. Menerbitkan 42 kertas kerja dalam persidangan dan jurnal akademik antarabangsa, dan memenangi Anugerah Kertas Terbaik IEEE SMI 2008 dan Anugerah Laporan Kertas Terbaik ICBDT 2020 / IEEE ICISCAE 2021 / AIBT 2023.

Atas ialah kandungan terperinci Pengisihan Schram - belajar menyusun berdasarkan keadilan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!