Mengenai isu keadilan dalam siri masa multivariate

Hari ini saya ingin memperkenalkan kepada anda artikel ramalan siri masa berbilang variasi yang disiarkan di arixv pada tahun 2023.1 Titik permulaannya agak menarik: bagaimana untuk meningkatkan kesaksamaan siri masa berbilang variasi. Kaedah pemodelan yang digunakan dalam artikel ini adalah semua operasi konvensional yang telah digunakan dalam ramalan ruang-masa, Penyesuaian Domain, dsb., tetapi titik kesaksamaan berbilang pembolehubah adalah agak baharu.

• Tajuk kertas: Mempelajari Perwakilan Bermaklumat untuk Peramalan Siri Masa Pelbagai Variasi yang sedar Kesaksamaan: Perspektif Berasaskan Kumpulan
• Alamat muat turun: https://arxiv.org/pdf/2301.11535.pdf

1 Kesaksamaan siri masa berbilang variasi

Isu keadilan, Ia konsep makro dalam bidang pembelajaran mesin. Satu pemahaman tentang keadilan dalam pembelajaran mesin ialah ketekalan kesan pemasangan model pada sampel yang berbeza. Jika model berprestasi baik pada beberapa sampel dan kurang baik pada sampel lain, maka model itu kurang adil. Sebagai contoh, senario biasa ialah dalam sistem pengesyoran, kesan ramalan model pada sampel kepala adalah lebih baik daripada pada sampel ekor, yang mencerminkan ketidakadilan kesan ramalan model pada sampel yang berbeza.

Berbalik kepada masalah ramalan siri masa multivariate, keadilan merujuk kepada sama ada model mempunyai kesan ramalan yang lebih baik pada setiap pembolehubah. Jika kesan ramalan model pada pembolehubah yang berbeza adalah sangat berbeza, maka model ramalan siri masa multivariate ini adalah tidak adil. Sebagai contoh, dalam contoh dalam rajah di bawah, baris pertama jadual ialah varians MAE kesan ramalan pelbagai model pada setiap pembolehubah Ia dapat dilihat bahawa terdapat tahap ketidakadilan dalam model yang berbeza. Urutan dalam gambar di bawah adalah contoh beberapa urutan lebih baik dalam meramal, manakala yang lain lebih teruk dalam meramal.

2. Punca dan penyelesaian kepada ketidakadilan

Mengapa ketidakadilan berlaku? Sama ada dalam siri masa multivariate atau dalam bidang pembelajaran mesin yang lain, salah satu sebab utama perbezaan besar dalam kesan ramalan bagi sampel yang berbeza ialah sampel yang berbeza mempunyai ciri yang berbeza, dan model mungkin didominasi oleh ciri sampel tertentu semasa latihan. proses, menghasilkan Model meramalkan dengan baik pada sampel yang mendominasi latihan, tetapi kurang pada sampel yang tidak didominasi.

Dalam siri masa multivariate, pembolehubah berbeza mungkin mempunyai corak jujukan yang sangat berbeza. Sebagai contoh, dalam contoh yang ditunjukkan di atas, kebanyakan urutan adalah pegun, yang mendominasi proses latihan model. Walau bagaimanapun, sebilangan kecil jujukan mempamerkan turun naik yang berbeza daripada jujukan lain, mengakibatkan kesan ramalan model yang lemah pada jujukan ini.

Bagaimana untuk menyelesaikan ketidakadilan dalam siri masa multivariate? Satu cara berfikir ialah memandangkan ketidakadilan itu disebabkan oleh ciri-ciri yang berbeza dari urutan yang berbeza, jika persamaan antara jujukan dan perbezaan antara jujukan boleh diuraikan dan dimodelkan secara bebas, masalah yang disebutkan di atas dapat dikurangkan.

Artikel ini berdasarkan idea ini Keseluruhan seni bina adalah menggunakan kaedah pengelompokan untuk mengumpulkan jujukan berbilang pembolehubah dan mendapatkan ciri umum setiap kumpulan menggunakan kaedah pembelajaran lawan untuk belajar daripada perwakilan asal Kupas maklumat yang unik untuk setiap kumpulan dan dapatkan maklumat biasa. Melalui proses di atas, maklumat awam dan maklumat khusus urutan diasingkan, dan ramalan akhir dibuat berdasarkan dua bahagian maklumat ini.

3. Butiran pelaksanaan

Struktur model keseluruhan terutamanya merangkumi 4 modul: pembelajaran hubungan jujukan berbilang pembolehubah, rangkaian hubungan spatio-temporal, pengelompokan jujukan, dan kajian penguraian.

Pembelajaran perhubungan jujukan boleh ubah

Salah satu perkara utama siri masa berbilang variasi ialah mempelajari hubungan antara setiap jujukan. Artikel ini menggunakan kaedah Spatial-Temporal untuk mempelajari hubungan ini. Oleh kerana siri masa multivariate tidak seperti banyak tugas ramalan spatiotemporal, hubungan antara pelbagai pembolehubah boleh ditakrifkan terlebih dahulu, jadi kaedah pembelajaran automatik matriks bersebelahan digunakan di sini. Logik pengiraan khusus adalah untuk menjana pembenaman yang dimulakan secara rawak untuk setiap pembolehubah, dan kemudian menggunakan hasil dalam pembenaman dan beberapa pasca pemprosesan untuk mengira hubungan antara dua pembolehubah sebagai elemen pada kedudukan yang sepadan matriks bersebelahan formula adalah seperti berikut:

Kaedah pembelajaran matriks bersebelahan secara automatik ini sangat biasa digunakan dalam ramalan spatiotemporal, seperti yang ditunjukkan dalam Menyambung Titik: Ramalan Siri Masa Berbilang dengan Rangkaian Neural Graf (KDD 2020), REST : Pendekatan ini diguna pakai dalam artikel seperti Rangka Kerja Timbal Balik untuk Ramalan Spatiotemporal-coupled (WWW 2021). Saya telah memperkenalkan pelaksanaan prinsip model yang berkaitan secara terperinci dalam artikel Planet KDD2020 model ramalan ruang masa klasik analisis kod MTGNN Pelajar yang berminat boleh membaca lebih lanjut.

Rangkaian perhubungan spatial-temporal

Dengan matriks bersebelahan, artikel menggunakan model ramalan siri masa graf untuk mengekodkan siri masa berbilang pembolehubah secara spatio untuk mendapatkan perwakilan setiap jujukan pembolehubah. Struktur model khusus sangat serupa dengan DCRNN Berdasarkan GRU, modul GCN diperkenalkan ke dalam pengiraan setiap unit. Dapat difahami bahawa dalam proses pengiraan setiap unit GRU biasa, vektor nod jiran diperkenalkan untuk melakukan GCN untuk mendapatkan perwakilan yang dikemas kini. Mengenai prinsip kod pelaksanaan DCRNN, anda boleh merujuk artikel ini tentang analisis kod sumber model DCRNN.

Pengkelompokan Jujukan

Selepas mendapatkan perwakilan setiap siri masa pembolehubah, langkah seterusnya ialah mengelompokkan perwakilan ini untuk mendapatkan pengelompokan setiap jujukan pembolehubah, dan kemudian mengekstrak ciri unik setiap kumpulan maklumat pembolehubah. Fungsi kehilangan berikut diperkenalkan dalam artikel ini untuk membimbing proses pengelompokan, di mana H mewakili perwakilan setiap jujukan pembolehubah, dan F mewakili gabungan setiap jujukan pembolehubah dengan kategori K.

Proses kemas kini fungsi kehilangan ini memerlukan algoritma EM, iaitu, menetapkan urutan untuk mewakili H, mengoptimumkan F dan menetapkan F, mengoptimumkan H. Kaedah yang digunakan dalam artikel ini ialah menggunakan SVD untuk mengemas kini matriks F sekali selepas melatih beberapa pusingan model untuk mendapatkan perwakilan H.

Pembelajaran Penguraian

Inti modul pembelajaran penguraian adalah untuk membezakan perwakilan awam dan perwakilan peribadi bagi setiap pembolehubah kategori Perwakilan awam merujuk kepada ciri yang dikongsi oleh jujukan setiap pembolehubah kelompok , dan perwakilan peribadi Merujuk kepada ciri unik jujukan pembolehubah dalam setiap kelompok. Untuk mencapai matlamat ini, makalah ini menggunakan idea pembelajaran penguraian dan pembelajaran lawan untuk memisahkan perwakilan setiap kelompok daripada perwakilan urutan asal. Perwakilan kelompok mewakili ciri-ciri setiap kelas, dan perwakilan yang dilucutkan mewakili kesamaan semua jujukan Menggunakan perwakilan biasa ini untuk ramalan boleh mencapai keadilan dalam meramalkan setiap pembolehubah.

Artikel itu menggunakan idea pembelajaran bermusuhan untuk mengira secara langsung jarak L2 antara perwakilan awam dan perwakilan persendirian (iaitu, perwakilan setiap kelompok yang diperoleh melalui pengelompokan), dan menggunakan ini sebagai pengoptimuman terbalik kerugian untuk membiarkan bahagian awam mewakili Jurang dengan perwakilan peribadi adalah selebar mungkin. Di samping itu, kekangan ortogonal akan ditambah untuk menjadikan produk dalaman perwakilan awam dan perwakilan peribadi hampir kepada 0.

4. Keputusan eksperimen

Percubaan dalam artikel ini terutamanya membandingkan dari dua aspek: kesaksamaan dan kesan ramalan Model yang dibandingkan termasuk model ramalan siri masa asas (LSTNet, Informer), siri masa graf Model ramalan dll. Dari segi kesaksamaan, varians keputusan ramalan pembolehubah berbeza digunakan Melalui perbandingan, kesaksamaan kaedah ini meningkat dengan ketara berbanding model lain (seperti yang ditunjukkan dalam jadual di bawah).

Dari segi kesan ramalan, model yang dicadangkan dalam artikel ini pada asasnya boleh mencapai kesan yang sama seperti SOTA:

5 , Ringkasan

Cara memastikan kesaksamaan model adalah masalah yang dihadapi oleh banyak senario pembelajaran mesin. Kertas kerja ini memperkenalkan dimensi masalah ini ke dalam ramalan siri masa multivariate, dan menggunakan ramalan spatiotemporal dan kaedah pembelajaran lawan untuk menyelesaikannya dengan lebih baik.

Atas ialah kandungan terperinci Mengenai isu keadilan dalam siri masa multivariate. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!