Semakan kemajuan penyelidikan pembelajaran mendalam dalam ramalan dan klasifikasi siri masa pada 2022-AI-php.cn

Penurunan transformer untuk ramalan siri masa dan peningkatan kaedah pembenaman siri masa, serta kemajuan dalam pengesanan dan pengelasan anomali

Seluruh bidang telah mencapai kemajuan dalam beberapa aspek berbeza pada tahun 2022. Artikel ini akan Cuba merangkumi beberapa kertas kerja yang lebih menjanjikan dan penting yang telah muncul pada tahun lalu atau lebih, serta rangka kerja ramalan Ramalan Aliran [FF].

Semakan kemajuan penyelidikan pembelajaran mendalam dalam ramalan dan klasifikasi siri masa pada 2022

Ramalan Siri Masa

1. Adakah Transformers Benar-benar Berkesan untuk Ramalan Siri Masa?

https://www.php.cn/link/bf4d73f316737b26f1e860da0ea63ec8

Penyelidikan berkaitan Transformer membandingkan Autoformer, Pyraformer, Fedformer, dsb., kesan dan masalahnya

Semakan kemajuan penyelidikan pembelajaran mendalam dalam ramalan dan klasifikasi siri masa pada 2022 Dengan kemunculan model seperti Autoformer (Neurips 2021), Pyraformer (ICLR 2022), Fedformer (ICML 2022), EarthFormer (Neurips 2022) dan Non-Stationary Transformer (Neurips siri masa Keluarga Transformer bagi seni bina ramalan terus berkembang). Tetapi keupayaan model ini untuk meramal data dengan tepat dan mengatasi kaedah sedia ada masih menjadi persoalan, terutamanya berdasarkan penyelidikan baharu (yang akan kita bincangkan kemudian).

Autoformer: Dilanjutkan dan dipertingkatkan prestasi model Informer. Autoformer menampilkan mekanisme korelasi automatik yang membolehkan model mempelajari kebergantungan temporal lebih baik daripada perhatian standard. Ia bertujuan untuk menguraikan trend dan komponen bermusim data temporal dengan tepat.

Semakan kemajuan penyelidikan pembelajaran mendalam dalam ramalan dan klasifikasi siri masa pada 2022 Pyraformer: Pengarang memperkenalkan "Pyramid Attention Module (PAM), di mana struktur pokok antara skala meringkaskan ciri pada resolusi yang berbeza, dan intra-skala bersebelahan sambungan memasangkan julat yang berbeza Memodelkan pergantungan masa bagi ”

Fedformer: Model ini memfokuskan pada menangkap arah aliran global dalam data siri masa. Penulis mencadangkan modul penguraian trend bermusim yang direka untuk menangkap ciri global siri masa.

Earthformer: Mungkin yang paling unik daripada kertas ini, ia tertumpu secara khusus pada meramal sistem Bumi seperti cuaca, iklim dan pertanian. Seni bina perhatian kuboid baharu diperkenalkan. Makalah ini sepatutnya mempunyai potensi yang besar, kerana banyak Transformer klasik telah gagal dalam penyelidikan mengenai ramalan sungai dan banjir kilat.

Pengubah Bukan Pegun: Ini adalah kertas terbaharu menggunakan pengubah untuk ramalan. Penulis bertujuan untuk menala Transformer dengan lebih baik untuk mengendalikan siri masa tidak pegun. Mereka menggunakan dua mekanisme: perhatian yang tidak stabil dan satu siri mekanisme penstabilan. Mekanisme ini boleh dipalamkan ke dalam mana-mana model Transformer sedia ada, dan penulis telah menguji memasukkannya ke dalam Informer, Autoformer dan Transformer tradisional untuk meningkatkan prestasi (dalam lampiran, ia juga menunjukkan bahawa ia boleh meningkatkan prestasi Fedformer).

Metodologi penilaian kertas kerja: Sama seperti Informer, semua model ini (kecuali Earthformer) dinilai pada set data elektrik, pengangkutan, kewangan dan cuaca. Dinilai terutamanya berdasarkan penunjuk ralat min kuasa dua (MSE) dan ralat mutlak min (MAE):

Semakan kemajuan penyelidikan pembelajaran mendalam dalam ramalan dan klasifikasi siri masa pada 2022 Kertas ini sangat bagus, tetapi ia hanya membandingkan kertas berkaitan Transformer. Malah, ia harus dibandingkan dengan kaedah yang lebih mudah, seperti regresi linear mudah, LSTM/GRU, atau juga model pokok seperti XGB. Perkara lain ialah mereka tidak sepatutnya terhad kepada beberapa set data standard, kerana saya tidak melihat prestasi yang baik pada set data berkaitan siri masa yang lain. Sebagai contoh, pemberi maklumat mempunyai masalah besar dengan tepat meramalkan aliran sungai, dan prestasi mereka selalunya lemah berbanding dengan LSTM atau Transformer biasa.

Selain itu, kerana tidak seperti penglihatan komputer, dimensi imej kekal sekurang-kurangnya tetap, data siri masa boleh berbeza-beza dalam panjang, berkala, arah aliran dan kemusim, jadi julat set data yang lebih besar diperlukan.

Dalam semakan untuk Transformer Bukan Pegun OpenReview, seorang pengulas turut menyatakan isu ini, tetapi ia telah ditolak undian dalam semakan meta akhir:

“Memandangkan model itu tergolong dalam medan Transformer dan Transformer sebelum ini telah menunjukkan prestasi terkini dalam banyak tugas, saya rasa tidak perlu dibandingkan dengan kaedah 'keluarga' yang lain ”

Ini adalah hujah yang sangat bermasalah, dan membawa kepada itu kurang kesesuaian dengan dunia sebenar. Seperti yang kita semua tahu: Kelebihan XGB yang luar biasa dalam data jadual tidak berubah, jadi apa gunanya Transformer bekerja di belakang pintu tertutup? Melebihi setiap masa dan dipukul setiap masa.

Sebagai seseorang yang menghargai kaedah terkini dan model inovatif dalam amalan, apabila saya menghabiskan masa berbulan-bulan mencuba untuk mendapatkan model yang dipanggil "baik" untuk berfungsi, akhirnya saya mendapati bahawa ia berjaya 't berprestasi sebaik Regresi linear mudah, apa gunanya beberapa bulan ini? Apa gunanya model yang dikatakan bagus ini?

Semua kertas transformer mengalami masalah penilaian terhad yang sama Kita harus menuntut perbandingan yang lebih ketat dan penjelasan yang jelas tentang kelemahan dari awal tidak selalunya mengatasi model mudah pada mulanya, tetapi ini perlu dinyatakan secara eksplisit dalam kertas, bukannya dikilat atau hanya menganggap bahawa ini tidak berlaku

Tetapi kertas itu masih bagus, mis set data MovingMNIST dan set data MNIST N-body, dan pengarang menggunakannya untuk mengesahkan keberkesanan perhatian kuboid dan menilai ramalan serta-merta pemendakan dan ramalan kitaran El Niño, saya fikir ia adalah satu contoh yang baik, menyepadukan pengetahuan fizikal ke dalam a seni bina model dengan perhatian, dan kemudian reka ujian yang baik

2 Adakah Transformers Berkesan untuk Ramalan Siri Masa (2022)?

https://www.php.cn /link/bf4d73f316737b26f1e860da0ea63ec8

Semakan kemajuan penyelidikan pembelajaran mendalam dalam ramalan dan klasifikasi siri masa pada 2022

Makalah ini meneroka keupayaan Transformer untuk meramalkan data berbanding kaedah garis dasar. Keputusan ini sering kali mengesahkan bahawa Transformer berprestasi lebih teruk daripada model Transformer dan sukar untuk ditala. modul kompleks lain tidak diperlukan, sekurang-kurangnya untuk penanda aras LTSF sedia ada"

meneroka sama ada pembenaman kedudukan benar-benar menangkap susunan temporal siri masa dengan baik Mereka melakukan ini dengan mengocok urutan input secara rawak ke dalam Transformer Mereka mendapati ini pada beberapa set data Pengocokan ini tidak menjejaskan keputusan (pengekodan ini sangat menyusahkan). Sejak beberapa tahun kebelakangan ini, banyak percubaan siri masa dengan model Transformer telah menghasilkan keputusan yang tidak memuaskan dalam kebanyakan kes Untuk masa yang lama, kami fikir kami telah melakukan sesuatu yang salah, atau terlepas beberapa pelaksanaan yang kecil Semua ini dianggap sebagai idea model SOTA yang seterusnya Tetapi kertas ini mempunyai idea yang konsisten Mekanisme semasa? Sekiranya kita kembali kepada seni bina seperti lstm, GRU, atau model suapan yang mudah, saya tidak tahu jawapannya, tetapi kesan keseluruhan kertas ini masih belum dapat dilihat mungkin untuk berundur dan fokus pada pembelajaran perwakilan siri masa yang cekap Lagipun, BERT berjaya dibentuk dengan baik dalam persekitaran NLP
Yang berkata, saya tidak fikir kita harus mempertimbangkan Transformer untuk siri masa. menjadi mati sepenuhnya memahami pemutusan antara perwakilan dalaman dan output ramalan sebenar, seperti yang dicadangkan oleh pengarang, dan memperbaik kedudukan Pembenaman boleh memainkan peranan penting dalam meningkatkan prestasi keseluruhan Akhirnya, terdapat model Transformer yang berprestasi sangat baik pada pelbagai data pengesanan anomali set, yang akan diperkenalkan di bawah. mengenai penggunaan transformer pada ramalan, tetapi terdapat pengecualian Terdapat sedikit kajian tentang pengesanan Artikel ini memperkenalkan Transformer (tanpa diawasi) untuk mengesan anomali menggunakan mekanisme perhatian anomali yang dibina khas dan strategi minmax.
Artikel ini menilai prestasi model pada lima set data dunia nyata, termasuk Set Data Mesin Pelayan, Metrik Pelayan Terkumpul, Pasif Aktif Kelembapan Tanah dan NeurIPS-TS (yang sendiri terdiri daripada lima set data berbeza). Walaupun seseorang mungkin ragu-ragu dengan model ini, terutamanya mengenai sudut pandangan kertas kedua, penilaian ini agak ketat. Neurips-TS ialah set data yang dibuat baru-baru ini yang direka khusus untuk memberikan penilaian yang lebih teliti terhadap model pengesanan anomali. Model ini nampaknya meningkatkan prestasi berbanding model pengesanan anomali yang lebih mudah.

Pengarang mencadangkan Transformer tanpa pengawasan unik yang berprestasi baik pada kebanyakan set data pengesanan anomali. Ini adalah salah satu kertas kerja yang paling menjanjikan dalam bidang Transformers siri masa dalam beberapa tahun kebelakangan ini. Kerana ramalan adalah lebih mencabar daripada pengelasan atau pengesanan anomali kerana anda cuba meramalkan julat besar kemungkinan nilai beberapa langkah masa ke masa hadapan. Begitu banyak penyelidikan telah menumpukan pada ramalan, sambil mengabaikan pengelasan atau pengesanan anomali Patutkah kita mula mudah untuk Transformer?

4. WaveBound: Had Ralat Dinamik untuk Ramalan Siri Masa Stabil (Neurips 2022):

https://www.php.cn/link/ae95296e27d7f695ff491cd >
Kertas kerja memperkenalkan bentuk regularisasi baharu yang boleh meningkatkan latihan model ramalan siri masa mendalam (terutama transformer yang dinyatakan di atas).
Pengarang menilai dengan memasukkannya ke dalam model pengubah + LSTNet sedia ada. Mereka mendapati bahawa ia meningkatkan prestasi dengan ketara dalam kebanyakan kes. Walaupun mereka hanya menguji model Autoformer dan bukan model yang lebih baru seperti Fedformer.
Bentuk penetapan atau kehilangan fungsi baharu sentiasa berguna kerana ia biasanya boleh dipalamkan ke dalam mana-mana model siri masa sedia ada. Jika anda menggabungkan Fedformer + mekanisme tidak pegun + Wavebound, anda mungkin mengalahkan regresi linear mudah dalam prestasi :).
Perwakilan Siri Masa
Walaupun Transformer tidak menunjukkan prestasi yang baik dalam arah ramalan, Transformer telah membuat banyak kemajuan dalam mencipta perwakilan siri masa yang berguna. Saya fikir ini adalah bidang baharu yang mengagumkan dalam bidang pembelajaran mendalam siri masa yang harus diterokai dengan lebih mendalam.
5. TS2Vec: Ke Arah Perwakilan Sejagat bagi Siri Masa (AAAI 2022)

https://www.php.cn/link/7690dd4db7a92524c684e3191919>TS2Vec ialah rangka kerja umum untuk mempelajari perwakilan/pembenaman siri masa. Kertas itu sendiri agak ketinggalan zaman, tetapi ia telah memulakan trend kertas pembelajaran perwakilan siri masa.
Menilai penggunaan perwakilan untuk ramalan dan pengesanan anomali, mengatasi prestasi banyak model seperti Informer dan Log Transformer.
6. Mempelajari Perwakilan Aliran Bermusim Terpendam untuk Ramalan Siri Masa(Neurips 2022)

https://www.php.cn/link/0c5534f554a26f7aeb7c780e52

Pengarang mencipta model (TERAKHIR) yang menggunakan inferens variasi untuk mencipta perwakilan bermusim dan aliran yang berasingan.
Pengarang menilai model mereka pada tugas ramalan hiliran, yang mereka lakukan dengan menambahkan peramal pada perwakilan (lihat B dalam rajah di atas). Mereka juga menyediakan plot yang menarik untuk menunjukkan visualisasi perwakilan. Model ini mengatasi Autoformer pada beberapa tugas ramalan serta TS2Vec dan kos. Ia juga kelihatan seperti ia mungkin berprestasi lebih baik daripada regresi linear mudah yang disebutkan di atas pada beberapa tugas ramalan.

Walaupun saya masih ragu-ragu terhadap model yang hanya menilai tugas ramalan standard, model ini benar-benar bersinar kerana ia memfokuskan pada perwakilan dan bukannya tugas ramalan itu sendiri. Jika kita melihat beberapa graf yang ditunjukkan dalam kertas, kita dapat melihat bahawa model itu nampaknya belajar membezakan antara bermusim dan trend. Perwakilan visual set data yang berbeza juga dibenamkan dalam ruang yang sama, dan ia akan menjadi menarik jika ia menunjukkan perbezaan yang besar.
7. Kos: Pembelajaran Kontrastif Perwakilan Aliran Musim Bermusim untuk Ramalan Siri Masa (ICLR 2022)

https://www.php.cn/link/791d3a0048b9c0708dced9c0708d

Ini ialah kertas kerja yang diterbitkan di ICLR lebih awal pada tahun 2022, yang hampir sama dengan LaST dari segi pembelajaran perwakilan bermusim dan trend. Memandangkan LaST telah banyak menggantikan prestasinya, ia tidak akan diterangkan terlalu banyak di sini. Tetapi pautan di atas untuk mereka yang ingin membacanya.
Kertas menarik lain

8 Penyesuaian Domain untuk Ramalan Siri Masa melalui Perkongsian Perhatian (ICML 2022)

https://www.php.cn/link / d4ea5dacfff2d8a35c0952291779290d

Ramalan merupakan cabaran untuk DNN apabila kekurangan data latihan. Kertas kerja ini menggunakan lapisan perhatian dikongsi untuk domain dengan data kaya, dan kemudian menggunakan modul berasingan untuk domain sasaran.

Model yang dicadangkan dinilai menggunakan set data sintetik dan sebenar. Dalam persekitaran sintetik, pembelajaran permulaan dingin dan pembelajaran beberapa pukulan telah diuji dan model mereka didapati mengatasi prestasi Transformer biasa dan DeepAR. Untuk set data sebenar set data runcit Kaggle telah diterima pakai dan model tersebut mengatasi prestasi asas dengan ketara dalam eksperimen ini.

Permulaan yang dingin, beberapa sampel dan pembelajaran terhingga merupakan topik yang sangat penting, tetapi beberapa kertas kerja membincangkan siri masa. Model ini menyediakan langkah penting ke arah menangani beberapa isu ini. Ini bermakna mereka boleh dinilai pada set data dunia nyata terhad yang lebih pelbagai dan dibandingkan dengan lebih banyak model garis dasar Faedah penalaan halus atau regularisasi ialah ia boleh dilaraskan untuk mana-mana seni bina.

9. Bila Perlu Campur Tangan: Mempelajari Dasar Intervensi Optimum untuk Peristiwa Kritikal (Neurips 2022)

https://www.php.cn/link/f38fef4c0e4988792723d39a0b
Walaupun ini bukan kertas siri masa "tipikal", saya memilih untuk memasukkannya ke dalam senarai ini kerana fokus kertas itu adalah untuk mencari masa terbaik untuk campur tangan sebelum mesin gagal. Ini dipanggil OTI atau Masa Optimum untuk Intervensi

Salah satu isu dengan menilai OTI ialah ketepatan analisis kemandirian yang mendasari (jika salah, penilaian juga akan menjadi tidak betul). Pengarang menilai model mereka terhadap dua ambang statik, mendapati ia berprestasi baik, dan memplot prestasi yang dijangkakan dan nisbah hit-to-gagal untuk dasar yang berbeza.
Ini adalah masalah yang menarik dan pengarang mencadangkan penyelesaian baru, dan seorang pengulas pada Openreview menyatakan: "Jika terdapat graf yang menunjukkan pertukaran antara kebarangkalian kegagalan dan jangkaan masa intervensi, percubaan itu mungkin akan menjadi lebih meyakinkan supaya orang ramai dapat melihat secara visual bentuk lengkung pertukaran ini ”
Data data/penanda aras terbaharu
Yang terakhir ialah penanda aras set data

Monash. Arkib Ramalan Siri Masa (Neurips 2021): Arkib ini bertujuan untuk membentuk "senarai induk" set data siri masa yang berbeza dan menyediakan penanda aras yang lebih berwibawa. Repositori mengandungi lebih 20 set data berbeza yang merangkumi pelbagai industri termasuk kesihatan, runcit, perkongsian tunggangan, demografi dan banyak lagi.

https://www.php.cn/link/5d7009220a974e94404889274d3a9553
Set data Ramalan Submusim Microsoft (2021) ini dikeluarkan secara terbuka: Microsoft , direka bentuk untuk mempromosikan penggunaan pembelajaran mesin untuk meningkatkan ramalan submusim (mis., dua hingga enam minggu ke hadapan). Ramalan submusim membantu agensi kerajaan lebih bersedia untuk peristiwa cuaca dan keputusan petani. Microsoft telah memasukkan beberapa model penanda aras untuk tugas ini, dan secara amnya model pembelajaran mendalam berprestasi agak lemah berbanding kaedah lain. Model DL terbaik ialah model suapan hadapan yang ringkas, dan Informer berprestasi sangat teruk.

https://www.php.cn/link/c3cbd51329ff1a0169174e9a78126ee1
Menyemak Semula Pengesanan Outlier Siri Masa: Artikel ini menyemak banyak anomali yang sedia ada set data, dan 35 set data sintetik baharu dan 4 set data dunia nyata dicadangkan untuk penanda aras.

https://www.php.cn/link/03793ef7d06ffd63d34ade9d091f1ced
Rangka kerja ramalan pemasaan sumber terbuka FFVanilla LSTM (LSTM), SimpleTransformer, Multi-Head Attention, Transformer dengan penyahkod linear, DARNN, Transformer XL, Informer, DeepAR , DSANet, SimpleLinearModel Tunggu
Ini ialah sumber kod model yang baik untuk belajar menggunakan pembelajaran mendalam untuk ramalan masa Jika anda berminat, anda boleh lihat.

https://www.php.cn/link/fea33a31df7d05a276193d32621ecbe4

Ringkasan
Dalam dua tahun yang lalu, kami mempunyai melihat peningkatan dan kemungkinan penurunan Transformers dalam ramalan siri masa dan peningkatan kaedah pembenaman siri masa, dengan penemuan tambahan dalam pengesanan dan pengelasan anomali.

Tetapi untuk siri masa pembelajaran mendalam: kebolehtafsiran, visualisasi dan kaedah penanda aras masih kurang, kerana ia adalah sangat penting di mana model dilaksanakan dan di mana kegagalan prestasi berlaku. Selain itu, lebih banyak bentuk penyelarasan, prapemprosesan dan pemindahan pembelajaran untuk meningkatkan prestasi mungkin muncul pada masa hadapan.

Mungkin Transformer bagus untuk ramalan siri masa (mungkin juga tidak seperti VIT, Transformer mungkin masih dianggap tidak berguna tanpa kemunculan Patch Kami juga akan terus memberi perhatian kepada pembangunan atau penggantian Transformer dalam siri masa.

Atas ialah kandungan terperinci Semakan kemajuan penyelidikan pembelajaran mendalam dalam ramalan dan klasifikasi siri masa pada 2022. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!