Model berskala besar bersepadu pelbagai tugas siri masa berdasarkan Penyesuai dan GPT

Hari ini saya ingin bercakap dengan anda tentang kerja terbaharu mengenai ramalan siri masa model besar Ia datang daripada Akademi Alibaba Damo, yang mencadangkan rangka kerja analisis siri masa universal berdasarkan penyesuai, yang boleh digunakan dalam ramalan kitaran panjang. peramalan kitaran pendek, pukulan sifar, dan beberapa keputusan yang luar biasa telah dicapai pada 7 tugasan siri masa termasuk -shot, pengesanan anomali, klasifikasi siri masa dan pengisian siri masa.

Tajuk kertas: Satu saiz sesuai untuk semua: Analisis siri masa universal menggunakan model bahasa pra-latihan dan penyesuai yang direka khas

Pautan boleh dimuat turun: https://arxiv.org/pdf/2311.14782v1.pdf

1. Latar Belakang

Dalam bidang peramalan siri masa, salah satu kesukaran dalam membina model berskala besar adalah kekurangan data latihan yang mencukupi seperti dalam medan NLP atau CV. Artikel ini mencadangkan penyelesaian, yang berdasarkan model berskala besar yang terlatih dalam bidang NLP atau CV, digabungkan dengan teknologi Adapter, untuk menyesuaikannya dengan siri masa untuk menyelesaikan pelbagai masalah siri masa

Adaptor dalam NLP, Ia digunakan secara meluas dalam bidang seperti CV, terutamanya dalam aplikasi model besar baru-baru ini Penyesuai sering digunakan untuk melakukan penalaan ringan model besar. Penyesuai ialah rangkaian ringan Dengan memasukkannya ke dalam beberapa modul dalam model besar, kemudian menetapkan parameter model besar dan hanya mengemas kini parameter penyesuai, anda boleh mencapai finetune model besar ringan.

Pictures

Sekarang, izinkan saya memperkenalkan kepada anda bagaimana dalam kerja Alibaba Damo Academy ini, kami menggunakan penyesuai untuk menggabungkan model NLP dan CV yang telah terlatih untuk membina model siri masa bersatu.

2. Struktur keseluruhan

Model yang dicadangkan dalam artikel ini adalah berdasarkan model bahasa pra-latihan bagi parameter Freeze dan dilaksanakan dengan menggabungkan 4 jenis penyesuai. Struktur model keseluruhan ditunjukkan dalam rajah di bawah.

Pictures

Pertama, untuk siri masa input, kami akan menggunakan kaedah RevIN untuk normalisasi. Ini bermakna kita menolak min daripada setiap siri masa dan membahagikan dengan varians. Seterusnya, kami akan menggunakan kaedah PatchTST untuk membahagikan siri masa kepada berbilang segmen melalui tetingkap gelongsor dan menjana pembenaman segmen. Siri masa yang diproses akan dimasukkan ke dalam model bahasa pra-latihan dalam medan NLP. Semasa keseluruhan proses latihan, parameter asal model bahasa akan kekal tidak berubah dan kami hanya akan mengemas kini 4 jenis parameter penyesuai yang baru ditambah

3 Reka bentuk penyesuai

Artikel ini memperkenalkan empat jenis penyesuai yang boleh dipalamkan NLP dan kedudukan berbeza model besar dalam bidang CV untuk mencapai matlamat menyesuaikan siri masa. Empat penyesuai ini ialah penyesuai masa, penyesuai saluran, penyesuai frekuensi dan penyesuai pengecualian masa: Penyesuai masa ialah rangkaian MLP yang digunakan untuk menggabungkan maklumat dimensi masa. Dalam kertas kerja ini, kami menggunakan struktur kesesakan untuk memetakan maklumat berdimensi tinggi terlebih dahulu dalam dimensi masa atau dimensi ruang ke ruang dimensi rendah, dan kemudian memetakannya kembali ke ruang dimensi tinggi. Tujuannya adalah untuk mengelakkan risiko keterlaluan dalam proses mengekstrak hubungan temporal

Penyesuai Saluran: Struktur penyesuai saluran adalah serupa dengan penyesuai temporal Perbezaannya ialah ia dilakukan dalam dimensi ruang dan digunakan untuk mengekstrak hubungan antara pembolehubah jujukan multivariat , bottlenect juga digunakan; domain frekuensi, melakukan MLP dalam domain frekuensi, dan kemudian memetakannya kembali ke domain masa, untuk mencapai pengekstrakan maklumat global seperti domain frekuensi.

Penyesuai Anomali: Bahagian ini terutamanya melaksanakan kaedah pengesanan anomali siri masa yang baharu Matriks skor perhatian digunakan di sini Untuk jujukan biasa, matriks skor perhatian menunjukkan ciri pengulangan berkala, tetapi urutan tidak normal tidak, jadi artikel ini menggunakan. a Kernel Gaussian berfungsi sebagai penyesuai anomali dan menggunakan hasil output perhatian dan perbezaan KL yang dikira untuk pengesanan anomali siri masa.

Gambar

Selain itu, data yang berbeza akan dipengaruhi oleh setiap penyesuai pada tahap yang berbeza-beza Oleh itu, rangkaian berpagar digunakan dalam artikel untuk menggunakan penyesuai secara terpilih

4 tugasan siri masa telah dibandingkan Model besar bersatu siri masa yang dicadangkan dalam artikel ini mencapai hasil yang lebih baik daripada pelbagai model SOTA dalam industri dalam setiap tugasan. Mengambil tugas ramalan jangka panjang sebagai contoh, model bersatu berdasarkan GPT2+Adaptor menunjukkan prestasi terbaik

Gambar

Atas ialah kandungan terperinci Model berskala besar bersepadu pelbagai tugas siri masa berdasarkan Penyesuai dan GPT. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!