


Google: Kaedah baharu untuk mempelajari perwakilan siri masa dengan pensampelan frekuensi tidak sama
Dalam masalah siri masa, terdapat jenis siri masa yang tidak diambil sampel pada frekuensi yang sama, iaitu selang masa antara dua cerapan bersebelahan dalam setiap kumpulan adalah berbeza. Pembelajaran perwakilan siri masa telah banyak dikaji dalam siri masa pensampelan frekuensi sama, tetapi terdapat kurang penyelidikan dalam siri masa pensampelan tidak teratur ini, dan kaedah pemodelan siri masa jenis ini berbeza daripada pensampelan frekuensi sama di sana ialah perbezaan besar dalam kaedah pemodelan
Artikel yang diperkenalkan hari ini meneroka kaedah aplikasi pembelajaran perwakilan dalam masalah siri masa pensampelan tidak teratur, menggunakan pengalaman yang relevan dalam NLP dan mencapai hasil perbandingan dalam tugasan hiliran.
Pictures
- paper Tajuk: Paits: Pretraining and Augmentation for Series TimeDownload Time tidak teratur: https://arxiv.org/pdf/2308.13703v1.pdf
- 1 definisi data
Berikut ialah perwakilan data siri masa yang tidak teratur, seperti yang ditunjukkan dalam rajah di bawah. Setiap siri masa terdiri daripada satu set triple Setiap triple mengandungi tiga medan: masa, nilai dan ciri, yang masing-masing mewakili masa pensampelan, nilai dan ciri lain bagi setiap elemen dalam siri masa. Selain tiga kali ganda ini, setiap jujukan juga termasuk ciri statik lain yang tidak berubah dari semasa ke semasa, serta label untuk setiap siri masa
gambarSecara amnya kaedah pemodelan siri masa yang tidak teratur ini, struktur biasa Data tiga kali ganda di atas dibenamkan secara berasingan, disambungkan bersama, dan dimasukkan ke dalam model seperti transformer Dengan cara ini, maklumat pada setiap saat dan perwakilan masa pada setiap saat disepadukan dan dimasukkan ke dalam model untuk meramalkan tugasan berikutnya.
GambarDalam tugasan artikel ini, data yang digunakan termasuk bukan sahaja data berlabel, tetapi juga data tidak berlabel untuk pra-latihan tanpa pengawasan.
2. Gambaran Keseluruhan Kaedah
Kaedah pra-latihan dalam artikel ini merujuk kepada pengalaman dalam bidang pemprosesan bahasa semula jadi dan terutamanya merangkumi dua aspek
Reka bentuk tugasan pra-latihan: Untuk mengendalikan siri masa yang tidak teratur, sesuai pra-latihan perlu direka Tugas membolehkan model mempelajari perwakilan yang berkesan daripada data yang tidak diselia. Artikel ini terutamanya memperkenalkan dua tugasan pra-latihan berdasarkan ramalan dan berasaskan pembinaan semula
Reka bentuk kaedah peningkatan data: Dalam kajian ini, kaedah peningkatan data untuk pembelajaran tanpa pengawasan telah direka, termasuk menambah bunyi, menambah topeng rawak, dll.
Di samping itu, artikel itu juga memperkenalkan algoritma untuk set data teragih yang berbeza untuk meneroka kaedah pembelajaran tanpa pengawasan yang optimum
3 Reka bentuk tugasan pra-latihan
Artikel ini mencadangkan dua tugasan pra-latihan pada siri masa yang tidak teratur, masing-masing, ialah Peramalan pralatihan. dan Pralatihan Pembinaan Semula.
Dalam pralatihan Ramalan, untuk setiap ciri dalam siri masa, nilainya diramalkan berdasarkan urutan prapesanan tetingkap masa dengan saiz tertentu. Ciri di sini merujuk kepada ciri dalam triplet. Memandangkan setiap ciri mungkin muncul beberapa kali dalam tetingkap masa, atau mungkin tidak muncul sama sekali, nilai kejadian pertama ciri ini digunakan sebagai label untuk pra-latihan. Data input termasuk siri asal dan siri masa yang dipertingkatkan.
Dalam pra-latihan pembinaan semula, pertama, untuk siri masa asal, urutan dipertingkatkan dijana melalui beberapa kaedah peningkatan data, dan kemudian urutan dipertingkat digunakan sebagai input, dan vektor perwakilan dijana oleh pengekod, dan kemudian input kepada penyahkod Pulihkan siri masa asal dalam pemproses. Artikel menggunakan topeng untuk membimbing bahagian urutan yang perlu dipulihkan Jika topeng adalah semua 1, keseluruhan urutan dipulihkan Selepas mendapatkan parameter pra-latihan, ia boleh digunakan secara langsung pada tugas finetune hiliran keseluruhan proses pralatihan-finetune Seperti yang ditunjukkan di bawah.
Gambar
4. Reka bentuk kaedah peningkatan dataDalam artikel ini, kami mencadangkan dua kaedah peningkatan data. Kaedah pertama ialah menambah hingar, dengan memperkenalkan beberapa gangguan rawak dalam data untuk meningkatkan kepelbagaian data. Kaedah kedua ialah pelekat rawak, yang menggalakkan model untuk mempelajari ciri yang lebih mantap dengan memilih secara rawak beberapa bahagian data untuk ditutup. Kaedah peningkatan data ini boleh membantu kami meningkatkan prestasi dan keupayaan generalisasi model
Untuk setiap nilai atau titik masa jujukan asal, hingar boleh ditambah dengan menambahkan hingar Gaussian. Kaedah pengiraan khusus adalah seperti berikut:
Gambar
Kaedah topeng rawak menggunakan idea daripada NLP, dan membina siri masa yang dipertingkatkan dengan memilih masa, ciri, nilai dan elemen lain secara rawak untuk topeng dan penggantian rawak.
Rajah berikut menunjukkan kesan dua jenis kaedah peningkatan data di atas:
Gambar
Selain itu, artikel tersebut menggunakan gabungan peningkatan data, kaedah pra-latihan, dsb., untuk siri masa yang berbeza data, daripada gabungan ini Cari kaedah pra-latihan yang optimum.
5. Keputusan eksperimen
Dalam artikel ini, percubaan telah dijalankan pada berbilang set data untuk membandingkan kesan kaedah pra-latihan yang berbeza pada set data ini. Dapat diperhatikan bahawa kaedah pra-latihan yang dicadangkan dalam artikel telah mencapai peningkatan yang ketara pada kebanyakan set data
Atas ialah kandungan terperinci Google: Kaedah baharu untuk mempelajari perwakilan siri masa dengan pensampelan frekuensi tidak sama. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



DeepSeek adalah alat pengambilan maklumat yang kuat. .

DeepSeek adalah enjin carian proprietari yang hanya mencari dalam pangkalan data atau sistem tertentu, lebih cepat dan lebih tepat. Apabila menggunakannya, pengguna dinasihatkan untuk membaca dokumen itu, cuba strategi carian yang berbeza, dapatkan bantuan dan maklum balas mengenai pengalaman pengguna untuk memanfaatkan kelebihan mereka.

Artikel ini memperkenalkan proses pendaftaran versi web Web Open Exchange (GATE.IO) dan aplikasi Perdagangan Gate secara terperinci. Sama ada pendaftaran web atau pendaftaran aplikasi, anda perlu melawat laman web rasmi atau App Store untuk memuat turun aplikasi tulen, kemudian isi nama pengguna, kata laluan, e -mel, nombor telefon bimbit dan maklumat lain, dan lengkap e -mel atau pengesahan telefon bimbit.

Mengapa pautan Bybit Exchange tidak dimuat turun dan dipasang secara langsung? Bybit adalah pertukaran cryptocurrency yang menyediakan perkhidmatan perdagangan kepada pengguna. Aplikasi mudah alih Exchange tidak boleh dimuat turun terus melalui AppStore atau GooglePlay untuk sebab -sebab berikut: 1. Aplikasi pertukaran cryptocurrency sering tidak memenuhi keperluan ini kerana ia melibatkan perkhidmatan kewangan dan memerlukan peraturan dan standard keselamatan tertentu. 2. Undang -undang dan Peraturan Pematuhan di banyak negara, aktiviti yang berkaitan dengan urus niaga cryptocurrency dikawal atau terhad. Untuk mematuhi peraturan ini, aplikasi bybit hanya boleh digunakan melalui laman web rasmi atau saluran yang diberi kuasa lain

Adalah penting untuk memilih saluran rasmi untuk memuat turun aplikasi dan memastikan keselamatan akaun anda.

Pengenalan terperinci kepada operasi log masuk versi Web Open Exchange, termasuk langkah masuk dan proses pemulihan kata laluan.

Gate.io adalah pertukaran cryptocurrency terkemuka yang menawarkan pelbagai aset crypto dan pasangan perdagangan. Mendaftar Gate.io sangat mudah. Lengkapkan pendaftaran. Dengan Gate.io, pengguna dapat menikmati pengalaman perdagangan cryptocurrency yang selamat dan mudah.

Untuk mengakses versi Login Laman Web Binance yang terkini, ikuti langkah mudah ini. Pergi ke laman web rasmi dan klik butang "Login" di sudut kanan atas. Pilih kaedah log masuk anda yang sedia ada. Masukkan nombor mudah alih berdaftar atau e -mel dan kata laluan anda dan pengesahan lengkap (seperti kod pengesahan mudah alih atau Google Authenticator). Selepas pengesahan yang berjaya, anda boleh mengakses Portal Log masuk laman web rasmi Binance.
