


Analisis Masa Pentagon Warrior! Universiti Tsinghua mencadangkan TimesNet: terkemuka dalam ramalan, pengisian, pengelasan dan pengesanan
Mencapai kepelbagaian tugas ialah isu teras dalam penyelidikan model pembelajaran mendalam asas, dan juga merupakan salah satu kebimbangan utama dalam hala tuju model besar terkini.
Walau bagaimanapun, dalam medan siri masa, pelbagai jenis tugasan analisis sangat berbeza-beza, termasuk tugas ramalan yang memerlukan pemodelan yang terperinci dan tugas pengelasan yang memerlukan pengekstrakan maklumat semantik peringkat tinggi. Cara membina model asas mendalam bersatu untuk menyelesaikan pelbagai tugas analisis pemasaan dengan cekapBelum ada penyelesaian yang ditetapkan sebelum ini.
Untuk tujuan ini, pasukan dari Pusat Pengajian Perisian, Universiti Tsinghua menjalankan penyelidikan tentang isu asas pemodelan perubahan masa dan mencadangkan model asas pemasaan tugas-sejagat TimesNet diterima oleh ICLR 2023.
Senarai pengarang: Wu Haixu*, Hu Tengge*, Liu Yong*, Zhou Hang, Wang Jianmin , Long Mingsheng
Pautan: https://openreview.net/pdf?id=ju_Uqw384Oq
Kod: https://github.com/thuml/TimesNet
Pustaka algoritma siri masa: https://github.com/thuml/ Time-Series-Library
TimesNet telah mencapai kepimpinan menyeluruh dalam lima tugas utama ramalan jangka panjang dan jangka pendek, pengisian nilai hilang, pengesanan anomali dan pengelasan.
1 Analisis Masalah
Berbeza daripada data jujukan seperti bahasa semula jadi dan video, data individu dalam siri masa Masa hanya menjimatkan beberapa skalar, dan maklumat utamanya lebih terkandung dalam variasi temporal (Variasi Temporal).
Oleh itu, Memodelkan perubahan masa ialah isu teras yang biasa kepada semua jenis tugasan analisis masa.
Dalam beberapa tahun kebelakangan ini, pelbagai model dalam telah digunakan secara meluas dalam tugasan analisis masa, seperti rangkaian neural berulang (RNN), rangkaian konvolusi temporal (TCN) dan rangkaian transformer ( Transformer).
Walau bagaimanapun, dua jenis kaedah pertama tertumpu terutamanya pada menangkap perubahan antara momen berdekatan dan mempunyai keupayaan pemodelan yang tidak mencukupi dalam kebergantungan jangka panjang.
Walaupun Transformer mempunyai kelebihan semula jadi dalam memodelkan kebergantungan jangka panjang, disebabkan perubahan masa yang sangat kompleks dalam dunia nyata, adalah sukar untuk melombongnya semata-mata dengan bergantung pada perhatian antara diskret titik masa yang boleh dipercayai.
Untuk tujuan ini, artikel ini menganalisis perubahan masa daripada perspektif berbilang tempoh baharu, seperti yang ditunjukkan dalam rajah di bawah. Kami perhatikan bahawa:
- siri masa secara semula jadi berbilang berkala .
Data siri masa dalam dunia nyata selalunya merupakan superposisi proses berkala yang berbeza Contohnya, data trafik berubah setiap hari dalam jangka pendek, manakala dalam jangka masa panjang istilah ia berubah setiap minggu. Data tempoh yang berbeza ini bertindih dan mengganggu antara satu sama lain, yang membawa cabaran besar kepada analisis siri masa.
- Siri masa mempersembahkan dua jenis perubahan siri masa dalam kitaran dan antara kitaran .
Khususnya, untuk proses kitaran tertentu, perubahan pada setiap titik masa bukan sahaja berkaitan dengan momen bersebelahan, tetapi juga sangat berkaitan dengan proses yang serupa di bahagian bersebelahan. kitaran. Antaranya, perubahan dalam kitaran sepadan dengan proses jangka pendek, manakala perubahan antara kitaran boleh mencerminkan arah aliran jangka panjang dalam kitaran berturut-turut. Nota: Jika siri masa tidak mempunyai keberkalaan yang jelas, ia adalah bersamaan dengan keadaan di mana tempoh itu tidak terhingga panjang.
2 Idea Reka Bentuk
Berdasarkan dua pemerhatian di atas, kami mereka bentuk struktur TimesNet seperti berikut:
- Sifat berbilang berkala siri masa secara semula jadi mengilhamkan idea reka bentuk modular (Modular), iaitu, modul Tangkap perubahan temporal yang dikuasai oleh tempoh tertentu. Idea reka bentuk modular ini boleh memisahkan perubahan masa yang kompleks, yang bermanfaat untuk pemodelan seterusnya.
- Untuk perubahan dalam kitaran dan antara kitaran siri masa , artikel ini secara inovatif mencadangkan Kembangkan data siri masa satu dimensi kepada ruang dua dimensi untuk analisis. Seperti yang ditunjukkan dalam rajah di atas, dengan melipat siri masa satu dimensi berdasarkan berbilang kitaran, berbilang tensor dua dimensi (2D tensor) boleh diperolehi Lajur dan baris setiap tensor dua dimensi mencerminkan siri masa dalam kitaran dan antara kitaran masing-masing perubahan, iaitu, perubahan temporal dua dimensi (variasi 2D temporal) diperolehi.
Contoh di atas menunjukkan kesan visualisasi melipat data siri masa satu dimensi ke dalam ruang dua dimensi . Di sini, arah Tempoh mencerminkan perubahan dalam kitaran, manakala arah Kekerapan mewakili perubahan antara kitaran. Kita dapat melihat bahawa data siri masa yang diubah menjadi ruang dua dimensi mempunyai lokaliti dua dimensi yang jelas (lokasi 2D).
Oleh itu, selepas melipat data siri masa, kita boleh terus menggunakan Rangkaian Backbone Visual lanjutan untuk melakukan pengekstrakan ciri pada data siri masa, seperti Swin Transformer , ResNeXt, ConvNeXt, dsb. Reka bentuk ini juga membolehkan tugasan analisis masa mendapat manfaat secara langsung daripada medan penglihatan komputer yang berkembang pesat .
3 TimesNet
Berdasarkan idea di atas, kami mencadangkan model TimesNet, yang menguraikan perubahan masa yang kompleks kepada tempoh yang berbeza melalui struktur modular dan mengubah yang asal -masa dimensi ke Jujukan diubah menjadi ruang dua dimensi untuk mencapai pemodelan bersatu perubahan dalam kitaran dan antara kitaran .
Dalam bahagian ini, kami mula-mula akan memperkenalkan kaedah melanjutkan data siri masa kepada ruang dua dimensi, dan kemudian memperkenalkan seni bina keseluruhan model.
3.1 Perubahan masa: 1D->2D
Proses lipatan masa ditunjukkan dalam rajah di atas, yang kebanyakannya dibahagikan kepada mengikuti dua langkah:
(1) Pengekstrakan haid
Untuk tempoh masa , dimensi saluran bagi siri masa dimensi, maklumat tempoh boleh diekstrak terus oleh transformasi Fourier pantas (FFT) bagi dimensi masa, iaitu:
di mana, mewakili setiap satu Keamatan komponen frekuensi, kekerapan dengan keamatan terbesar sepadan dengan panjang tempoh yang paling ketara.
(2) Jujukan lipatan 1D->2D
Untuk Tempoh individu yang dipilih , lipat siri masa satu dimensi asal masing-masing Proses ini boleh diformalkan sebagai:
di mana, adalah untuk menambah 0 pada akhir. jujukan, Jadikan panjang jujukan boleh dibahagikan.
Melalui operasi di atas, kami memperoleh satu set tensor dua dimensi, yang sepadan dengan perubahan siri masa dua dimensi dengan tempoh .
3.2 Reka Bentuk Model
Seni bina keseluruhan TimesNet ditunjukkan dalam rajah:
Secara keseluruhan, TimesNet terdiri daripada TimesBlocks bertindan. Urutan input terlebih dahulu melalui lapisan pembenaman untuk mendapatkan ciri yang mendalam. Untuk TimesBlock lapisan ketiga, inputnya ialah dan outputnya ialah:
Secara khusus, seperti yang ditunjukkan dalam rajah di bawah, setiap TimesBlock mengandungi sub-proses berikut:
(1) Siri masa lipatan (1D->2D) : TimesBlock mula-mula mengekstrak tempoh daripada ciri siri masa satu dimensi input, dan kemudian menukarnya kepada perubahan siri masa Dua dimensi, iaitu perkara yang dibincangkan dalam bahagian sebelumnya:
(2) Ekstrak perwakilan perubahan siri masa dua dimensi (Perwakilan 2D) : Seperti yang dianalisis sebelum ini, perubahan siri masa dua dimensi yang ditukar mempunyai lokaliti 2D, jadi lilitan 2D boleh digunakan terus untuk mengekstrak ciri. Di sini, kami memilih model Inception klasik, iaitu:
Perlu diambil perhatian bahawa kerana kami telah menukar ciri temporal 1D kepada ruang 2D , jadi kami juga boleh menggunakan banyak model canggih dalam bidang penglihatan komputer, seperti ResNeXt, ConvNeXt, Swin Transformer berasaskan Perhatian, dsb. Ini membolehkan analisis siri masa berfungsi seiring dengan rangkaian tulang belakang visual.
(3) Mengembangkan siri masa (2D->1D) : Untuk gabungan berbilang tempoh berikutnya, kami mengembangkan perwakilan perubahan siri masa dua dimensi menjadi satu -ruang dimensi:
Trunc(⋅) bermaksud mengalih keluar 0 yang ditambahkan oleh operasi Padding(⋅) dalam langkah (1).
(4) Gabungan Suaian (Pengagregatan 1D) : Untuk menggabungkan maklumat berbilang tempoh, kami melakukan penjumlahan wajaran siri masa dua dimensi yang diekstrak perwakilan dan pilih Berat penjumlahan ialah keamatan frekuensi sepadan yang diperoleh dalam langkah (1):
Dengan menukar 1D siri masa Untuk reka bentuk ruang 2D, TimesNet melaksanakan proses pemodelan perubahan masa untuk "mengekstrak perubahan pemasaan dua dimensi dalam berbilang kitaran dan kemudian melakukan gabungan adaptif."
4 Eksperimen
Kami menjalankan eksperimen ke atas lima tugas utama: ramalan jangka panjang, ramalan jangka pendek, pengisian nilai hilang, pengesanan anomali dan pengelasan , meliputi 36 set data, 81 tetapan percubaan yang berbeza.
Pada masa yang sama, 19 kaedah kedalaman berbeza telah dibandingkan, termasuk yang terkini berdasarkan RNN, CNN, MLP , dan Model Transformer seperti N-BEATS (2019), Autoformer (2021), LSSL (2022), N-Hits (2022), FEDformer (2022), Dlinear (2023), dsb.
4.1 Keputusan keseluruhan
Seperti yang ditunjukkan dalam carta radar pembukaan, TimesNet mencapai SOTA pada kelima-lima tugasan.
(1) Ramalan jangka panjang : Mengenai tugas berprofil tinggi ini, TimesNet mengatasi model Transformer dan berasaskan MLP yang canggih.
(2) Ramalan jangka pendek : Set data M4 yang digunakan dalam eksperimen ini mengandungi 6 sub-dataset dengan frekuensi pensampelan berbeza, berjumlah lebih daripada 100,000 keping data. TimesNet masih mencapai hasil yang optimum dalam situasi pengedaran data yang kompleks ini, mengesahkan keupayaan pemodelan perubahan temporal model.
(3) Tugas pengelasan : Pada tugasan ini, TimesNet mengatasi algoritma Rocket klasik dan model pembelajaran mendalam yang canggih Pembentuk aliran.
Untuk lebih banyak perbandingan tugasan, sila lihat kertas kerja.
4.2 Generalisasi rangkaian tulang belakang visual
Kami menggantikan rangkaian Inception dalam TimesNet dengan rangkaian tulang belakang visual yang berbeza, Contohnya ResNet , ConvNext, Swin Transformer, dsb.
Seperti yang ditunjukkan dalam rajah di bawah, rangkaian tulang belakang visual yang lebih maju boleh membawa hasil yang lebih baik. Ini juga bermakna di bawah rangka kerja TimesNet, analisis siri masa boleh mendapat manfaat secara langsung daripada kemajuan dalam bidang rangkaian tulang belakang visual.
4.3 Analisis Perwakilan
Untuk meneroka lebih lanjut sumber Kesan TimesNet, Kami menunjukkan hubungan antara "persamaan CKA antara perwakilan peringkat bawah model" dan "kesan model". Antaranya, semakin rendah persamaan CKA, semakin besar perbezaan perwakilan antara lapisan bawah dan lapisan atas model, iaitu perwakilan yang lebih hierarki.
Daripada visualisasi di atas, kita boleh perhatikan :
- Dalam tugasan ramalan dan pengesanan anomali, model dengan prestasi yang lebih baik cenderung mempunyai persamaan perwakilan yang lebih tinggi antara lapisan bawah dan lapisan atas, yang menunjukkan bahawa tugas memerlukan lebih banyak perwakilan peringkat rendah;
- Dalam pengelasan dan tugasan pengisian nilai yang hilang, model dengan prestasi yang lebih baik cenderung mempunyai persamaan perwakilan yang lebih rendah antara lapisan bawah dan atas, menunjukkan bahawa tugas ini memerlukan perwakilan hierarki, iaitu, keupayaan pengekstrakan ciri global yang lebih baik.
Terima kasih kepada operasi konvolusi dalam ruang 2D, TimesNet boleh mempelajari perwakilan yang sesuai mengikut tugas yang berbeza, seperti ramalan dan tugas pengesanan anomali, mempelajari perwakilan peringkat rendah dalam pengelasan dan tugas pengisian nilai yang hilang, ciri abstrak hierarki dipelajari. Ini seterusnya membuktikan generalisasi tugas TimesNet sebagai model asas.
Pada masa yang sama, analisis perwakilan di atas juga menyediakan idea reka bentuk untuk model mendalam untuk tugasan tertentu Contohnya, untuk tugasan ramalan, kita perlu menumpukan pada pengekstrakan asas yang halus. ciri berbutir, dan untuk mengisi tugasan, kita perlu melanjutkan Pembelajaran yang mengambil kira perwakilan global.
5 Ringkasan
Diinspirasikan oleh sifat berbilang tempoh siri masa, artikel ini mencadangkan model asas untuk analisis siri masa tugas-sejagat - TimesNet. Model ini secara inovatif melipat siri masa satu dimensi ke dalam ruang dua dimensi dan menggunakan lilitan 2D untuk mendapatkan ciri siri masa. Inovasi ini membolehkan tugasan analisis masa mendapat manfaat secara langsung daripada rangkaian tulang belakang visual yang berkembang pesat, yang sangat memberi inspirasi untuk penyelidikan seterusnya.
Pada masa yang sama, TimesNet telah mencapai kepimpinan menyeluruh dalam lima tugasan analisis siri masa arus perdana iaitu ramalan jangka panjang dan jangka pendek, pengisian nilai hilang, pengesanan anomali dan pengelasan, dan mempunyai nilai aplikasi yang sangat baik.
Atas ialah kandungan terperinci Analisis Masa Pentagon Warrior! Universiti Tsinghua mencadangkan TimesNet: terkemuka dalam ramalan, pengisian, pengelasan dan pengesanan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

1. Pengenalan Sejak beberapa tahun kebelakangan ini, YOLO telah menjadi paradigma dominan dalam bidang pengesanan objek masa nyata kerana keseimbangannya yang berkesan antara kos pengiraan dan prestasi pengesanan. Penyelidik telah meneroka reka bentuk seni bina YOLO, matlamat pengoptimuman, strategi pengembangan data, dsb., dan telah mencapai kemajuan yang ketara. Pada masa yang sama, bergantung pada penindasan bukan maksimum (NMS) untuk pemprosesan pasca menghalang penggunaan YOLO dari hujung ke hujung dan memberi kesan buruk kepada kependaman inferens. Dalam YOLO, reka bentuk pelbagai komponen tidak mempunyai pemeriksaan yang komprehensif dan teliti, mengakibatkan lebihan pengiraan yang ketara dan mengehadkan keupayaan model. Ia menawarkan kecekapan suboptimum, dan potensi yang agak besar untuk peningkatan prestasi. Dalam kerja ini, matlamatnya adalah untuk meningkatkan lagi sempadan kecekapan prestasi YOLO daripada kedua-dua pasca pemprosesan dan seni bina model. sampai habis
