ICLR 2024 Oral |. Untuk menangani anjakan pengedaran yang berubah dari semasa ke semasa, University of Western Ontario dan lain-lain mencadangkan kaedah trajektori siri masa pembelajaran

Lajur AIxiv ialah lajur di mana tapak ini menerbitkan kandungan akademik dan teknikal. Dalam beberapa tahun kebelakangan ini, lajur AIxiv laman web ini telah menerima lebih daripada 2,000 laporan, meliputi makmal terkemuka dari universiti dan syarikat utama di seluruh dunia, mempromosikan pertukaran dan penyebaran akademik secara berkesan. Jika anda mempunyai kerja yang sangat baik yang ingin anda kongsikan, sila berasa bebas untuk menyumbang atau hubungi kami untuk melaporkan. E-mel penyerahan: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Pengarang Zeng Qiulin lulus dari Institut Teknologi Harbin dan menerima ijazah sarjana dari Universiti Nasional Singapura. Di bawah bimbingan Profesor Wang Bo dan Ahli Akademik Ling Xiaofeng, semasa tempoh kedoktorannya, beliau terutamanya menjalankan demonstrasi teori, kaedah dan penyelidikan aplikasi mengenai pengagihan perubahan masa rawak. Pada masa ini, beliau telah menerbitkan banyak kertas akademik dalam ICLR/AAAI/IEEE TNNLS.

Halaman utama peribadi: https://hardworkingpearl.github.io/

Dalam aplikasi pembelajaran mesin dunia sebenar, anjakan pengedaran dari semasa ke semasa adalah masalah biasa. Situasi ini dirangka sebagai generalisasi domain yang berubah-ubah masa (EDG), di mana matlamatnya adalah untuk membolehkan model membuat generalisasi dengan baik kepada domain sasaran yang tidak kelihatan dalam sistem yang mengubah masa dengan mempelajari corak berkembang yang mendasari merentas domain dan mengeksploitasi corak ini. Walau bagaimanapun, disebabkan bilangan cap masa yang terhad dalam set data EDG, kaedah sedia ada menghadapi cabaran dalam menangkap dinamik yang berkembang dan mengelakkan pemadanan lampau kepada cap masa yang jarang, yang mengehadkan generalisasi dan kebolehsuaian mereka kepada tugas baharu.

Untuk menyelesaikan masalah ini, kami mencadangkan kaedah baharu SDE-EDG, yang mengumpul trajektori evolusi grid subbahagian tak terhingga (IFGET) pengedaran data dengan menginterpolasi sampel secara berterusan untuk mengatasi masalah overfitting. Tambahan pula, dengan mengeksploitasi keupayaan sedia ada persamaan pembezaan stokastik (SDE) untuk menangkap trajektori berterusan, kami mencadangkan untuk menyelaraskan trajektori yang dimodelkan oleh SDE dengan trajektori IFGET melalui anggaran kemungkinan maksimum, dengan itu mencapai tangkapan arah aliran evolusi pengedaran.

• Tajuk kertas: Pembelajaran Trajektori Terpendam untuk Cap Masa Terhad di bawah Anjakan Pengedaran dari semasa ke semasa

• Pautan kertas: https://openreview.net/pdf?id=bTMMNT7IdW

pautan Projek

//github.com/HardworkingPearl/SDE-EDG-iclr2024

Kaedah

Idea Teras

Untuk mengatasi cabaran ini, SDE-EDG mengusulkan pendekatan baru yang dicadangkan oleh SDE-EDG dengan membina Efiniti-G dalam (IFGET) mencipta sampel interpolasi berturut-turut dalam ruang perwakilan terpendam untuk merapatkan jurang antara cap masa. Selain itu, SDE-EDG menggunakan keupayaan sedia ada Stochastic Differential Equations (SDEs) untuk menangkap dinamik trajektori berterusan dan menjajarkan trajektori model SDE dengan IFGET melalui penyelaras penjajaran laluan untuk mencapai tangkapan merentas domain bagi arah aliran pengedaran yang berkembang.

Perincian kaedah

1. Membina IFGET: Pertama, SDE-EDG menetapkan surat-menyurat sampel-ke-sampel untuk setiap sampel dalam ruang perwakilan terpendam dan mengumpul trajektori evolusi setiap sampel individu. Untuk sebarang sampel setiap kategori k pada masa , kami mencari

yang paling hampir dengannya dalam ruang ciri pada masa 🎜 dan sampel yang sepadan dalam 🎜: 🎜

Di sini ialah pengiraan jarak antara dua vektor, ialah set sampel yang diambil dari medan seterusnya .

Korespondensi ini kemudiannya dieksploitasi untuk menjana sampel terinterpolasi berturut-turut, bertujuan untuk menyambungkan jurang masa antara selang cap waktu dan mengelakkan lampiran kepada cap masa yang jarang,

di sinidisampel daripada pengedaran Beta. Dengan mengumpul jejak masa sampel yang dijana dengan cara di atas, kami mendapat IFGET.

2. Model trajektori menggunakan SDE:

SDE-EDG menggunakan SDE saraf untuk memodelkan trajektori masa berterusan data dalam ruang terpendam. Tidak seperti model berasaskan cap masa diskret tradisional, SDE secara semula jadi sesuai untuk mensimulasikan trajektori masa berterusan. SDE-EDG memodelkan trajektori siri masa dan boleh meramalkan sampel pada bila-bila masa akan datang melalui sampel pada masa :

Di sini pembolehubah ruang ciri diramalkan daripada sampel pada masa , ialah fungsi drift, dan ialah fungsi drift, dan

fungsi penyebaran.

3. Penjajaran laluan dan anggaran kemungkinan maksimum:

SDE-EDG melatih model dengan memaksimumkan anggaran kemungkinan IFGET,

Fungsi latihan terakhir ialah

pengelasan tugasan dan penggal pertama fungsi .

4

• Jadual berikut menunjukkan perbandingan ketepatan pengelasan antara SDE-EDG dan kaedah garis dasar lain pada berbilang set data. Set data ini termasuk Rotated Gaussian (RG), Circle (Cir), Rotated MNIST (RM), Portraits (Por), Caltran (Cal), PowerSupply (PS) dan Ocular Disease (OD). Keputusan menunjukkan bahawa SDE-EDG mengatasi kaedah lain secara purata pada semua set data.

• Rajah di bawah memberikan perbandingan intuitif, menunjukkan perbezaan dalam perwakilan ciri antara algoritma SDE-EDG (kiri) dan kaedah DG tradisional IRM (kanan). Melalui visualisasi ruang ciri data, kita dapat melihat bahawa perwakilan ciri yang dipelajari oleh SDE-EDG mempunyai sempadan keputusan yang jelas, di mana titik data kategori yang berbeza dibezakan dengan jelas dan diwakili oleh bentuk yang berbeza, dan data dalam domain yang berbeza diwakili oleh perbezaan warna pelangi. Ini menunjukkan bahawa SDE-EDG mampu berjaya menangkap dinamik evolusi data dari semasa ke semasa dan mengekalkan kebolehpisahan kelas dalam ruang ciri. Sebaliknya, perwakilan ciri IRM cenderung untuk meruntuhkan titik data ke arah tunggal, mengakibatkan sempadan keputusan yang tidak jelas, yang mencerminkan ketidakcukupan IRM dalam menangkap trend pengedaran yang berubah-ubah masa.

• Rajah berikut menunjukkan secara mendalam melalui satu siri subgambar kelebihan algoritma SDE-EDG dalam keupayaannya untuk menangkap evolusi data dari semasa ke semasa. Subfigura (a) menyediakan pengedaran label sebenar bagi set data Sinus, dengan contoh positif dan negatif diwakili oleh titik warna yang berbeza, memberikan garis dasar untuk perbandingan seterusnya. Seterusnya, subgambar (b) dan (c) menunjukkan hasil ramalan kaedah tradisional berdasarkan ERM dan algoritma SDE-EDG masing-masing pada set data yang sama Melalui perbandingan, kita dapat melihat kelebihan jelas SDE-EDG dalam menangkap corak evolusi data. Subfigures (d) dan (e) mendedahkan lagi laluan evolusi yang dipelajari oleh SDE-EDG, di mana (d) menunjukkan laluan selepas menggunakan kehilangan penjajaran laluan (fungsi kehilangan kemungkinan maksimum), manakala (e) menunjukkan laluan tanpa Laluan apabila memohon kerugian ini. Daripada perbandingan ini, seseorang secara intuitif dapat melihat kepentingan kehilangan penjajaran laluan dalam memastikan model dapat menangkap dan mencirikan perubahan data dengan betul dari semasa ke semasa.

• Subgraf berikut (a) menunjukkan trajektori penumpuan ketepatan apabila menggunakan algoritma berbeza untuk latihan pada set data Potret. Subfigura ini memberikan perspektif intuitif untuk membandingkan bagaimana prestasi algoritma SDE-EDG berubah dengan kaedah garis dasar lain (seperti ERM, MLDG, GI) semasa latihan. Dengan memerhatikan trend pertumbuhan ketepatan latihan dari semasa ke semasa, kita boleh menilai keupayaan pembelajaran dan kelajuan penumpuan algoritma yang berbeza. Trajektori penumpuan algoritma SDE-EDG sangat diminati kerana ia mendedahkan kecekapan dan kestabilan algoritma dalam menyesuaikan diri dengan pengedaran data yang berkembang.

  Sub-angka berikut (b) dan (c) masing-masing menunjukkan set data RMNIST dan Bulatan Prestasi algoritma SDE-EDG pada set data ini menunjukkan keunggulannya dalam memproses pengedaran yang berbeza-beza masa, walaupun menghadapi A tinggi. ketepatan juga boleh dikekalkan untuk domain sasaran dengan jangka masa yang lebih besar, yang menunjukkan keupayaan kuat algoritma SDE-EDG dalam menangkap dan menyesuaikan diri dengan corak evolusi data.

  Subfigura berikut (d) dan (e) meneroka kesan Kehilangan Kemungkinan Maksimum ke atas prestasi SDE-EDG pada set data RMNIST dan PowerSupply. Dengan menukar nilai berat regularisasi α, kedua-dua subplot ini menunjukkan kesan khusus tetapan α yang berbeza pada prestasi model. Keputusan eksperimen menunjukkan bahawa nilai α yang sesuai boleh meningkatkan prestasi SDE-EDG dengan ketara pada set data tertentu, yang menekankan kepentingan melaraskan hiperparameter mengikut ciri set data dan keperluan tugas dalam aplikasi praktikal.

Kesimpulan

Pengarang kertas kerja mencadangkan kaedah SDE-EDG baharu untuk memodelkan masalah generalisasi domain (EDG) yang berubah-ubah masa. Kaedah ini melibatkan membina IFGET dengan mengenal pasti surat-menyurat sampel-ke-sampel dan menjana sampel interpolasi berturut-turut. Selepas itu, penulis mengambil persamaan pembezaan stokastik (SDE) dan menyelaraskannya dengan IFGET untuk latihan. Sumbangan artikel adalah untuk mendedahkan kepentingan menangkap corak evolusi dengan mengumpul trajektori masa individu, dan interpolasi antara selang masa untuk mengurangkan masalah bilangan terhad cap waktu sumber, yang berkesan menghalang SDE-EDG daripada mempunyai bilangan terhad daripada cap masa.

Atas ialah kandungan terperinci ICLR 2024 Oral |. Untuk menangani anjakan pengedaran yang berubah dari semasa ke semasa, University of Western Ontario dan lain-lain mencadangkan kaedah trajektori siri masa pembelajaran. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!