Pra-latihan tidak memerlukan perhatian, dan penskalaan kepada 4096 token tiada masalah, yang setanding dengan BERT.

Sebagai seni bina model pra-latihan NLP, Transformer boleh belajar dengan berkesan pada data besar yang tidak berlabel Penyelidikan telah membuktikan bahawa Transformer adalah seni bina teras tugas NLP sejak BERT.

Kerja terkini telah menunjukkan bahawa model angkasa lepas (SSM) ialah seni bina bersaing yang menguntungkan untuk pemodelan jujukan jarak jauh. SSM mencapai keputusan terkini mengenai penjanaan pertuturan dan penanda aras Arena Jarak Jauh, malah mengatasi prestasi seni bina Transformer. Selain meningkatkan ketepatan, lapisan penghalaan berdasarkan SSM tidak akan mempamerkan kerumitan kuadratik apabila panjang jujukan bertambah.

Dalam artikel ini, penyelidik dari Cornell University, DeepMind dan institusi lain mencadangkan Bidirectional Gated SSM (BiGS) untuk pra-latihan tanpa perhatian, yang kebanyakannya menggunakan penghalaan SSM digabungkan dengan seni bina berasaskan pada gating berganda. Kajian mendapati bahawa SSM dengan sendirinya berprestasi rendah dalam pra-latihan untuk NLP, tetapi apabila disepadukan ke dalam seni bina berpagar multiplikatif, ketepatan hiliran bertambah baik.

Percubaan menunjukkan bahawa BiGS mampu memadankan prestasi model BERT apabila dilatih pada data yang sama di bawah tetapan terkawal. Dengan pralatihan tambahan pada kejadian yang lebih lama, model ini juga mengekalkan masa linear apabila menskalakan jujukan input kepada 4096. Analisis menunjukkan bahawa gating pendaraban adalah perlu dan membetulkan beberapa masalah khusus model SSM pada input teks panjang berubah-ubah.

Alamat kertas: https://arxiv.org/pdf/2212.10544.pdf

Pengenalan Kaedah

SSM menghubungkan input berterusan u (t) dengan output y (t) melalui persamaan pembezaan berikut:

Untuk jujukan diskret, parameter SSM didiskritkan, dan prosesnya boleh dianggarkan sebagai:

Persamaan ini Boleh ditafsirkan sebagai RNN linear, di mana x_k ialah keadaan tersembunyi. y juga boleh dikira menggunakan lilitan:

Kaedah yang cekap untuk menggunakan SSM dalam rangkaian saraf ditunjukkan oleh Gu et al., yang membangunkan parameter Pendekatan A, dipanggil HiPPO, menghasilkan seni bina yang stabil dan cekap dipanggil S4. Ini mengekalkan keupayaan SSM untuk memodelkan jujukan jangka panjang sambil lebih cekap daripada latihan RNN. Baru-baru ini, penyelidik mencadangkan versi pepenjuru mudah S4 yang mencapai hasil yang serupa dengan anggaran yang lebih mudah bagi parameter asal. Pada tahap yang tinggi, penghalaan berasaskan SSM menyediakan alternatif kepada pemodelan jujukan dalam rangkaian saraf tanpa kos perhatian pengiraan sekunder.

Seni bina model pra-latihan

Bolehkah SSM menggantikan perhatian dalam pra-latihan? Untuk menjawab soalan ini, kajian ini mempertimbangkan dua seni bina yang berbeza, seni bina bertindan (STACK) dan seni bina berpagar multiplicative (GATED) yang ditunjukkan dalam Rajah 1.

Seni bina bertindan dengan perhatian kendiri adalah setara dengan model BERT /transformer, dan seni bina berpagar ialah penyesuaian dwiarah unit berpagar, yang juga baru-baru ini digunakan untuk SSM satu arah . 2 blok jujukan (iaitu, SSM ke hadapan dan ke belakang) dengan gating darab diapit dalam lapisan suapan hadapan. Untuk perbandingan yang adil, saiz seni bina berpagar dikekalkan setanding dengan seni bina bertindan.

Rajah 1: Pembolehubah model. STACK ialah seni bina pengubah standard, dan GATED adalah berdasarkan unit berpagar. Untuk komponen Penghalaan (garis putus-putus), kajian ini mempertimbangkan kedua-dua SSM dua hala (ditunjukkan dalam rajah) dan perhatian kendiri standard. Berpagar(X) mewakili pendaraban mengikut unsur.

Hasil eksperimen

Pra-latihan

Jadual 1 menunjukkan keputusan utama model pra-latihan yang berbeza pada GAM penanda aras. BiGS mereplikasi ketepatan BERT pada pengembangan token. Keputusan ini menunjukkan bahawa SSM boleh meniru ketepatan model pengubah pra-latihan di bawah belanjawan pengiraan sedemikian. Keputusan ini jauh lebih baik daripada model pra-latihan bukan berasaskan perhatian yang lain. Untuk mencapai ketepatan ini, gating berganda diperlukan. Tanpa gating, keputusan SSM bertindan adalah lebih teruk. Untuk mengkaji sama ada kelebihan ini terutamanya datang daripada penggunaan gating, kami melatih model berasaskan perhatian menggunakan seni bina GATE namun, keputusan menunjukkan bahawa model itu sebenarnya kurang berkesan daripada BERT.

Jadual 1: hasil GLUE. (Atas) Perbandingan seni bina yang berbeza dan penghalaan di bawah tetapan kawalan. Lihat Rajah 2 untuk butiran. (Bawah) melaporkan hasil yang setanding untuk model pralatihan bukan perhatian lain berdasarkan CNN, LSTM dan FNet.

Tugas Bentuk Panjang

Keputusan Jadual 2 menunjukkan bahawa SSM boleh digabungkan dengan Longformer EncoderDecoder (LED) dibandingkan dengan BART, bagaimanapun, dan keputusan menunjukkan bahawa ia berfungsi dengan baik atau lebih baik dalam tugas jauh. SSM mempunyai lebih sedikit data pra-latihan berbanding dua kaedah lain. Walaupun SSM tidak perlu membuat anggaran pada panjang ini, bentuk panjang masih penting.

Jadual 2: Keputusan ujian Pengekod SCROLLS. Model garis dasar ialah kedua-dua model penyahkod pengekod, satu berdasarkan Longformer (LED) dan satu lagi berdasarkan BART. Panjang input dipotong.

Untuk maklumat lanjut, sila lihat kertas asal.

Atas ialah kandungan terperinci Pra-latihan tidak memerlukan perhatian, dan penskalaan kepada 4096 token tiada masalah, yang setanding dengan BERT.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!