Kerja inovatif pasukan Chen Danqi: Dapatkan SOTA pada kos 5%, mencetuskan kegilaan untuk kaedah 'menggunting alpaca'

Ia hanya menggunakan 3% daripada jumlah pengiraan dan 5% daripada kos untuk mendapatkan SOTA, mendominasi model besar sumber terbuka skala 1B-3B.

Hasil ini datang daripada pasukan Princeton Chen Danqi, dan dipanggil LLM-ShearingKaedah Pemangkasan Model Besar.

Berdasarkan Alpaca LLaMA 2 7B, model 1.3B dan 3B yang dipangkas Sheared-LLama diperolehi melalui pemangkasan berstruktur arah.

Untuk mengatasi model sebelumnya dengan skala yang sama dalam penilaian tugasan hiliran, ia perlu ditulis semula

Xia Mengzhou, pengarang pertama, berkata, "Ia jauh lebih menjimatkan kos daripada pra-latihan dari awal."

Kertas ini juga memberikan contoh keluaran Sheared-LLaMA yang dipangkas, menunjukkan bahawa walaupun saiznya hanya 1.3B dan 2.7B, ia sudah boleh menjana respons yang koheren dan kaya.

Untuk tugas yang sama "memainkan peranan sebagai penganalisis industri semikonduktor", struktur jawapan versi 2.7B adalah lebih jelas.

Pasukan menyatakan bahawa walaupun pada masa ini hanya versi Llama 2 7B telah digunakan untuk eksperimen pemangkasan, kaedah boleh diperluaskan kepada seni bina model lain dan juga boleh dilanjutkan kepada sebarang skala .

Faedah tambahan selepas pemangkasan ialah anda boleh memilih set data berkualiti tinggi untuk pra-latihan berterusan

Sesetengah pembangun mengatakan bahawa hanya 6 bulan yang lalu, hampir semua orang berpendapat bahawa model di bawah 65B tidak mempunyai Kegunaan Praktikal

Pada kadar ini, saya yakin model 1B-3B juga akan bernilai tinggi, jika bukan sekarang, maka tidak lama lagi. .

Kaedah pemangkasan sebelum ini boleh menyebabkan kemerosotan prestasi model kerana sesetengah struktur akan dipadamkan, menjejaskan keupayaan ekspresifnya

Dengan menganggap pemangkasan sebagai masalah pengoptimuman yang terhad, kami mencadangkan kaedah baharu. Kami mencari subrangkaian yang sepadan dengan struktur yang ditentukan dengan mempelajari matriks topeng pemangkasan, dan bertujuan untuk memaksimumkan prestasi

Seterusnya, kami terus melatih model pangkas dan memulihkan pemangkasan ke tahap tertentu kehilangan prestasi yang disebabkan. Pada peringkat ini, pasukan mendapati model yang dipangkas dan model yang dilatih dari awal mempunyai kadar pengurangan kerugian yang berbeza untuk set data yang berbeza, mengakibatkan masalah kecekapan penggunaan data yang rendah. Untuk tujuan ini, pasukan mencadangkan

Pemuatan Kelompok Dinamik

(Pemuatan Kelompok Dinamik)

, yang melaraskan perkadaran data dalam setiap domain secara dinamik mengikut kadar pengurangan kehilangan model pada data domain yang berbeza, meningkatkan kecekapan penggunaan data.

Kajian mendapati bahawa walaupun model pemangkasan mempunyai prestasi awal yang lemah berbanding model bersaiz setara yang dilatih dari awal, mereka boleh bertambah baik dengan cepat dengan pra-latihan berterusan dan akhirnya mengatasi

Ini menunjukkan bahawa pemangkasan daripada cabang model asas yang kukuh , yang boleh menyediakan keadaan permulaan yang lebih baik untuk meneruskan pra-latihan.

akan terus dikemas kini, datang dan potong satu demi satu pengarang kertas adalah pelajar kedoktoran Princeton

xia Mengzhou, gao tianyu, Tsinghua zhiyuan Zeng, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, Princeton, penolong profesor Chen Dan琦 . Xia Mengzhou lulus dari Universiti Fudan dengan ijazah sarjana muda dan CMU dengan ijazah sarjana.

Gao Tianyu ialah seorang sarjana yang lulus dari Universiti Tsinghua Dia memenangi Hadiah Khas Tsinghua pada tahun 2019

Kedua-duanya adalah pelajar Chen Danqi, dan Chen Danqi kini merupakan penolong profesor di Princeton University dan ahli Princeton Natural. Kumpulan Pemprosesan Bahasa Ketua bersama

Baru-baru ini, di halaman utama peribadinya, Chen Danqi mengemas kini hala tuju penyelidikannya.

"Tempoh ini tertumpu terutamanya pada membangunkan model berskala besar, dan topik penyelidikan termasuk: "

Bagaimana pengambilan semula boleh memainkan peranan penting dalam model generasi akan datang, meningkatkan realisme, kebolehsuaian, kebolehtafsiran dan kredibiliti.

• Latihan kos rendah dan penggunaan model besar, kaedah latihan yang dipertingkatkan, pengurusan data, pemampatan model dan pengoptimuman penyesuaian tugas hiliran.
• Juga berminat dengan kerja yang benar-benar meningkatkan pemahaman tentang keupayaan dan batasan model besar semasa, secara empirik dan teori.

Sheared-Llama sudah tersedia di Hugging Face

Pasukan berkata bahawa mereka akan terus mengemas kini perpustakaan sumber terbuka

Apabila lebih banyak model besar dikeluarkan, potong satu demi satu dan teruskan keluarkan model kecil berprestasi tinggi .

One More Thing

Saya harus mengatakan bahawa model besar benar-benar terlalu kerinting sekarang.

Mengzhou Xia baru sahaja mengeluarkan pembetulan, menyatakan bahawa teknologi SOTA digunakan semasa menulis kertas, tetapi selepas kertas itu siap, ia telah diatasi oleh teknologi Stable-LM-3B terkini

Alamat kertas: https: //arxiv.org/abs/2310.06694

Muka Berpeluk: https://huggingface.co/princeton-nlp

Pautan halaman utama projek: https://xiamengzhou.github.io/sheared-llama/

Atas ialah kandungan terperinci Kerja inovatif pasukan Chen Danqi: Dapatkan SOTA pada kos 5%, mencetuskan kegilaan untuk kaedah 'menggunting alpaca'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!