Bagaimana untuk meningkatkan kecekapan model dengan sumber yang terhad? Artikel yang meringkaskan kaedah NLP yang cekap

Melatih model pembelajaran mendalam yang semakin besar telah menjadi trend baru muncul dalam dekad yang lalu. Seperti yang ditunjukkan dalam rajah di bawah, peningkatan berterusan dalam bilangan parameter model menjadikan prestasi rangkaian saraf lebih baik dan lebih baik, dan juga menjana beberapa arah penyelidikan baharu, tetapi terdapat juga lebih banyak masalah dengan model.

Pertama sekali, model sedemikian selalunya mempunyai akses terhad dan bukan sumber terbuka, atau walaupun ia sumber terbuka, ia masih memerlukan banyak sumber pengkomputeran untuk berlari. Kedua, parameter model rangkaian ini tidak universal, jadi sejumlah besar sumber diperlukan untuk latihan dan derivasi. Ketiga, model tidak boleh dikembangkan tanpa had kerana saiz parameter dihadkan oleh perkakasan. Untuk menangani isu ini, trend penyelidikan baharu yang memfokuskan pada peningkatan kecekapan sedang muncul.

Baru-baru ini, lebih daripada sedozen penyelidik dari Hebrew University, University of Washington dan institusi lain bersama-sama menulis ulasan, meringkaskan kaedah yang cekap dalam bidang pemprosesan bahasa semula jadi (NLP).

Alamat kertas: https://arxiv.org/pdf/2209.00099.pdf

Kecekapan biasanya merujuk kepada sistem input Hubungan antara sumber dan keluaran sistem Sistem yang cekap boleh menghasilkan output tanpa membazirkan sumber. Dalam bidang NLP, kami menganggap kecekapan sebagai hubungan antara kos model dan hasil yang dihasilkannya.

Persamaan (1) menerangkan kos latihan (Kos) model kecerdasan buatan untuk menghasilkan keputusan tertentu (R) dan tiga (tidak lengkap) faktor Berkadar dengan :

(1) Kos melaksanakan model pada satu sampel (E);

(2) Saiz set data latihan (D);

(3) Bilangan larian latihan (H) diperlukan untuk pemilihan model atau pelarasan parameter.

Kos(·) kemudiannya boleh diukur mengikut berbilang dimensi, seperti kos pengiraan, masa atau persekitaran, yang setiap satunya boleh dikira dengan lebih lanjut dalam pelbagai cara. Sebagai contoh, kos pengiraan boleh termasuk jumlah operasi titik terapung (FLOP) atau bilangan parameter model. Memandangkan menggunakan metrik kos tunggal boleh mengelirukan, kajian ini mengumpul dan mengatur kerja pada pelbagai aspek NLP yang cekap dan membincangkan aspek mana yang berfaedah untuk kes penggunaan.

Kajian ini bertujuan untuk memberi pengenalan asas kepada pelbagai kaedah untuk meningkatkan kecekapan NLP Oleh itu, kajian ini menganjurkan tinjauan ini mengikut saluran paip model NLP biasa (Rajah 2 di bawah) dan memperkenalkan bagaimana. untuk menjadikan setiap peringkat Lebih cekap kaedah sedia ada.

Kerja ini menyediakan panduan kecekapan praktikal untuk penyelidik NLP, terutamanya untuk dua jenis pembaca:

(1 ) penyelidik dari pelbagai bidang NLP untuk membantu mereka bekerja dalam persekitaran terhad sumber: bergantung pada kesesakan sumber, pembaca boleh melompat terus ke aspek yang diliputi oleh saluran paip NLP. Sebagai contoh, jika had utama ialah masa inferens, Bab 6 kertas kerja menerangkan peningkatan kecekapan yang berkaitan.

(2) Penyelidik berminat untuk meningkatkan kecekapan kaedah NLP. Kertas kerja ini boleh menjadi titik masuk untuk mengenal pasti peluang untuk hala tuju penyelidikan baharu.

Rajah 3 di bawah menggariskan kaedah NLP cekap yang diringkaskan dalam kajian ini.

Di samping itu, walaupun pilihan perkakasan mempunyai kesan yang besar terhadap kecekapan model, kebanyakan penyelidik NLP tidak mengawal secara langsung keputusan tentang perkakasan, dan Kebanyakan pengoptimuman perkakasan berguna untuk semua peringkat dalam saluran paip NLP. Oleh itu, kajian ini memfokuskan kerja pada algoritma tetapi menyediakan pengenalan ringkas kepada pengoptimuman perkakasan dalam Bab 7. Akhir sekali, makalah ini membincangkan lebih lanjut cara mengukur kecekapan, apakah faktor yang perlu dipertimbangkan semasa proses penilaian, dan cara memutuskan model yang paling sesuai.

Pembaca yang berminat boleh membaca teks asal kertas untuk mengetahui lebih banyak butiran penyelidikan.

Atas ialah kandungan terperinci Bagaimana untuk meningkatkan kecekapan model dengan sumber yang terhad? Artikel yang meringkaskan kaedah NLP yang cekap. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!