Penyelidikan terkini Microsoft meneroka teknologi LoRAShear untuk pemangkasan LLM dan pemulihan pengetahuan

LoRAShear ialah kaedah baharu yang dibangunkan oleh Microsoft untuk mengoptimumkan model model bahasa (llm) dan memelihara pengetahuan. Ia membolehkan pemangkasan struktur, mengurangkan keperluan pengiraan dan meningkatkan kecekapan.

Teknologi LHSPG (Lora Half-Space Projected Gradient) menyokong pemangkasan berstruktur progresif dan pemulihan pengetahuan dinamik. Boleh digunakan pada pelbagai LLM melalui analisis graf pergantungan dan pengoptimuman sparsity

LoRAPrune menggabungkan LoRA dengan pemangkasan berstruktur berulang untuk mencapai penalaan halus parameter yang cekap. Walaupun dengan pemangkasan berat pada LLAMA v1, prestasinya kekal agak tinggi

Dalam bidang kecerdasan buatan yang berkembang, model model bahasa (llm) telah menjadi alat penting untuk memproses sejumlah besar data teks, dengan cepat mendapatkan semula yang berkaitan maklumat, dan Alat utama untuk meningkatkan kebolehcapaian pengetahuan. Impaknya yang meluas merangkumi pelbagai bidang daripada mempertingkatkan enjin carian dan sistem menjawab soalan kepada membolehkan analisis data, memberi manfaat kepada penyelidik, profesional dan pencari ilmu.

Masalah terbesar pada masa ini ialah LLM perlu sentiasa mengemaskini pengetahuan untuk memenuhi keperluan dinamik maklumat. Biasanya, pembangun memperhalusi model terlatih menggunakan data khusus domain untuk memastikannya dikemas kini dan menerapkan cerapan terkini ke dalam model. Kemas kini yang kerap adalah penting bagi organisasi dan penyelidik untuk memastikan LLM selaras dengan landskap maklumat yang sentiasa berubah. Walau bagaimanapun, kos penalaan halus adalah tinggi dan kitarannya panjang

Sebagai tindak balas kepada keperluan mendesak ini, penyelidik Microsoft melancarkan kaedah pecah tanah - LoRAShear. Pendekatan inovatif ini bukan sahaja memudahkan LLM tetapi juga memudahkan pemulihan pengetahuan struktur. Teras pemangkasan struktur adalah untuk membuang atau mengurangkan komponen tertentu dalam seni bina rangkaian saraf untuk mengoptimumkan kecekapan, kekompakan dan keperluan pengiraan.

Microsoft's LoRAShear menggunakan teknologi LHSPG untuk menyokong pemangkasan berstruktur progresif. Pendekatan ini boleh memindahkan pengetahuan dengan lancar antara modul LoRA dan juga menyepadukan peringkat pemulihan pengetahuan yang dinamik. Proses penalaan halus adalah serupa dengan pra-latihan dan penalaan halus berpandu untuk memastikan LLM kekal dikemas kini dan relevan

Ditulis semula sebagai: Memanfaatkan analisis graf pergantungan, LoRAShear boleh diperluaskan kepada LLM umum, terutamanya dalam sokongan modul LoRA. Kaedah ini menggunakan modul LLM dan LoRA asal untuk mencipta graf pergantungan, dan memperkenalkan algoritma pengoptimuman sparsity berstruktur yang menggunakan maklumat modul LoRA untuk meningkatkan pemeliharaan pengetahuan semasa proses kemas kini berat

Dalam kertas kerja, ia juga merupakan An teknik bersepadu yang dipanggil LoRAPrune disebut, yang menggabungkan LoRA dengan pemangkasan berstruktur berulang untuk mencapai penalaan halus parameter yang cekap dan pecutan perkakasan langsung. Kaedah penjimatan ingatan ini bergantung sepenuhnya pada pemberat dan kecerunan LoRA untuk kriteria pemangkasan. Proses khusus termasuk membina graf penjejakan, menentukan kumpulan nod yang perlu dimampatkan, membahagikan pembolehubah boleh dilatih, dan akhirnya mengembalikannya kepada LLM

Kertas membuktikan keberkesanan LoRAShear melalui pelaksanaan pada sumber terbuka LLAMAv1. Terutama, LLAMAv1 dengan pemangkasan 20% hanya mengalami kehilangan prestasi 1%, manakala model dengan pemangkasan 50% mengekalkan 82% prestasi pada penanda aras penilaian.

LoRAShear mewakili kemajuan besar dalam bidang kecerdasan buatan. Ia bukan sahaja memudahkan cara LLM digunakan, menjadikannya lebih cekap, tetapi juga memastikan pemeliharaan pengetahuan kritikal. Ia membolehkan aplikasi dipacu AI untuk mengikuti perkembangan persekitaran maklumat sambil mengoptimumkan sumber pengkomputeran. Memandangkan organisasi semakin bergantung pada kecerdasan buatan untuk pemprosesan data dan mendapatkan semula pengetahuan, penyelesaian seperti LoRAShear akan memainkan peranan penting dalam pasaran, memberikan kecekapan dan daya tahan pengetahuan.

Alamat kertas: https://arxiv.org/abs/2310.18356

Atas ialah kandungan terperinci Penyelidikan terkini Microsoft meneroka teknologi LoRAShear untuk pemangkasan LLM dan pemulihan pengetahuan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!