Mengintegrasikan lebih daripada 200 kajian berkaitan, semakan terkini model besar 'pembelajaran sepanjang hayat' ada di sini

Lajur AIxiv ialah lajur untuk menerbitkan kandungan akademik dan teknikal di tapak ini. Dalam beberapa tahun kebelakangan ini, lajur AIxiv laman web ini telah menerima lebih daripada 2,000 laporan, meliputi makmal terkemuka dari universiti dan syarikat utama di seluruh dunia, mempromosikan pertukaran dan penyebaran akademik secara berkesan. Jika anda mempunyai kerja yang sangat baik yang ingin anda kongsikan, sila berasa bebas untuk menyumbang atau hubungi kami untuk melaporkan. E-mel penyerahan: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Pengarang kertas ini semuanya daripada pasukan Profesor Ma Qianli dari Universiti Teknologi China Selatan, dan makmal mereka ialah Pembelajaran Mesin dan Data Dig makmal. Tiga pengarang bersama pertama kertas itu ialah pelajar kedoktoran Zheng Junhao, pelajar sarjana Qiu Shengjie, dan pelajar sarjana Shi Chengming Arahan penyelidikan utama mereka termasuk model besar dan pembelajaran sepanjang hayat. ACM TASLP). Dalam beberapa tahun kebelakangan ini, pasukan Profesor Ma Qianli telah menerbitkan banyak kerja penyelidikan berkaitan Siri Masa/NLP/Sistem Pengesyoran dalam jurnal antarabangsa yang berwibawa (seperti TPAMI, dll.) dan persidangan akademik antarabangsa terkemuka (seperti NeurIPS, AAI, IJCAI, ACL, KDD, ICDE, dll.). Kerjasama meluas dengan universiti dan institusi penyelidikan saintifik terkenal di dalam dan luar negara.

Memandangkan aplikasi model bahasa besar terus berkembang dalam pelbagai bidang, cara untuk membolehkan model ini terus menyesuaikan diri dengan perubahan dalam data, tugas dan pilihan pengguna telah menjadi isu utama. Kaedah latihan set data statik tradisional tidak lagi dapat memenuhi keperluan dinamik dunia sebenar.

Untuk menyelesaikan cabaran ini, teknologi Pembelajaran Sepanjang Hayat atau Pembelajaran Berterusan telah wujud. Ia membolehkan model bahasa yang besar untuk terus belajar dan menyesuaikan diri semasa kehidupan bekerja mereka, mengekalkan maklumat yang dipelajari sebelum ini sambil menyepadukan pengetahuan baharu, dan mencegah pelupaan bencana (Pelupaan Malapetaka).

Baru-baru ini, penyelidik dari Universiti Teknologi China Selatan telah menyiasat, menyusun dan meringkaskan kaedah Pembelajaran Sepanjang Hayat dan prospek pembangunan model bahasa besar (LLM), dan Bungkusnya dalam tinjauan yang komprehensif dan canggih.

• Tajuk kertas: Ke Arah Pembelajaran Sepanjang Hayat Model Bahasa Besar: Satu Tinjauan
• Institusi: China Selatan Universiti Teknologi Universiti
• Alamat kertas: https://arxiv.org/abs/2406.06391
• Alamat projek: https://github .com/ qianlima-lab/awesome-lifelong-learning-methods-for-llm

Rajah 1 menunjukkan aplikasi Pembelajaran Sepanjang Hayat dalam bahasa besar model Analogi dengan proses pembelajaran manusia. Angka tersebut menunjukkan evolusi manusia dan model bahasa besar dalam pembelajaran sepanjang hayat melalui dua laluan pembelajaran selari.

Pembelajaran Manusia

1. Berjalan: Manusia mula belajar daripada kemahiran yang paling asas (seperti berjalan).

2. Menunggang Basikal: Semasa pembelajaran berkembang, manusia menguasai kemahiran yang lebih kompleks (seperti menunggang basikal).

3 Memandu Kereta: Akhirnya, manusia boleh menguasai kemahiran yang lebih kompleks dan lanjutan (seperti memandu).

Setiap langkah mewakili proses di mana manusia terus memperoleh kemahiran dan pengetahuan baharu dalam proses pembelajaran sepanjang hayat.

Pembelajaran model bahasa besar (LLMs Learning)

1. Bahasa baharu (Baharu Bahasa): Model bahasa yang besar bermula dengan mempelajari bahasa baharu (seperti belajar memproses bahasa semula jadi yang berbeza).

2. Domain Baharu: Seterusnya, model mempelajari pengetahuan domain baharu (seperti melanjutkan daripada pemprosesan bahasa semula jadi ke bidang perubatan).

3 Maklumat Baharu: Akhirnya, model boleh mempelajari dan menyepadukan maklumat baharu, sama ada bahasa atau domain.

Setiap langkah mewakili proses model bahasa besar secara berterusan mengembangkan dan mengemas kini pengetahuan dalam proses pembelajaran sepanjang hayat. Gambar rajah ini menekankan proses pembelajaran sepanjang hayat: Pembelajaran sepanjang hayat ialah proses berterusan yang merangkumi evolusi langkah demi langkah daripada asas kepada lanjutan. Pembelajaran sepanjang hayat bukan sekadar pengumpulan pengetahuan yang mudah, tetapi proses yang dinamik dan berkembang.

Dalam beberapa tahun kebelakangan ini, pembelajaran sepanjang hayat telah menjadi topik penyelidikan yang semakin popular, dan tinjauan berskala besar mengenai pembelajaran sepanjang hayat rangkaian saraf telah muncul. Kebanyakan penyelidikan sedia ada tertumpu terutamanya pada pelbagai senario aplikasi pembelajaran sepanjang hayat rangkaian saraf konvolusi (CNN) dan pembelajaran sepanjang hayat rangkaian saraf graf. Walau bagaimanapun, hanya sebilangan kecil sastera memfokuskan pembelajaran sepanjang hayat model bahasa. Walaupun beberapa ulasan baru-baru ini telah mengumpulkan literatur terkini tentang pembelajaran sepanjang hayat, tiada satu pun daripada mereka telah merangkumi senario seperti klasifikasi teks berterusan, pengecaman entiti bernama berterusan, pengekstrakan hubungan berterusan dan terjemahan mesin berterusan Terdapat juga sedikit perbincangan tentang pembelajaran sepanjang hayat berasaskan perolehan .

Semakan ini merupakan tinjauan pertama yang komprehensif dan sistematik tentang kaedah pembelajaran sepanjang hayat untuk model bahasa besar bermula daripada 12 senario.

Secara keseluruhannya, sumbangan utama ulasan termasuk:

• Klasifikasi novel: pengenalan Rangka kerja berstruktur terperinci telah dibangunkan yang membahagikan kesusasteraan yang luas tentang pembelajaran sepanjang hayat kepada 12 senario
• Teknik universal: Teknik biasa untuk semua situasi pembelajaran sepanjang hayat telah dikenalpasti dan hadir Terdapat kesusasteraan dibahagikan kepada berbeza; kumpulan teknikal dalam setiap senario;
• Hala tuju masa hadapan: Penekanan pada beberapa teknologi baru muncul seperti sambungan model dan pemilihan data, yang kurang diterokai dalam era pra-LLM .

1. Pengenalan

Semakan ini diringkaskan secara sistematik. Kaedah teknologi pembelajaran sepanjang hayat sedia ada dibahagikan kepada dua kategori: pengetahuan dalaman dan pengetahuan luaran dalam Rajah 2.

• Pengetahuan dalaman merujuk kepada penyerapan pengetahuan baharu ke dalam parameter model melalui latihan penuh atau separa, termasuk pra-latihan berterusan dan penalaan halus berterusan.
• Pengetahuan luaran merujuk kepada menggabungkan pengetahuan baharu daripada sumber luaran seperti Wikipedia atau antara muka program aplikasi ke dalam model tanpa mengemas kini parameter model, termasuk pembelajaran sepanjang hayat berasaskan pengambilan dan Alat untuk pembelajaran sepanjang hayat.
  
  

Pengetahuan Dalaman

1 🎜>

• Pralatihan Domain Menegak Berterusan: untuk bidang menegak tertentu (seperti kewangan, perubatan dll.).
• Pralatihan Domain Bahasa Berterusan: Pralatihan berterusan untuk bahasa semula jadi dan bahasa kod.
• Pralatihan Domain Temporal Berterusan: Pralatihan berterusan untuk data berkaitan masa (seperti data siri masa).

2. Penalaan Berterusan:

• Khusus Tugas:

• Pengkelasan Teks Berterusan: Untuk tugas pengelasan teks Penalaan halus berterusan.
• Pengiktirafan Entiti Dinamakan Berterusan: Penalaan halus berterusan untuk tugas pengecaman entiti dinamakan.
• Pengeluaran Hubungan Berterusan: Penalaan halus berterusan untuk tugas pengekstrakan hubungan.
• Terjemahan Mesin Berterusan: Penalaan halus berterusan untuk tugas terjemahan mesin.

• Agnostik Tugasan:

• Pelajaran Arahan Berterusan: Pembelajaran berterusan model dicapai melalui penalaan halus arahan.
• Pengeditan Pengetahuan Berterusan: Pembelajaran berterusan untuk pengemaskinian pengetahuan.
• Penjajaran Berterusan: Pembelajaran berterusan untuk menjajarkan model dengan tugasan baharu.

Pengetahuan Luaran (External Knowledge)

1. Pembelajaran Sepanjang Hayat Berasaskan Retrieval: Pembelajaran sepanjang hayat dicapai dengan mendapatkan semula asas pengetahuan luaran.

2. Pembelajaran Sepanjang Hayat Berasaskan Alat: Pembelajaran sepanjang hayat dicapai dengan memanggil alat luaran.

2. Gambaran Keseluruhan Pembelajaran Sepanjang Hayat

2.1 Definisi Masalah

Matlamat pembelajaran sepanjang hayat adalah untuk mempelajari model bahasa daripada satu siri tugasan dan menjana output sasaran dengan memasukkan bahasa semula jadi. Khususnya, untuk tugasan penjanaan, seperti soal jawab, input dan output masing-masing mewakili soalan dan jawapan untuk tugasan terjemahan mesin, input dan output mewakili bahasa sumber dan bahasa sasaran, input ialah kandungan teks dan output ialah label kategori; Untuk tugas pra-latihan model bahasa autoregresif, input ialah siri token, dan output ialah token seterusnya yang sepadan.

2.2 Penunjuk Penilaian

Gambaran keseluruhan memperkenalkan penilaian sepanjang hayat Penunjuk kesan pembelajaran dinilai terutamanya daripada tiga perspektif: prestasi keseluruhan, kestabilan dan kebolehsuaian:

• Pengukuran Keseluruhan: termasuk Purata ketepatan (AA) dan purata ketepatan tambahan (AIA). AA merujuk kepada prestasi purata model selepas mempelajari semua tugasan, manakala AIA mengambil kira perubahan sejarah selepas mempelajari setiap tugasan.
• Pengukuran Kestabilan: termasuk pengukuran lupa (FGT) dan pemindahan ke belakang (BWT). FGT menilai penurunan prestasi purata tugas lama, manakala BWT menilai perubahan prestasi purata tugas lama.
• Pengukuran Keplastikan: termasuk pemindahan ke hadapan (FWD), iaitu purata peningkatan dalam prestasi model pada tugasan baharu.

2.3 Teknologi am

Ringkasan dalam Rajah 3 Empat kaedah pembelajaran sepanjang hayat utama ditunjukkan untuk menangani masalah melupakan bencana model bahasa besar apabila memproses tugasan berterusan (Task

t-1 to Task t). Berikut ialah penjelasan bagi setiap kaedah:

(a) Kaedah Berasaskan Ulangan:

• Maksud: Kaedah ini digunakan apabila melatih tugas baharu Main semula data daripada tugasan sebelumnya untuk menyatukan ingatan model terhadap tugas lama. Biasanya, data yang dimainkan semula disimpan dalam penimbal dan digunakan untuk latihan bersama-sama dengan data tugas semasa. Terutamanya termasuk:

– Pengalaman Main Semula: Kurangkan lupa dengan menyimpan sebahagian daripada sampel data tugas lama dan menggunakan semula data ini untuk latihan apabila melatih tugasan baharu.

–Ulangan Generatif: Tidak seperti menyimpan data lama, kaedah ini menggunakan model generatif untuk mencipta sampel pseudo, dengan itu memperkenalkan pengetahuan tentang tugas lama ke dalam latihan tugasan baharu.

• Ilustrasi: Rajah 3 menunjukkan proses daripada Tugasan t-1 kepada Tugasan t Model sedang melatih Tugasan Apabila t , data lama dalam penimbal (Input t-1 ) digunakan.

(b) Kaedah Berasaskan Regularization:

• Maksud: Kaedah ini menghalang model daripada melaraskan parameter tugas lama secara berlebihan apabila mempelajari tugasan baharu dengan mengenakan kekangan penyelarasan pada parameter model. Kekangan penyelarasan boleh membantu model mengekalkan ingatan tugas lama. Terutamanya termasuk:

– Penyelarasan Berat: Dengan mengenakan kekangan tambahan pada parameter model, ia mengehadkan pengubahsuaian pemberat penting apabila melatih tugas baharu, dengan itu melindungi integriti tugas lama. Sebagai contoh, regularization L2 dan Elastic Weight Consolidation (EWC) adalah teknik biasa.

–Penyaturan Ciri: Penyelarasan bukan sahaja boleh bertindak pada pemberat, tetapi juga memastikan pengagihan ciri antara tugas baharu dan lama kekal stabil dengan mengehadkan prestasi model dalam ruang ciri.

• Ilustrasi: Rajah 3 menunjukkan proses daripada Tugasan t-1 kepada Tugasan t Model sedang melatih Tugasan Apabila t , penyelarasan parameter digunakan untuk mengekalkan prestasi pada Tugasan t-1.

(c) Kaedah Berasaskan Seni Bina:

• Maksud: Pendekatan ini memberi tumpuan kepada menyesuaikan struktur model untuk menyepadukan tugas baharu dengan lancar sambil meminimumkan gangguan terhadap pengetahuan yang dipelajari sebelumnya. Ia terutamanya merangkumi enam kaedah dalam Rajah 4:

–(a) Penalaan Segera: Dengan menambahkan "Gesaan Lembut" sebelum input model , untuk membimbing penjanaan model atau tugas pengelasan. Kaedah ini hanya memerlukan pelarasan sebilangan kecil parameter (iaitu perkataan gesaan) tanpa mengubah struktur tulang belakang model.

–(b) Penalaan Awalan: Tambahkan parameter boleh laras terlatih pada bahagian awalan jujukan input Parameter ini dimasukkan ke dalam mekanisme perhatian kendiri lapisan Transformer untuk membantu model Menangkap maklumat kontekstual dengan lebih baik.

–(c) Penyesuaian Peringkat Rendah (LoRA, Penyesuaian Peringkat Rendah): LoRA menyesuaikan diri dengan tugas baharu dengan menambahkan matriks peringkat rendah pada tahap tertentu tanpa mengubah berat utama model besar. Pendekatan ini sangat mengurangkan bilangan pelarasan parameter sambil mengekalkan prestasi model.

–(d) Penyesuai: Penyesuai ialah modul boleh dilatih yang disisipkan di antara lapisan model yang berbeza Modul ini boleh menyesuaikan dengan sebilangan kecil parameter tambahan tanpa mengubah berat model asal. Biasanya digunakan dalam bahagian FFN (Rangkaian Feed Forward) dan MHA (Multi-Head Attention).

–(e) Campuran Pakar: Proses input berbeza dengan mengaktifkan modul "pakar" tertentu secara terpilih, yang boleh menjadi lapisan atau subrangkaian tertentu dalam model. Modul Penghala bertanggungjawab untuk menentukan modul pakar mana yang perlu diaktifkan.

–(f) Pengembangan Model: Kembangkan kapasiti model dengan menambah lapisan baharu (Lapisan Baharu) sambil mengekalkan lapisan asal (Lapisan Lama). Pendekatan ini membolehkan model meningkatkan kapasitinya secara beransur-ansur untuk menampung keperluan tugas yang lebih kompleks.

• Ilustrasi: Rajah 3 menunjukkan proses daripada Tugasan t-1 kepada Tugasan t Apabila model mempelajari tugasan baharu, beberapa parameter Dibekukan. manakala modul yang baru ditambah digunakan untuk melatih tugasan baharu (Boleh Dilatih).

(d) Kaedah Berasaskan Penyulingan:

• Maksud: Kaedah ini memindahkan pengetahuan model lama kepada model baharu melalui penyulingan pengetahuan. Apabila melatih tugasan baharu, model baharu bukan sahaja mempelajari data tugasan semasa, tetapi juga meniru output model lama untuk tugas lama, dengan itu mengekalkan pengetahuan tugas lama. Terutamanya termasuk:

– Penyulingan daripada Data Baharu: Model pelajar mempelajari tugas baharu di bawah bimbingan model guru dan menyaring data lama untuk mengurangkan melupakan pengetahuan lama.

– Penyulingan daripada Data Lama: Gunakan prestasi model guru pada data lama untuk membimbing model pelajar mempelajari tugasan baharu, seterusnya mengekalkan data lama Kesan pengetahuan .

–Penyulingan daripada Data Pseudo-Old: Dengan menjana data pseudo-old (Data Pseudo-Old), model pelajar boleh mempelajari tugasan baharu Pastikan ingatan pengetahuan lama hidup .

• Ilustrasi: Rajah 3 menunjukkan peralihan daripada Tugasan t-1 kepada Tugasan t Dalam proses, apabila model melatih tugas baru, ia mengekalkan pengetahuan tugas lama dengan meniru hasil ramalan model lama.

3. Pra-latihan berterusan

Pra latihan berterusan. -latihan Pengetahuan dalaman model bahasa besar boleh dikemas kini tanpa menanggung kos tinggi pra-latihan komprehensif, dengan itu meningkatkan keupayaan model bahasa besar. Penyelidikan semasa merangkumi domain menegak, linguistik dan temporal, menangani isu yang sukar seperti pelupaan bencana dan penyesuaian temporal. Teknologi seperti main semula pengalaman, penyulingan pengetahuan, penalaan halus parameter yang cekap, pengembangan model dan pemanasan semula telah menunjukkan prospek yang baik.

3.1 Pra-latihan medan menegak berterusan

Pra medan menegak berterusan -latihan (Pralatihan Domain Menegak Berterusan) bertujuan untuk memastikan model berfungsi dengan baik dalam berbilang medan menegak atau tugas dengan melatih model bahasa secara berterusan pada siri set data khusus domain, sambil mengekalkan pengetahuan yang diperoleh sebelum ini.

Kaedah utama:

1 >

Contoh: CorpusBrain++ menggunakan seni bina penyesuai tulang belakang dan strategi main semula pengalaman untuk menangani tugas bahasa intensif pengetahuan dunia sebenar.

• Contoh: Med-PaLM memperkenalkan penalaan segera arahan dalam bidang perubatan dengan menggunakan sebilangan kecil contoh.

2. Pengembangan Model:

Contoh: ELLE mengguna pakai strategi pengembangan model pemeliharaan ciri untuk meningkatkan kecekapan pemerolehan dan penyepaduan pengetahuan dengan meluaskan lebar dan kedalaman model bahasa sedia ada yang telah dilatih secara fleksibel.

• Contoh: LLaMA Pro cemerlang dalam penggunaan umum, pengaturcaraan dan tugasan matematik dengan memperluaskan blok Transformer dan memperhalusinya dengan korpus baharu.

3. Memanaskan semula:

Contoh: Strategi yang dicadangkan oleh Gupta et al melaraskan kadar pembelajaran apabila memperkenalkan set data baharu untuk mengelakkan kadar pembelajaran daripada menjadi terlalu rendah semasa latihan jangka panjang, dengan itu meningkatkan kesan penyesuaian kepada set data baharu.

4 Pemilihan Data:

Contoh: RHO. -1 dilatih dengan Model Bahasa Terpilih (SLM), yang mengutamakan token yang mempunyai kesan yang lebih besar pada proses latihan.

• Contoh: EcomGPT-CT meningkatkan prestasi model pada tugas khusus domain dengan data e-dagang separa berstruktur.

3.2 Pra-latihan dalam domain bahasa berterusan

Pralatihan domain bahasa berterusan (Continual Language Domain Pretraining) bertujuan untuk membolehkan model bahasa menyepadukan data baharu secara berterusan dan menyesuaikan diri dengan domain bahasa yang berubah tanpa melupakan pengetahuan sebelumnya.

Kaedah utama:

1 .

Contoh: ModuleFormer dan Lifelong-MoE menggunakan gabungan pendekatan pakar (MoE) untuk meningkatkan kecekapan dan kebolehsuaian LLM melalui modulariti dan meningkatkan kapasiti model secara dinamik.

2. Memanaskan semula:

• Contoh: Kaedah pemanasan semula yang dicadangkan oleh Ibrahim et al membantu model menyesuaikan diri dengan bahasa baharu dengan lebih pantas dengan meningkatkan kadar pembelajaran buat sementara waktu apabila melatih data baharu.

3.3 Pra-latihan domain masa berterusan

Berterusan masa Pralatihan Domain Temporal Berterusan melibatkan pengemaskinian model bahasa secara berterusan untuk mengekalkan ketepatan dan kaitannya pada data sensitif masa.

Cabaran utama:

1. Kemerosotan prestasi: Kajian oleh Lazaridou et al model pada data masa hadapan Prestasi menurun dengan ketara, menyerlahkan kesukaran LLM dalam generalisasi temporal.

2. Peningkatan terhad: Röttger et al mendapati bahawa walaupun penyesuaian temporal mempunyai sedikit peningkatan pada tugas model bahasa topeng, berbanding dengan penyesuaian domain tulen, peningkatan dalam prestasi tugasan hiliran adalah tidak ketara.

Melalui kaedah dan penyelidikan ini, penulis menunjukkan kaedah dan cabaran pra-latihan berterusan dalam dimensi berbeza, dan menekankan aplikasi dalam domain menegak, domain bahasa dan domain masa Keperluan dan keberkesanan pembelajaran sepanjang hayat.

4. Penalaan halus berterusan

Pralatihan berterusan boleh meningkatkan dalaman model bahasa besar Pengetahuan, atas dasar ini, penalaan halus berterusan meningkatkan pengetahuan dalaman model bahasa besar dan menyesuaikan model bahasa besar kepada tugas tertentu seperti pengelasan teks, pengecaman entiti bernama, pengekstrakan hubungan, terjemahan mesin atau tugas penjanaan umum seperti pelarasan arahan, pengetahuan Diedit dan diselaraskan dengan keutamaan manusia. Untuk menangani cabaran seperti pelupaan bencana dan gangguan tugas, teknik seperti penyulingan, main semula, penyelarasan, kaedah berasaskan seni bina dan berasaskan kecerunan digunakan. Penulis menggambarkan 7 senario penalaan halus berturut-turut dalam Rajah 5.

Rajah ini menunjukkan bagaimana tujuh jenis tugasan yang berbeza dilaksanakan dalam model bahasa yang besar melalui pembelajaran berterusan. Berikut ialah penjelasan terperinci bagi setiap bahagian:

(a) Klasifikasi Teks Berterusan

• Contoh: Tugas pengelasan teks berterusan melatih model dengan memperkenalkan secara beransur-ansur kategori pengelasan baharu (seperti Niat: Pemindahan -> Niat: Skor Kredit -> Niat: Fakta Seronok) supaya ia boleh menyesuaikan diri dengan keperluan klasifikasi yang berubah-ubah.

(b) Pengiktirafan Entiti Dinamakan Berterusan

• Contoh : Tugasan pengecaman entiti bernama berterusan menunjukkan cara memperkenalkan jenis entiti baharu secara beransur-ansur (seperti Atlet -> Pasukan Sukan -> Ahli Politik) sambil mengiktiraf entiti tertentu, supaya model masih boleh mengekalkan pengiktirafan entiti lama sambil mengiktiraf keupayaan baharu .

(c) Pengekstrakan hubungan berterusan

• Contoh: Tugas pengekstrakan perhubungan berterusan menunjukkan cara model secara beransur-ansur mengembangkan keupayaan pengekstrakan perhubungannya dengan terus memperkenalkan jenis perhubungan baharu (seperti Perkaitan: Ditubuhkan Oleh -> Perhubungan: Negeri atau Wilayah Lahir -> Perhubungan: Negara Ibu Pejabat).

(d) Pengeditan pengetahuan berterusan

• Contoh: Tugas penyuntingan pengetahuan yang berterusan memastikan ia dapat menjawab fakta terkini dengan tepat dengan mengemas kini pangkalan pengetahuan model secara berterusan (seperti Siapakah presiden AS? -> Kelab manakah yang dimainkan oleh Cristiano Ronaldo? -> Di manakah Musim Sejuk yang lalu Olimpik diadakan?).

(e) Terjemahan mesin berterusan

• Contoh: Tugas terjemahan mesin yang berterusan menunjukkan kebolehsuaian model dalam persekitaran berbilang bahasa dengan mengembangkan secara beransur-ansur keupayaan terjemahan model ke dalam bahasa berbeza (seperti Inggeris -> Cina, Inggeris -> Sepanyol, Inggeris -> Perancis).

(f) Penalaan halus arahan berterusan

• Contoh: Tugasan penalaan halus arahan berterusan melatih keupayaan prestasi model dalam pelbagai jenis tugasan dengan memperkenalkan jenis arahan baharu secara beransur-ansur (seperti Ringkasan -> Pemindahan Gaya -> Matematik).

(g) Penjajaran berterusan

• Contoh: Berterusan Tugas penjajaran menunjukkan keupayaan pembelajaran berterusan model di bawah piawaian moral dan tingkah laku yang berbeza dengan memperkenalkan matlamat penjajaran baharu (seperti Membantu dan Tidak Memudaratkan -> Ringkas dan Tersusun -> Sentimen Positif).

5. dan Penalaan halus yang berterusan adalah penting untuk pembelajaran sepanjang hayat LLM Walau bagaimanapun, apabila LLM menjadi lebih besar dan lebih berkuasa, dua arah yang muncul semakin popular, yang boleh menjadikan model bahasa yang besar tanpa mengubah parameter yang besar model bahasa. Penulis menganggap pembelajaran sepanjang hayat berasaskan perolehan dan pembelajaran sepanjang hayat berasaskan alat kerana kedua-dua pendekatan adalah cara yang menjanjikan untuk mencapai pembelajaran sepanjang hayat dalam LLM. Rajah 6 menggambarkan kedua-dua pendekatan.

검색 기반 평생학습

• 서론: 전 세계적으로 정보가 지속적으로 증가함에 따라 확장 및 진화 과거 데이터를 기반으로 훈련된 정적 모델은 빠르게 구식이 되어 새로운 개발에 대한 콘텐츠를 이해하거나 생성할 수 없게 됩니다. 검색 기반 평생 학습은 외부 소스로부터 최신 지식을 획득하고 동화하기 위한 대규모 언어 모델의 중요한 요구 사항을 해결하며, 모델은 필요할 때 이러한 외부 리소스를 검색하여 지식 기반을 보완하거나 업데이트합니다. 이러한 외부 리소스는 사전 훈련된 LLM의 정적 속성을 향상시키기 위한 중요한 보완 자산을 제공하는 대규모 최신 지식 기반을 제공합니다.
• 예: 다이어그램의 이러한 외부 리소스는 모델에서 액세스하고 검색할 수 있습니다. Wikipedia, 서적, 데이터베이스 등과 같은 외부 정보 소스에 액세스함으로써 모델은 지식을 업데이트하고 새로운 정보를 접할 때 적응할 수 있습니다.

도구 기반 평생학습

• 소개: 도구 기반 평생 학습은 정적인 지식을 넘어 기능을 확장하고 환경과 동적으로 상호 작용할 수 있도록 해야 한다는 필요성에서 비롯되었습니다. 실제 애플리케이션에서 모델은 직접적인 텍스트 생성이나 해석 이상의 작업을 수행해야 하는 경우가 많습니다.
• 예: 그림의 모델은 이러한 도구를 사용하여 자체 기능을 확장 및 업데이트하고 외부 도구와의 상호 작용을 통해 평생 학습을 가능하게 합니다. 예를 들어 모델은 애플리케이션 프로그래밍 인터페이스를 통해 실시간 데이터를 얻거나 물리적 도구를 통해 외부 환경과 상호 작용하여 특정 작업을 완료하거나 새로운 지식을 얻을 수 있습니다.

6. 고찰 및 결론

6.1 주요 과제

• 재난적 망각: 이는 평생 학습의 핵심 과제 중 하나이며, 새로운 정보의 도입으로 덮어쓰게 될 수 있습니다. 모델이 이전에 학습한 내용.
• 가소성-안정성 딜레마: 모델의 학습 능력과 안정성 사이의 균형을 찾는 것이 매우 중요합니다. 이는 모델이 새로운 지식을 획득하는 능력에 직접적인 영향을 미칩니다. 광범위한 일반 기능.
• 비싼 계산 비용: 대규모 언어 모델을 완전히 미세 조정하기 위한 계산 요구 사항은 매우 높을 수 있습니다.
• 모델 가중치 또는 사전 학습된 데이터를 사용할 수 없음: 개인 정보 보호, 독점 제한 또는 상용 라이선스로 인해 추가 개선을 위해 원시 학습 데이터 또는 모델 가중치를 사용할 수 없는 경우가 많습니다.

6.2 최근 동향

• 특정 작업에서 일반 작업으로: 연구는 특정 작업(예: 텍스트 분류, 명명된 엔터티 인식)에 초점을 맞추는 것에서 명령 조정, 지식 편집 등과 같은 더 넓은 범위의 일반 작업으로 점차 이동합니다.
• 전체 미세 조정에서 부분 미세 조정까지: 전체 미세 조정의 높은 리소스 소비를 고려하여 부분 미세 조정 전략(예: 어댑터 계층, 프롬프트 조정, LoRA)가 점점 인기를 얻고 있습니다.
• 내부 지식에서 외부 지식으로: 잦은 내부 업데이트의 한계를 극복하기 위해 검색-증강 생성 및 도구와 같은 외부 지식 소스를 사용하는 전략이 점점 더 많아지고 있습니다. 학습을 통해 모델을 사용할 수 있습니다. 현재 외부 데이터에 동적으로 액세스하고 활용합니다.

6.3 향후 방향

• 다중 평생 학습: 텍스트를 넘어 다양한 양식(예: 이미지, 비디오, 오디오, 시계열 데이터, 지식 그래프)을 평생 학습에 통합하여 보다 포괄적이고 적응 가능한 성적 모델을 개발합니다.
• 효율적인 평생 학습: 연구원들은 모델 가지치기, 모델 병합, 모델 확장 및 기타 방법과 같은 모델 교육 및 업데이트의 계산 요구 사항을 관리하기 위한 보다 효율적인 전략을 개발하기 위해 노력하고 있습니다.
• 보편적 평생 학습: 궁극적인 목표는 대규모 언어 모델이 더 이상 정적 데이터 세트에만 의존하지 않고 환경과의 동적 상호 작용을 통해 적극적으로 새로운 지식을 습득하고 학습할 수 있도록 하는 것입니다.

6.4 결론

저자는 기존 연구를 나누어 12가지 평생학습 시나리오를 포괄적으로 요약하여 제공합니다. 분석은 또한 치명적인 망각 관리, 계산 효율성 보장, 지식 획득의 특이성과 일반성 사이의 균형을 유지할 필요성을 강조합니다. 분야가 계속 발전함에 따라 이러한 고급 전략의 통합은 차세대 인공 지능 시스템을 형성하는 데 핵심적인 역할을 하여 진정으로 인간과 같은 학습 및 적응성을 달성하는 데 더 가까워지도록 돕습니다.

이러한 기술적 접근 방식과 해당 범주에 대한 자세한 연구를 통해 이 리뷰는 평생 학습 기능을 평생 학습 도구에 통합하여 실제 성과를 향상시키는 것을 강조하는 것을 목표로 합니다. 세계 응용 프로그램의 적응성, 안정성 및 전반적인 성능.동시에 연구원과 엔지니어에게 평생 학습 기술을 더 잘 이해하고 적용할 수 있도록 돕는 포괄적인 관점을 제공하고 대규모 언어 모델의 추가 개발을 촉진합니다. 기사에 관심이 있으시면 원본 논문을 확인하여 연구에 대해 자세히 알아볼 수 있습니다.

Atas ialah kandungan terperinci Mengintegrasikan lebih daripada 200 kajian berkaitan, semakan terkini model besar 'pembelajaran sepanjang hayat' ada di sini. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!