Die AIxiv-Kolumne ist eine Kolumne zur Veröffentlichung akademischer und technischer Inhalte auf dieser Website. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einreichungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com
Die Autoren dieses Artikels stammen alle aus dem Team von Professor Ma Qianli von der South China University of Technology, und ihr Labor ist maschinelles Lernen und Data Dig the lab. Die drei Co-Erstautoren der Arbeit sind der Doktorand Zheng Junhao, der Masterstudent Qiu Shengjie und der Masterstudent Shi Chengming. Ihre Hauptforschungsrichtungen umfassen große Modelle und lebenslanges Lernen. Der korrespondierende Autor ist Professor Ma Qianli (Mitherausgeber von IEEE/). ACM TASLP). In den letzten Jahren hat das Team von Professor Ma Qianli zahlreiche Forschungsarbeiten im Zusammenhang mit Zeitreihen/NLP/Empfehlungssystem in renommierten internationalen Fachzeitschriften (wie TPAMI usw.) und auf führenden internationalen akademischen Konferenzen (wie NeurIPS, AAAI, IJCAI, ACL, Umfangreiche Kooperationen mit namhaften Universitäten und wissenschaftlichen Forschungseinrichtungen im In- und Ausland. Da die Anwendung großer Sprachmodelle in verschiedenen Bereichen immer weiter zunimmt, stellt sich die Frage, wie diese Modelle in die Lage versetzt werden können, sich kontinuierlich an Änderungen in Daten, Aufgaben und Benutzerpräferenzen anzupassen zu einem zentralen Thema werden. Herkömmliche Trainingsmethoden für statische Datensätze können den dynamischen Anforderungen der realen Welt nicht mehr gerecht werden. Um diese Herausforderung zu lösen, wurde die Technologie des lebenslangen Lernens oder des kontinuierlichen Lernens ins Leben gerufen. Es ermöglicht großen Sprachmodellen, während ihres Arbeitslebens kontinuierlich zu lernen und sich anzupassen, zuvor erlernte Informationen beizubehalten und gleichzeitig neues Wissen zu integrieren und katastrophales Vergessen (katastrophales Vergessen) zu verhindern. Kürzlich untersuchten, organisierten und fassten Forscher der South China University of Technology die Methode des lebenslangen Lernens und ihre Entwicklungsaussichten für große Sprachmodelle (LLMs) zusammen und fassten sie zusammen eine umfassende und aktuelle Rezension. 
- Papiertitel: Towards Lifelong Learning of Large Language Models: A Survey
- Institution: Südchina University of Technology University
- Papieradresse: https://arxiv.org/abs/2406.06391
- Projektadresse: https://github .com/ qianlima-lab/awesome-lifelong-learning-methods-for-llm
Abbildung 1 zeigt die Anwendung von lebenslangem Lernen in großer Sprache Modelle Analogie zum menschlichen Lernprozess. Die Abbildung zeigt die Entwicklung des Menschen und großer Sprachmodelle beim lebenslangen Lernen über zwei parallele Lernpfade. 
1. Gehen: Der Mensch beginnt mit dem Lernen von den grundlegendsten Fähigkeiten (wie dem Gehen). 2. Fahrrad fahren: Mit fortschreitendem Lernen erlernen Menschen komplexere Fähigkeiten (z. B. Fahrradfahren). 3. Auto fahren: Mit der Zeit können Menschen komplexere und fortgeschrittenere Fähigkeiten erlernen (z. B. Autofahren). Jeder Schritt stellt den Prozess dar, durch den Menschen in einem lebenslangen Lernprozess weiterhin neue Fähigkeiten und Kenntnisse erwerben. Großes Sprachmodelllernen (LLMs Learning) 1. Neue Sprache (Neu Sprache): Große Sprachmodelle beginnen mit dem Erlernen neuer Sprachen (z. B. dem Erlernen der Verarbeitung verschiedener natürlicher Sprachen). 2. Neue Domäne: Als nächstes lernt das Modell neues Domänenwissen (z. B. die Erweiterung von der Verarbeitung natürlicher Sprache bis zum medizinischen Bereich). 3. Neue Informationen: Letztendlich kann das Modell neue Informationen lernen und integrieren, egal ob es sich um Sprache oder Domäne handelt. Jeder Schritt stellt den Prozess des großen Sprachmodells dar, das Wissen im lebenslangen Lernprozess kontinuierlich zu erweitern und zu aktualisieren. Dieses Diagramm betont den Prozess des lebenslangen Lernens: Lebenslanges Lernen ist ein kontinuierlicher Prozess, der eine schrittweise Entwicklung von der Grundausbildung zur Fortgeschrittenen umfasst. Lebenslanges Lernen ist nicht nur eine einfache Anhäufung von Wissen, sondern ein dynamischer und sich entwickelnder Prozess. In den letzten Jahren ist lebenslanges Lernen zu einem immer beliebteren Forschungsthema geworden, und es sind groß angelegte Umfragen zum lebenslangen Lernen neuronaler Netze entstanden. Die meisten vorhandenen Forschungsarbeiten konzentrieren sich hauptsächlich auf verschiedene Anwendungsszenarien des lebenslangen Lernens von Faltungs-Neuronalen Netzen (CNN) und des lebenslangen Lernens von graphischen neuronalen Netzen. Allerdings konzentriert sich nur ein kleiner Teil der Literatur auf das lebenslange Lernen von Sprachmodellen. Obwohl einige neuere Übersichten die neueste Literatur zum lebenslangen Lernen gesammelt haben, deckt keine davon Szenarien wie kontinuierliche Textklassifizierung, kontinuierliche Erkennung benannter Entitäten, kontinuierliche Beziehungsextraktion und kontinuierliche maschinelle Übersetzung ab. Auch über abrufbasiertes lebenslanges Lernen wird wenig diskutiert . Dieser Review ist die erste umfassende und systematische Untersuchung von Methoden des lebenslangen Lernens für große Sprachmodelle ausgehend von 12 Szenarien. Insgesamt umfassen die Hauptbeiträge der Rezension:
- Romanklassifizierung: Einführung Es wurde ein detaillierter strukturierter Rahmen entwickelt, der die umfangreiche Literatur zum lebenslangen Lernen in 12 Szenarien unterteilt.
- Universelle Techniken: Gemeinsame Techniken für alle Situationen des lebenslangen Lernens wurden identifiziert und vorhanden. Die Literatur ist in verschiedene unterteilt technische Gruppen in jedem Szenario;
- Zukünftige Richtungen: Schwerpunkt auf einigen neuen Technologien wie Modellerweiterung und Datenauswahl, die in der Zeit vor LLM weniger erforscht wurden.
Diese Rezension ist systematisch zusammengefasst Die vorhandenen Technologiemethoden für lebenslanges Lernen sind in zwei Kategorien unterteilt: internes Wissen und externes Wissen in Abbildung 2. 
- 내부 지식은 지속적인 사전 훈련 및 지속적인 미세 조정을 포함한 전체 또는 부분 훈련을 통해 모델 매개변수에 새로운 지식을 흡수하는 것을 의미합니다.
-
외부 지식이란 검색 기반 평생학습, 평생학습 도구 등 모델 매개변수를 업데이트하지 않고 위키피디아나 응용 프로그램 인터페이스 등 외부 리소스의 새로운 지식을 모델에 통합하는 것을 말합니다.
- 지속적인 수직 도메인 사전 훈련: 특정 수직 분야(예: 금융, 의료 등)용.
- 지속적 언어 영역 사전 학습: 자연어 및 코드 언어에 대한 지속적인 사전 학습입니다.
- 지속적인 시간 영역 사전 학습: 시간 관련 데이터(예: 시계열 데이터)에 대한 지속적인 사전 학습입니다.
2. 지속적인 미세 조정:
- 지속적인 텍스트 분류: 텍스트 분류 작업을 위한 지속적인 미세 조정입니다.
- 지속적인 명명된 엔터티 인식: 명명된 엔터티 인식 작업을 위한 지속적인 미세 조정입니다.
- 지속적 관계 추출: 관계 추출 작업을 위한 지속적인 미세 조정입니다.
- 지속적인 기계 번역: 기계 번역 작업을 위한 지속적인 미세 조정입니다.
- 지속적인 학습 조정: 모델의 지속적인 학습은 학습 미세 조정을 통해 이루어집니다.
- 지속적인 지식 편집: 지식 업데이트를 위한 지속적인 학습입니다.
- 지속적 정렬: 새로운 작업에 모델을 정렬하기 위한 지속적인 학습입니다.
1. 검색 기반 평생 학습: 외부 지식 기반을 검색하여 달성되는 평생 학습입니다.
2. 도구 기반 평생 학습: 외부 도구를 호출하여 달성되는 평생 학습.
평생학습의 목표는 일련의 과제를 통해 언어 모델을 학습하고 자연어를 입력하여 목표 출력을 생성하는 것입니다. 특히, 질문 및 답변과 같은 생성 작업의 경우 입력 및 출력은 각각 기계 번역 작업의 경우 질문과 답변을 나타내고, 입력 및 출력은 텍스트 분류 작업의 경우 소스 언어와 대상 언어를 나타냅니다. 출력은 카테고리 레이블입니다. 자동 회귀 언어 모델의 사전 학습 작업의 경우 입력은 일련의 토큰이고 출력은 해당하는 다음 토큰입니다.
개요에서는 평생 평가를 소개합니다. 학습 효과 지표는 주로 전반적인 성과, 안정성, 적응성의 세 가지 관점에서 평가됩니다.
- 전체 측정: 평균 정확도(AA) 및 평균 포함 증분 정확도(AIA). AA는 모든 작업을 학습한 후 모델의 평균 성능을 의미하고, AIA는 각 작업을 학습한 후 과거 변화를 고려합니다.
- 안정성 측정: FGT(망각 측정) 및 BWT(역방향 전송) 포함. FGT는 이전 작업의 평균 성능 저하를 평가하고, BWT는 이전 작업의 평균 성능 변화를 평가합니다.
- 가소성 측정: 새로운 작업에 대한 모델 성능의 평균 향상인 순방향 전달(FWD)을 포함합니다.
그림 3 4의 요약 주요 평생 학습 방법은 연속 작업(Task
t-1 ~ Task t)을 처리할 때 대규모 언어 모델의 치명적인 망각 문제를 처리하는 것으로 입증되었습니다. 각 방법에 대한 설명은 다음과 같습니다. 
(a) Wiederholungsbasierte Methoden:
- Bedeutung: Diese Methode wird beim Training neuer Aufgaben verwendet. Wiederholen Sie Daten aus früheren Aufgaben, um die zu konsolidieren Erinnerung des Modells an alte Aufgaben. Normalerweise werden die wiedergegebenen Daten in einem Puffer gespeichert und zusammen mit den Daten der aktuellen Aufgabe für das Training verwendet. Dazu gehören hauptsächlich:
– Erleben Sie Wiederholungen: Reduzieren Sie das Vergessen, indem Sie einen Teil der Datenproben alter Aufgaben speichern und diese Daten für das Training beim Training neuer Aufgaben wiederverwenden.
–Generative Replay: Im Gegensatz zum Speichern alter Daten verwendet diese Methode ein generatives Modell, um Pseudobeispiele zu erstellen und so das Wissen über alte Aufgaben in das Training neuer Aufgaben einzubringen.
- Abbildung: Abbildung 3 zeigt den Prozess von Aufgabe t-1 bis Aufgabe t Das Modell trainiert Aufgabe Wenn t , die alten Daten im Puffer (Eingabe t-1 ) werden verwendet.
(b) Regularisierungsbasierte Methoden: - Bedeutung: Diese Methode verhindert, dass das Modell beim Erlernen einer neuen Aufgabe alte Aufgabenparameter übermäßig anpasst, indem den Modellparametern Regularisierungsbeschränkungen auferlegt werden. Regularisierungseinschränkungen können dem Modell helfen, die Erinnerung an alte Aufgaben beizubehalten. Dazu gehören hauptsächlich:
– Gewichtsregulierung: Durch die Auferlegung zusätzlicher Einschränkungen für Modellparameter wird die Änderung wichtiger Gewichte beim Training neuer Aufgaben begrenzt und so die Integrität alter Aufgaben geschützt. Beispielsweise sind L2-Regularisierung und Elastic Weight Consolidation (EWC) gängige Techniken.
–Feature-Regularisierung: Die Regularisierung kann nicht nur auf Gewichte einwirken, sondern auch sicherstellen, dass die Feature-Verteilung zwischen neuen und alten Aufgaben stabil bleibt, indem sie die Leistung des Modells im Feature-Raum begrenzt.
- Abbildung: Abbildung 3 zeigt den Prozess von Aufgabe t-1 bis Aufgabe t Das Modell trainiert Aufgabe Wenn t , Parameterregularisierung wird verwendet, um die Leistung bei Aufgabe t-1 aufrechtzuerhalten.
(c) Architekturbasierte Methoden: 
- Bedeutung: Dieser Ansatz konzentriert sich auf die Anpassung der Modellstruktur, um neue Aufgaben nahtlos zu integrieren und gleichzeitig die Beeinträchtigung bereits erlernten Wissens zu minimieren. Es umfasst hauptsächlich die sechs Methoden in Abbildung 4:
–(a) Prompt-Tuning: Durch Hinzufügen von „Soft Prompts“ vor der Eingabe des Modells, um Modellgenerierungs- oder Klassifizierungsaufgaben zu leiten. Diese Methode erfordert nur die Anpassung einer kleinen Anzahl von Parametern (z. B. Eingabeaufforderungswörter), ohne die Grundstruktur des Modells zu ändern.
–(b) Präfix-Tuning: Fügen Sie trainierte einstellbare Parameter zum Präfixteil der Eingabesequenz hinzu. Diese Parameter werden in den Selbstaufmerksamkeitsmechanismus der Transformer-Ebene eingefügt, um dem Modell dabei zu helfen, Kontextinformationen besser zu erfassen.
–(c) Low-Rank-Adaption (LoRA, Low-Rank-Adaption): LoRA passt sich an neue Aufgaben an, indem es Low-Rank-Matrizen auf bestimmten Ebenen hinzufügt, ohne die Hauptgewichte des großen Modells zu ändern. Dieser Ansatz reduziert die Anzahl der Parameteranpassungen erheblich und behält gleichzeitig die Modellleistung bei.
–(d) Adapter: Adapter sind trainierbare Module, die zwischen verschiedenen Schichten des Modells eingefügt werden. Diese Module können sich mit einer kleinen Anzahl zusätzlicher Parameter anpassen, ohne die ursprünglichen Modellgewichte zu ändern. Wird normalerweise in den Teilen FFN (Feed Forward Network) und MHA (Multi-Head Attention) angewendet.
–(e) Mischung von Experten: Verarbeiten Sie verschiedene Eingaben durch selektive Aktivierung bestimmter „Experten“-Module, bei denen es sich um bestimmte Schichten oder Teilnetzwerke im Modell handeln kann. Das Router-Modul ist für die Entscheidung verantwortlich, welches Expertenmodul aktiviert werden muss.
–(f) Modellerweiterung: Erweitern Sie die Kapazität des Modells, indem Sie eine neue Ebene (Neue Ebene) hinzufügen und gleichzeitig die ursprüngliche Ebene (Alte Ebene) beibehalten. Dieser Ansatz ermöglicht es dem Modell, seine Kapazität schrittweise zu erhöhen, um komplexere Aufgabenanforderungen zu erfüllen.
- Abbildung: Abbildung 3 zeigt den Prozess von Aufgabe t-1 bis Aufgabe t Wenn das Modell eine neue Aufgabe lernt, werden einige Parameter eingefroren. während das neu hinzugefügte Modul zum Trainieren neuer Aufgaben verwendet wird (trainierbar).
(d) Destillationsbasierte Methoden: - Bedeutung: Diese Methode überträgt das Wissen des alten Modells durch Wissensdestillation auf das neue Modell. Beim Training einer neuen Aufgabe lernt das neue Modell nicht nur die Daten der aktuellen Aufgabe, sondern ahmt auch die Ausgabe des alten Modells für die alte Aufgabe nach und behält so das Wissen der alten Aufgabe bei. Dazu gehören hauptsächlich:
– Destillation aus neuen Daten: Das Schülermodell lernt unter Anleitung des Lehrermodells neue Aufgaben und destilliert altes Modellwissen um das Vergessen alten Wissens zu reduzieren. – Destillation aus alten Daten: Nutzen Sie die Leistung des Lehrermodells anhand alter Daten, um das Schülermodell beim Erlernen neuer Aufgaben anzuleiten und so die alten Daten beizubehalten. Die Wirkung von Wissen . –Destillation aus Pseudo-Altdaten: Durch die Generierung von Pseudo-Altdaten (Pseudo-Altdaten) kann das Schülermodell neue Aufgaben erlernen und die Erinnerung an altes Wissen lebendig halten . - Abbildung: Abbildung 3 zeigt den Übergang von Task t-1 zu Task t im Wenn das Modell eine neue Aufgabe trainiert, behält es das Wissen über die alte Aufgabe bei, indem es die Vorhersageergebnisse des alten Modells imitiert.
3. Kontinuierliches Vortraining Kontinuierliches Vortraining -Training Das interne Wissen großer Sprachmodelle kann aktualisiert werden, ohne dass die hohen Kosten einer umfassenden Vorschulung anfallen, wodurch die Fähigkeiten großer Sprachmodelle verbessert werden. Die aktuelle Forschung umfasst vertikale, sprachliche und zeitliche Bereiche und befasst sich mit schwierigen Themen wie katastrophalem Vergessen und zeitlicher Anpassung. Technologien wie Erfahrungswiedergabe, Wissensdestillation, effiziente Feinabstimmung von Parametern, Modellerweiterung und Wiedererwärmung haben gute Aussichten gezeigt. 3.1 Kontinuierliches Vertikalfeld-VortrainingKontinuierliches Vertikalfeld-Vortraining -training (Continual Vertical Domain Pretraining) zielt darauf ab, sicherzustellen, dass das Modell in mehreren vertikalen Feldern oder Aufgaben eine gute Leistung erbringt, indem Sprachmodelle kontinuierlich anhand einer Reihe domänenspezifischer Datensätze trainiert werden und gleichzeitig zuvor erworbenes Wissen erhalten bleibt. 1. Parametereffiziente Feinabstimmung:
- Beispiel: CorpusBrain++ verwendet eine Backbone-Adapter-Architektur und eine Erfahrungswiedergabestrategie, um wissensintensive Sprachaufgaben in der Praxis zu bewältigen.
- Beispiel: Med-PaLM führt anhand einer kleinen Anzahl von Beispielen die Abstimmung von Anweisungen zur Eingabeaufforderung im medizinischen Bereich ein.
- Beispiel: ELLE wendet eine funktionserhaltende Modellerweiterungsstrategie an, um die Effizienz des Wissenserwerbs und der Wissensintegration zu verbessern, indem die Breite und Tiefe vorhandener vorab trainierter Sprachmodelle flexibel erweitert wird.
- Beispiel: LLaMA Pro zeichnet sich durch die Erweiterung des Transformer-Blocks und die Feinabstimmung mit einem neuen Korpus im allgemeinen Gebrauch sowie bei Programmier- und Mathematikaufgaben aus.
- Beispiel: Die von Gupta et al. vorgeschlagene Strategie passt die Lernrate bei der Einführung neuer Datensätze an, um zu verhindern, dass die Lernrate während des Langzeittrainings zu niedrig ist, und verbessert so den Effekt der Anpassung an neue Datensätze.
- Beispiel: RHO -1 wird mit einem Selective Language Model (SLM) trainiert, das Token priorisiert, die einen größeren Einfluss auf den Trainingsprozess haben.
- Beispiel: EcomGPT-CT verbessert die Modellleistung bei domänenspezifischen Aufgaben mit halbstrukturierten E-Commerce-Daten.
3.2 Vorschulung im kontinuierlichen Sprachbereich Kontinuierliches Sprachdomänen-Vortraining (Continual Language Domain Pretraining) zielt darauf ab, das Sprachmodell in die Lage zu versetzen, kontinuierlich neue Daten zu integrieren und sich an die sich ändernde Sprachdomäne anzupassen, ohne Vorkenntnisse zu vergessen. 1. Architekturbasierte Methoden:
- Beispiel: Yadav et al. verbessern die Abstimmung von Eingabeaufforderungen, indem sie einen Mechanismus zur Lehrererzwingung einführen und eine Reihe von Eingabeaufforderungen erstellen, um die Feinabstimmung des Modells bei neuen Aufgaben zu steuern.
- Beispiel: ModuleFormer und Lifelong-MoE verwenden einen Mix-of-Experts-Ansatz (MoE), um die Effizienz und Anpassungsfähigkeit von LLM durch Modularität und dynamisch steigende Modellkapazität zu verbessern.
- Beispiel: Die von Ibrahim et al. vorgeschlagene Wiederaufwärmmethode hilft dem Modell, sich schneller an neue Sprachen anzupassen, indem sie die Lernrate beim Training neuer Daten erhöht.
3.3 Kontinuierliches Zeitbereichs-VortrainingKontinuierlich Beim zeitkontinuierlichen temporalen Domänen-Vortraining wird das Sprachmodell kontinuierlich aktualisiert, um seine Genauigkeit und Relevanz für zeitkritische Daten aufrechtzuerhalten. 1. Die Studie von Lazaridou et al Die Leistung des Modells auf zukünftigen Daten sinkt erheblich, was die Schwierigkeit von LLM bei der zeitlichen Generalisierung verdeutlicht. 2. Begrenzte Verbesserung: Röttger et al. stellten fest, dass die zeitliche Anpassung zwar eine leichte Verbesserung gegenüber der reinen Domänenanpassung mit sich bringt, die Verbesserung der nachgelagerten Aufgabenleistung jedoch nicht signifikant ist. Anhand dieser Methoden und Forschung demonstriert der Autor die Methoden und Herausforderungen des kontinuierlichen Vortrainings in verschiedenen Dimensionen und betont Anwendungen im vertikalen Bereich, im Sprachbereich und im Zeitbereich Die Notwendigkeit und Wirksamkeit lebenslangen Lernens. 4. Kontinuierliche FeinabstimmungKontinuierliches Vortraining kann die inneren Werte verbessern von großen Sprachmodellen Wissen, auf dieser Grundlage erweitert eine kontinuierliche Feinabstimmung das interne Wissen des großen Sprachmodells und passt das große Sprachmodell an spezifische Aufgaben wie Textklassifizierung, Erkennung benannter Entitäten, Relationsextraktion, maschinelle Übersetzung oder allgemeine Generierungsaufgaben an wie z. B. Anpassung von Anweisungen, Wissen, bearbeitet und an menschliche Vorlieben angepasst. Um Herausforderungen wie katastrophales Vergessen und Aufgabeninterferenzen zu bewältigen, werden Techniken wie Destillation, Wiederholung, Regularisierung sowie architekturbasierte und gradientenbasierte Methoden eingesetzt. Die Autoren veranschaulichen in Abbildung 5 sieben aufeinanderfolgende Feinabstimmungsszenarien. 
Dieses Diagramm zeigt, wie sieben verschiedene Arten von Aufgaben durch kontinuierliches Lernen in einem großen Sprachmodell implementiert werden. Im Folgenden finden Sie eine detaillierte Erläuterung jedes Teils: (a) Kontinuierliche Textklassifizierung- Beispiel: Die kontinuierliche Textklassifizierungsaufgabe trainiert das Modell durch die schrittweise Einführung neuer Klassifizierungskategorien (z. B. Absicht: Übertragung -> Absicht: Kreditwürdigkeit -> Absicht: Fun Fact), damit es sich an sich ändernde Klassifizierungsanforderungen anpassen kann.
(b) Kontinuierliche Erkennung benannter Entitäten - Beispiel : Die kontinuierliche Aufgabe zur Erkennung benannter Entitäten zeigt, wie nach und nach neue Entitätstypen (z. B. Athlet -> Sportmannschaft -> Politiker) eingeführt werden, während bestimmte Entitäten erkannt werden, sodass das Modell weiterhin die Erkennung alter Entitäten aufrechterhalten und gleichzeitig die Fähigkeiten neuer Entitäten erkennen kann .
(c) Kontinuierliche Relationsextraktion - Beispiel: Die Aufgabe zur kontinuierlichen Beziehungsextraktion zeigt, wie das Modell seine Fähigkeiten zur Beziehungsextraktion schrittweise erweitert, indem es kontinuierlich neue Beziehungstypen einführt (z. B. Beziehung: Gegründet von -> Beziehung: Geburtsstaat oder -provinz -> Beziehung: Land des Hauptsitzes).
(d) Kontinuierliche Wissensbearbeitung - Beispiel: Die kontinuierliche Wissensbearbeitungsaufgabe stellt sicher, dass die neuesten Fakten genau beantwortet werden können, indem die Wissensbasis des Modells kontinuierlich aktualisiert wird (z. B. Wer ist der Präsident der USA? -> Für welchen Verein spielt Cristiano Ronaldo derzeit? -> Wo war der letzte Winter). Olympiade stattgefunden?).
(e) Kontinuierliche maschinelle Übersetzung - Beispiel: Die kontinuierliche maschinelle Übersetzungsaufgabe demonstriert die Anpassungsfähigkeit des Modells in einer mehrsprachigen Umgebung, indem die Übersetzungsfähigkeiten des Modells schrittweise in verschiedene Sprachen erweitert werden (z. B. Englisch -> Chinesisch, Englisch -> Spanisch, Englisch -> Französisch).
(f) Kontinuierliche Feinabstimmung der Anleitung - Beispiel: Die Aufgabe zur kontinuierlichen Feinabstimmung von Anweisungen trainiert die Leistungsfähigkeit des Modells in mehreren Aufgabentypen, indem nach und nach neue Befehlstypen eingeführt werden (z. B. Zusammenfassung -> Stilübertragung -> Mathematik).
(g) Kontinuierliche Ausrichtung - Beispiel: Kontinuierlich Die Ausrichtungsaufgabe demonstriert die kontinuierlichen Lernfähigkeiten des Modells unter verschiedenen Moral- und Verhaltensstandards, indem neue Ausrichtungsziele eingeführt werden (z. B. hilfreich und harmlos -> prägnant und organisiert -> positive Stimmung).
Kontinuierliche Vorschulung Kontinuierliche Feinabstimmung ist für das lebenslange Lernen von LLM von entscheidender Bedeutung. Da LLM jedoch größer und leistungsfähiger wird, werden zwei aufstrebende Richtungen immer beliebter, die große Sprachmodelle erstellen können, ohne die Parameter zu ändern Sprachmodelle. Die Autoren betrachten abrufbasiertes lebenslanges Lernen und werkzeugbasiertes lebenslanges Lernen, da beide Ansätze vielversprechende Wege sind, um lebenslanges Lernen im LLM zu erreichen. Abbildung 6 veranschaulicht beide Ansätze. 
Retrieval-basiertes lebenslanges Lernen
- Einführung: Mit der kontinuierlichen Zunahme der Informationen in der Welt werden sie immer größer und entwickeln sich weiter Statische Modelle, die auf historischen Daten trainiert wurden, veralten schnell schnell und sind nicht mehr in der Lage, neue Entwicklungen zu verstehen oder Inhalte darüber zu generieren. Das auf Abruf basierende lebenslange Lernen erfüllt die dringende Notwendigkeit, dass große Sprachmodelle das neueste Wissen aus externen Quellen erwerben und assimilieren müssen, und das Modell ergänzt oder aktualisiert seine Wissensbasis, indem es diese externen Ressourcen bei Bedarf abruft. Diese externen Ressourcen bieten eine große aktuelle Wissensbasis und stellen eine wichtige Ergänzung zur Verbesserung der statischen Eigenschaften vorab trainierter LLMs dar.
- Beispiel: Diese externen Ressourcen im Diagramm sind für das Modell zugänglich und abrufbar. Durch den Zugriff auf externe Informationsquellen wie Wikipedia, Bücher, Datenbanken usw. ist das Modell in der Lage, sein Wissen zu aktualisieren und sich anzupassen, wenn es auf neue Informationen stößt.
Werkzeugbasiertes lebenslanges Lernen
- Einleitung: Toolbasiertes lebenslanges Lernen entsteht aus der Notwendigkeit, seine Funktionalität über statisches Wissen hinaus zu erweitern und es in die Lage zu versetzen, dynamisch mit der Umwelt zu interagieren. In realen Anwendungen müssen Modelle häufig Aufgaben ausführen, die über die direkte Textgenerierung oder -interpretation hinausgehen.
- Beispiel: Das Modell in der Abbildung nutzt diese Tools, um seine eigenen Fähigkeiten zu erweitern und zu aktualisieren und so lebenslanges Lernen durch Interaktion mit externen Tools zu ermöglichen. Beispielsweise können Modelle über Anwendungsprogrammierschnittstellen Echtzeitdaten abrufen oder über physische Werkzeuge mit der externen Umgebung interagieren, um bestimmte Aufgaben zu erledigen oder neues Wissen zu erwerben.
6.1 Hauptherausforderungen
- Katastrophales Vergessen: Dies ist eine der zentralen Herausforderungen des lebenslangen Lernens, und die Einführung neuer Informationen kann überschreiben was das Modell zuvor gelernt hat.
- Plastizität-Stabilitäts-Dilemma: Es ist sehr wichtig, ein Gleichgewicht zwischen der Aufrechterhaltung der Lernfähigkeit und der Stabilität des Modells zu finden, was sich direkt auf die Fähigkeit des Modells auswirkt, neues Wissen zu erwerben und gleichzeitig sein Wissen zu behalten breite allgemeine Fähigkeiten.
- Hohe Rechenkosten: Die Rechenanforderungen für die vollständige Feinabstimmung eines großen Sprachmodells können sehr hoch sein.
- Nichtverfügbarkeit von Modellgewichten oder vorab trainierten Daten: Aufgrund von Datenschutz, proprietären Einschränkungen oder kommerziellen Lizenzen sind rohe Trainingsdaten oder Modellgewichte oft nicht für weitere Verbesserungen verfügbar.
- Von spezifischen Aufgaben zu allgemeinen Aufgaben: Die Forschung verlagert sich allmählich von der Konzentration auf spezifische Aufgaben (z. B. Textklassifizierung, Erkennung benannter Entitäten) hin zu einem breiteren Spektrum allgemeiner Aufgaben, z. B. Anleitungsoptimierung, Wissensbearbeitung usw.
- Von der vollständigen Feinabstimmung zur teilweisen Feinabstimmung: Angesichts des hohen Ressourcenverbrauchs der vollständigen Feinabstimmung werden teilweise Feinabstimmungsstrategien (z. B. Adapterschicht, Prompt-Tuning, LoRA) erfreuen sich immer größerer Beliebtheit.
- Von internem Wissen zu externem Wissen: Um die Einschränkungen häufiger interner Aktualisierungen zu überwinden, nutzen immer mehr Strategien externe Wissensquellen, wie z. B. Retrieval-Augmented Generation und Tools, die das Lernen ermöglichen um dynamisch auf aktuelle externe Daten zuzugreifen und diese zu nutzen.
6.3 Zukünftige Ausrichtung
- Multimodales lebenslanges Lernen: Integrieren Sie mehrere über Text hinausgehende Modalitäten (z. B. Bilder, Videos, Audios, Zeitreihendaten, Wissensdiagramme) in das lebenslange Lernen, um ein umfassenderes und anpassungsfähigeres Sexualmodell zu entwickeln.
- Effizientes lebenslanges Lernen: Forscher arbeiten an der Entwicklung effizienterer Strategien zur Bewältigung der Rechenanforderungen von Modelltraining und -aktualisierungen, wie z. B. Modellbereinigung, Modellzusammenführung, Modellerweiterung und andere Methoden.
- Universelles lebenslanges Lernen: Das ultimative Ziel besteht darin, großen Sprachmodellen die Möglichkeit zu geben, sich aktiv neues Wissen anzueignen und durch dynamische Interaktion mit der Umgebung zu lernen, ohne sich mehr nur auf statische Datensätze zu verlassen.
Der Autor teilt die vorhandene Forschung auf into Es bietet eine umfassende Zusammenfassung von 12 Szenarien für lebenslanges Lernen. Die Analyse unterstreicht auch die Notwendigkeit, ein Gleichgewicht zwischen der Bewältigung des katastrophalen Vergessens, der Gewährleistung der Recheneffizienz und zwischen Spezifität und Allgemeingültigkeit beim Wissenserwerb aufrechtzuerhalten. Während sich das Gebiet weiterentwickelt, wird die Integration dieser fortschrittlichen Strategien eine Schlüsselrolle bei der Gestaltung der nächsten Generation künstlicher Intelligenzsysteme spielen und ihnen helfen, einem wirklich menschenähnlichen Lernen und Anpassungsfähigkeit näher zu kommen. Durch eine detaillierte Untersuchung dieser technologischen Ansätze und ihrer jeweiligen Kategorien zielt dieser Bericht darauf ab, die Integration von Fähigkeiten des lebenslangen Lernens in Tools für lebenslanges Lernen hervorzuheben, um deren Leistung in der Praxis zu verbessern Welt Anpassungsfähigkeit, Zuverlässigkeit und Gesamtleistung in der Anwendung.Gleichzeitig bietet es Forschern und Ingenieuren eine umfassende Perspektive, die ihnen hilft, die Technologie des lebenslangen Lernens besser zu verstehen und anzuwenden und die Weiterentwicklung großer Sprachmodelle zu fördern. Wenn Sie an dem Artikel interessiert sind, können Sie sich das Originalpapier ansehen, um mehr über die Forschung zu erfahren. 위 내용은 200개 이상의 관련 연구를 집대성한 대형 모델 '평생 학습'의 최신 리뷰는 여기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
