AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
這篇論文作者皆來自於華南理工大學馬千里教授團隊，所在實驗室為機器學習資料挖掘實驗室。論文的三位共同第一作者為博士生鄭俊豪、碩士生邱聖潔、碩士生施成明，主要研究方向包括大模型和終身學習等，通訊作者為千里教授（IEEE/ACM TASLP 副主編）。馬千里教授團隊近年來在國際權威期刊（如TPAMI 等）和國際頂尖學術會議（如NeurIPS、AAAI、IJCAI、ACL、KDD、ICDE 等）上發表多篇Time Series/NLP/Recommendation System 相關的研究工作，和國內外知名大學、研究機構廣泛開展合作。 隨著大語言模型在各個領域應用的不斷拓展，如何讓這些模型能夠連續適應數據、任務和用戶偏好的變化成為一個關鍵問題。傳統的靜態資料集訓練方法已經無法滿足現實世界的動態需求。 為了解決這個挑戰，終身學習（Lifelong Learning）或連續學習（Continual Learning）技術應運而生。它能讓大語言模型在其工作壽命中不斷學習和適應，在整合新知識的同時保留以前學習過的信息，防止災難性遺忘（Catastrophic Forgetting）。 最近，來自華南理工大學的研究者調查、整理並總結了大語言模型（LLMs）的終身學習（Lifelong Learning）方法及其發展前景，並將其總結為一篇全面且前沿的綜述。 
- 論文標題：Towards Lifelong Learning of Large Language Models: A Survey
-
機構：：大學
-
論文網址：https://arxiv.org/abs/2406.06391
-
專案網址：https://github.com/ qianlima-lab/awesome-lifelong-learning-methods-for-llm
圖1 展示了終身學習（Lifelong Learning）在大語言模型和人類學習過程中的類比。圖中透過兩條平行的學習路徑來展示人類和大語言模型在終身學習中的演化過程。
1. 步行（Walk）：人類從最基礎的技能（如步行）開始學習。 2. 騎自行車（Ride a Bike）：隨著學習的進展，人類掌握了更複雜的技能（如騎自行車）。 3. 開車（Drive a Car）：最終，人類可以掌握更複雜和高級的技能（如開車）。 每一步都代表人類在終身學習過程中不斷獲取新技能和知識的過程。 1. Language）：大語言模式從學習新的語言開始（如學會處理不同的自然語言）。 2. 新領域（New Domain）：接下來，模型學習新的領域知識（如從自然語言處理擴展到醫學領域）。 3. 新資訊（New Information）：最終，模型可以學習和整合新的訊息，無論是語言還是領域。 每一步代表著大語言模型在終身學習過程中不斷擴展和更新知識的過程。這張圖強調終身學習的過程：終身學習是一個連續的過程，涵蓋了從基礎到高階的逐步演化。終身學習不只是簡單的知識積累，而是一個動態的、不斷進化的過程。 近年來，終身學習已成為越來越熱門的研究課題，湧現出有關神經網路終身學習的大規模調查。大多數現有研究主要關注卷積神經網路（CNN）的終身學習的各種應用場景和圖神經網路的終身學習。然而，只有少量文獻關注語言模型的終身學習。儘管最近的一些綜述收集了終身學習的最新文獻，但都沒有涉及連續文本分類、連續命名實體識別、連續關係提取和連續機器翻譯等場景，對連續對齊、連續知識編輯、基於工具的終身學習和基於檢索的終身學習的討論也很少。 這篇綜述是第一個從 12 個場景出發，對大語言模型終身學習方法進行全面系統研究的調查。
- 新穎分類：引進了一個詳細的結構化框架，將大量有關終身學習的文獻分為12 個場景；
- 通用技術：確定了所有終身學習情況下的通用技術，並將現有文獻分為每個場景中不同的技術組；
- 未來方向：強調了一些新興技術，如模型擴展和數據選擇，這些技術在前LLM 時代探索較少。
本綜述系統總結了現有的終身學習技術方法，在圖2 中將其分為內部知識和外部知識兩大類。
- 内部知識とは、継続的な事前トレーニングや継続的な微調整を含む、完全または部分的なトレーニングを通じてモデル パラメーターに新しい知識を吸収することを指します。
-
外部知識とは、検索ベースの生涯学習や生涯学習用ツールなど、モデル パラメーターを更新せずに、ウィキペディアやアプリケーション プログラム インターフェイスなどの外部リソースから新しい知識をモデルに組み込むことを指します。
- 継続的な垂直ドメイン事前トレーニング: 特定の垂直分野 (金融、医療など) 用。
- 継続的な言語ドメイン事前トレーニング: 自然言語とコード言語の継続的な事前トレーニング。
- 継続的時間領域事前トレーニング: 時間関連データ (時系列データなど) の継続的事前トレーニング。
2. 継続的な微調整:
- 連続テキスト分類: テキスト分類タスク用 継続的な微調整。
- 継続的な固有表現認識:固有表現認識タスクの継続的な微調整。
- 継続的な関係抽出: 関係抽出タスクの継続的な微調整。
- 継続的機械翻訳: 機械翻訳タスクの継続的な微調整。
- 継続的な命令調整: モデルの継続的な学習は、命令の微調整によって実現されます。
- 継続的な知識編集: 知識を更新するための継続的な学習。
- 継続的調整: モデルを新しいタスクに調整するための継続的な学習。
1．検索ベースの生涯学習: 外部の知識ベースを検索することによって達成される生涯学習。
2. ツールベースの生涯学習: 外部ツールを呼び出すことで実現される生涯学習。
生涯学習の目標は、一連のタスクから言語モデルを学習し、自然言語を入力して目的の出力を生成することです。具体的には、質問と回答などの生成タスクの場合、入力と出力はそれぞれ質問と回答を表し、テキスト分類タスクの場合は入力と出力がテキストのコンテンツとターゲット言語を表します。出力はカテゴリ ラベルです。自己回帰言語モデルの事前トレーニング タスクの場合、入力は一連のトークンであり、出力は対応する次のトークンです。
概要では、生涯にわたる評価を紹介します学習効果の指標は主に、全体的なパフォーマンス、安定性、適応性の 3 つの観点から評価されます。
- 全体の測定: 平均精度 (AA) と平均を含む増分精度 (AIA)。 AA はすべてのタスクを学習した後のモデルの平均パフォーマンスを指しますが、AIA は各タスクを学習した後の履歴変化を考慮します。
- 安定性測定: 忘却測定 (FGT) および逆方向転送 (BWT) を含みます。 FGT は古いタスクの平均パフォーマンス低下を評価し、BWT は古いタスクの平均パフォーマンス変化を評価します。
- 可塑性測定: 新しいタスクにおけるモデルのパフォーマンスの平均改善である順方向伝達 (FWD) を含みます。
図 3 の概要 4主な生涯学習方法は、連続タスク (タスク
t-1 からタスク t) を処理する際に大規模な言語モデルの壊滅的な忘却問題に対処することが実証されています。各メソッドの説明は次のとおりです: 
- 意味: このメソッドは、新しいタスクをトレーニングするときに使用されます。前のタスクからのデータをリプレイして、タスクを統合します。モデルの古いタスクの記憶。通常、再生されたデータはバッファに保存され、現在のタスクのデータとともにトレーニングに使用されます。主に以下が含まれます:
– エクスペリエンス リプレイ: 古いタスクのデータ サンプルの一部を保存し、新しいタスクの発生をトレーニングするときにこれらのデータを再利用することで忘れを減らします。
– 生成リプレイ: 古いデータを保存するのとは異なり、この方法では生成モデルを使用して疑似サンプルを作成し、それによって古いタスクの知識を新しいタスクのトレーニングに導入します。
- の図: 図 3 は、タスク t-1 からタスク t までのプロセスを示しています。モデルは、タスク をトレーニングしています。 、バッファ内の古いデータ (入力 t-1 ) が使用されます。
- 意味: この方法は、モデル パラメーターに正則化制約を課すことで、新しいタスクを学習するときにモデルが古いタスク パラメーターを過剰に調整するのを防ぎます。正則化制約は、モデルが古いタスクの記憶を保持するのに役立ちます。主に以下が含まれます:
– 重みの正規化: モデルパラメーターに追加の制約を課すことにより、新しいタスクをトレーニングする際の重要な重みの変更を制限し、それによって古いタスクの整合性を保護します。たとえば、L2 正則化や Elastic Weight Consolidation (EWC) は一般的な手法です。
– 特徴の正則化: 正則化は重みに作用するだけでなく、特徴空間内のモデルのパフォーマンスを制限することで、新しいタスクと古いタスクの間の特徴の分布が安定した状態を保つこともできます。
- 図: 図 3 は、タスク t-1 からタスク t までのプロセスを示しています。モデルは t のときにタスク をトレーニングしています。 、パラメータの正則化はタスク t-1 のパフォーマンスを維持するために使用されます。
- 意味: このアプローチは、以前に学習した知識への干渉を最小限に抑えながら、新しいタスクをシームレスに統合するためにモデル構造を適応させることに重点を置いています。これには主に、図 4 の 6 つのメソッドが含まれます:
–(a) プロンプト チューニング: モデルの入力の前に「ソフト プロンプト」を追加し、モデルの生成または分類タスクをガイドします。この方法では、モデルのバックボーン構造を変更せずに、少数のパラメーター (つまり、プロンプト ワード) を調整するだけで済みます。
–(b) プレフィックス チューニング: トレーニングされた調整可能なパラメーターを入力シーケンスのプレフィックス部分に追加します。これらのパラメーターは、モデルがコンテキスト情報をより適切にキャプチャできるようにするために、Transformer レイヤーのセルフ アテンション メカニズムに挿入されます。
–(c) 低ランク適応 (LoRA、低ランク適応): LoRA は、大規模モデルの主な重みを変更せずに、特定のレベルで低ランク行列を追加することによって、新しいタスクに適応します。このアプローチにより、モデルのパフォーマンスを維持しながら、パラメーター調整の数が大幅に削減されます。
– (d) アダプター: アダプターは、モデルの異なる層の間に挿入されるトレーニング可能なモジュールです。これらのモジュールは、元のモデルの新しいタスクを変更せずに、少数の追加パラメーターで適応できます。通常、FFN (フィード フォワード ネットワーク) および MHA (マルチヘッド アテンション) 部分に適用されます。
–(e) エキスパートの混合: モデル内の特定のレイヤーまたはサブネットワークである特定の「エキスパート」モジュールを選択的にアクティブにすることによって、さまざまな入力を処理します。 Router モジュールは、どのエキスパート モジュールをアクティブにする必要があるかを決定します。
–(f) モデルの拡張: 元のレイヤー (Old Layer) を保持したまま、新しいレイヤー (New Layer) を追加することでモデルの容量を拡張します。このアプローチにより、モデルの容量を徐々に増やして、より複雑なタスク要件に対応できるようになります。
- 図: 図 3 は、タスク t-1 からタスク t までのプロセスを示しています。モデルが新しいタスクを学習するとき、一部のパラメーターは固定されています。一方、新しく追加されたモジュールは、新しいタスク (Trainable) をトレーニングするために使用されます。
- 意味: この方法は、知識の蒸留を通じて古いモデルの知識を新しいモデルに転送します。新しいタスクをトレーニングするとき、新しいモデルは現在のタスクのデータを学習するだけでなく、古いタスクの古いモデルの出力を模倣することで、古いタスクの知識を維持します。主に以下が含まれます:
– 新しいデータからの抽出: 学生モデルは教師モデルの指導の下で新しいタスクを学習し、古いデータのモデルの知識を抽出して、古い知識の忘れを減らします。 – 古いデータからの蒸留: 古いデータに対する教師モデルのパフォーマンスを使用して、生徒モデルが新しいタスクを学習するようにガイドし、それによって古いデータを保持します。 。 – 擬似古いデータからの蒸留: 擬似古いデータ (擬似古いデータ) を生成することで、学生モデルは新しいタスクを学習できます 古い知識の記憶を維持します。 - 図: 図 3 は、タスク t-1 からタスク t への遷移を示しています。このプロセスでは、モデルが新しいタスクをトレーニングするときに、古いモデルの予測結果を模倣することで古いタスクの知識を維持します。
継続的な事前トレーニング-トレーニング 大規模な言語モデルの内部知識は、包括的な事前トレーニングにかかる高額なコストをかけずに更新できるため、大規模な言語モデルの機能が強化されます。現在の研究は垂直的、言語的、時間的領域に及び、壊滅的な忘却や時間的適応などの困難な問題に取り組んでいます。 経験の再生、知識の蒸留、パラメータの効率的な微調整、モデルの拡張、再加熱などのテクノロジーには、良い見通しが示されています。 連続垂直フィールド事前トレーニング-トレーニング (継続的垂直ドメイン事前トレーニング) は、以前に取得した知識を保持しながら、一連のドメイン固有のデータセットで言語モデルを継続的にトレーニングすることにより、モデルが複数の垂直分野またはタスクで適切に機能することを保証することを目的としています。
- 例: CorpusBrain++ は、バックボーン アダプター アーキテクチャとエクスペリエンス リプレイ戦略を使用して、現実世界の知識集約的な言語タスクに取り組みます。
- 例: Med-PaLM は、少数の例を使用して、医療分野における指示プロンプトのチューニングを紹介します。
- 例: ELLE特徴保持モデル拡張戦略を採用し、既存の事前トレーニング済み言語モデルの幅と深さを柔軟に拡張することで、知識の取得と統合の効率を向上させます。
- 例: LLaMA Pro は、Transformer ブロックを拡張し、新しいコーパスで微調整することにより、一般的な使用、プログラミング、数学タスクに優れています。
- 例: Gupta らによって提案された戦略では、新しいデータセットを導入するときに学習率を調整して、長期学習中に学習率が低くなりすぎないようにすることで、新しいデータセットへの適応効果を向上させます。
- 例: RHO -1 は、トレーニング プロセスに大きな影響を与えるトークンを優先する選択的言語モデル (SLM) を使用してトレーニングされます。
- 例: EcomGPT-CT は、半構造化された電子商取引データを使用したドメイン固有のタスクにおけるモデルのパフォーマンスを強化します。
継続的言語ドメイン事前トレーニング (継続的言語ドメイン事前トレーニング) は、言語モデルが以前の知識を忘れることなく新しいデータを継続的に統合し、変化する言語ドメインに適応できるようにすることを目的としています。
- 例: Yadav らは、教師による強制メカニズムを導入し、新しいタスクでのモデルの微調整をガイドする一連のプロンプトを作成することで、プロンプト チューニングを改善しました。
- 例: ModuleFormer と Lifelong-MoE は、専門家混合 (MoE) アプローチを使用して、モジュール性とモデル容量の動的増加を通じて LLM の効率と適応性を強化しています。
- 例: Ibrahim らによって提案されたリウォーミング手法は、新しいデータをトレーニングする際に学習率を一時的に高めることで、モデルを新しい言語に迅速に適応させるのに役立ちます。
連続time 継続的時間ドメイン事前トレーニングには、時間に依存するデータの精度と関連性を維持するために、言語モデルを継続的に更新することが含まれます。 1. パフォーマンスの低下: Lazaridou らの研究では、将来のデータのモデル パフォーマンスが大幅に低下し、時間的一般化における LLM の困難さが浮き彫りになります。 2. 限定的な改善: Röttger らは、純粋なドメイン適応と比較して、時間的適応ではマスク言語モデル タスクがわずかに改善されるものの、下流タスクのパフォーマンスの向上は顕著ではないことを発見しました。 これらの方法と研究を通じて、著者はさまざまな次元での継続的な事前トレーニングの方法と課題を実証し、垂直領域、言語領域、時間領域での応用を強調します。生涯学習の必要性と有効性。 継続的な事前トレーニングにより内部機能を強化できます大規模言語モデルの知識、これに基づいた継続的な微調整により、大規模言語モデルの内部知識が強化され、テキスト分類、固有表現認識、関係抽出、機械翻訳、または一般的な生成タスクなどの特定のタスクに大規模言語モデルが適応されます。指導調整、知識など人間の好みに合わせて編集されています。壊滅的な忘却やタスクへの干渉などの課題に対処するために、蒸留、再生、正則化、アーキテクチャベース、勾配ベースの手法などの手法が採用されています。著者らは、図 5 に 7 つの連続した微調整シナリオを示しています。 
この図は、7 つの異なるタイプのタスクが継続的な学習を通じて大規模な言語モデルにどのように実装されるかを示しています。以下に各部の詳細を説明します。 - 例: 連続テキスト分類タスクは、変化する分類ニーズに適応できるように、新しい分類カテゴリ (目的: 転送 -> 目的: クレジット スコア -> 目的: 楽しい事実など) を徐々に導入することでモデルをトレーニングします。
- の例: 継続的な名前付きエンティティ認識タスクは、モデルが新しいエンティティの能力を認識しながら古いエンティティの認識を維持できるように、特定のエンティティを認識しながら、新しいエンティティ タイプ (スポーツ選手 -> スポーツ チーム -> 政治家など) を徐々に導入する方法を示します。 。
- 例:継続的関係抽出タスクは、新しい関係タイプ (関係: 創設者 -> 関係: 州または出身地 -> 関係: 本社の国など) を継続的に導入することによって、モデルが関係抽出機能を徐々に拡張する方法を示します。
- 例:継続的なナレッジ編集タスクでは、モデルのナレッジ ベースを継続的に更新することで、最新の事実に正確に答えることができます (米国の大統領は誰ですか? -> クリスティアーノ ロナウドは現在どのクラブでプレーしていますか? -> 最後の冬はどこでしたか?オリンピック開催？）
- 例:継続的機械翻訳タスクは、モデルの翻訳機能をさまざまな言語 (英語 -> 中国語、英語 -> スペイン語、英語 -> フランス語など) に徐々に拡張することで、多言語環境におけるモデルの適応性を実証します。
- 例: 継続的命令微調整タスクは、新しい命令タイプ (要約 -> スタイル転送 -> 数学など) を段階的に導入することによって、複数のタスク タイプでモデルのパフォーマンス能力をトレーニングします。
- 例: 連続アライメント タスクは、新しいアライメント目標 (有益で無害 -> 簡潔で組織的 -> ポジティブな感情など) を導入することにより、さまざまな道徳的および行動基準の下でのモデルの継続的な学習能力を実証します。
継続的な事前トレーニングLLM の生涯学習には継続的な微調整が不可欠ですが、LLM が大きくなり強力になるにつれて、新しい外部知識を提供することなく、大規模な言語モデル パラメーターを実行できる 2 つの方向性がますます普及しています。大規模な言語モデル。著者らは、検索ベースの生涯学習とツールベースの生涯学習を検討しています。どちらのアプローチも、LLM で生涯学習を達成する有望な方法であるためです。図 6 は両方のアプローチを示しています。 
- はじめに: 世界中の情報が増え続ける中、スケールアップと進化過去のデータに基づいてトレーニングされた静的モデルはすぐに古くなり、新しい開発に関するコンテンツを理解したり生成したりできなくなります。検索ベースの生涯学習は、大規模な言語モデルが外部ソースから最新の知識を取得して吸収するという重要なニーズを解決し、モデルは必要に応じてこれらの外部リソースを取得することで知識ベースを補完または更新します。これらの外部リソースは、現在の大規模な知識ベースを提供し、事前トレーニングされた LLM の静的特性を強化するための重要な補完的な資産を提供します。
- 例: 図内のこれらの外部リソースは、モデルによってアクセスおよび取得できます。ウィキペディア、書籍、データベースなどの外部情報ソースにアクセスすることで、モデルは知識を更新し、新しい情報に遭遇したときに適応することができます。
- はじめに: ツールベースの生涯学習は、その機能を静的な知識を超えて拡張し、環境と動的に対話できるようにする必要性から生まれました。実際のアプリケーションでは、モデルは多くの場合、直接的なテキストの生成や解釈を超える操作を含むタスクを実行する必要があります。
- 例: 図のモデルは、これらのツールを使用して自身の機能を拡張および更新し、外部ツールとの対話を通じて生涯学習を可能にします。たとえば、モデルはアプリケーション プログラミング インターフェイスを通じてリアルタイム データを取得したり、物理ツールを通じて外部環境と対話して特定のタスクを完了したり、新しい知識を取得したりできます。
- 壊滅的な忘却: これは生涯学習の中核的な課題の 1 つであり、新しい情報の導入により上書きされる可能性があります。モデルが以前に学習したこと。
- 可塑性と安定性のジレンマ: モデルの学習能力と安定性の維持の間のバランスを見つけることが非常に重要であり、これはモデルが新しい知識を保持しながら新しい知識を獲得する能力に直接影響します。幅広い一般的な能力。
- 高額な計算コスト: 大規模な言語モデルを完全に微調整するための計算要件は非常に高くなる可能性があります。
- モデルの重みや事前トレーニングされたデータが利用できない: プライバシー、独自の制限、または商用ライセンスのため、生のトレーニング データやモデルの重みは、さらなる改善のために利用できないことがよくあります。
- 特定のタスクから一般的なタスクへ: 研究は、特定のタスク (テキスト分類、固有表現認識など) から、命令調整、知識編集などのより広範囲の一般的なタスクに徐々に移行していきます。
- 完全な微調整から部分的な微調整へ: 完全な微調整、部分的な微調整戦略 (アダプター層、プロンプト チューニング、 LoRA) の人気はますます高まっています。
- 内部知識から外部知識へ: 頻繁な内部更新の制限を克服するために、検索拡張生成やツールなどの外部知識ソースを使用する戦略が増えています。学習によりモデルが可能になります。現在の外部データに動的にアクセスして活用します。
- マルチモーダル生涯学習: テキストを超えた複数のモダリティ (画像、ビデオ、オーディオ、時系列データ、ナレッジ グラフなど) を生涯学習に統合し、より包括的で適応性のある性モデルを開発します。
- 効率的な生涯学習: 研究者たちは、モデルの枝刈り、モデルの結合、モデルの拡張、その他の方法など、モデルのトレーニングと更新の計算要件を管理するためのより効率的な戦略の開発に取り組んでいます。
- 普遍的な生涯学習: 最終的な目標は、大規模な言語モデルが、静的なデータセットのみに依存することなく、新しい知識を積極的に獲得し、環境との動的な相互作用を通じて学習できるようにすることです。
著者は既存の研究を分割するinto それは、12 の生涯学習シナリオの包括的な概要を提供します。この分析はまた、壊滅的な忘却の管理、計算効率の確保、知識獲得における特異性と一般性の間のバランスを維持する必要性を強調しています。この分野が進化し続けるにつれて、これらの高度な戦略の統合は、次世代の人工知能システムを形成する上で重要な役割を果たし、真に人間のような学習と適応能力の実現に近づくのに役立ちます。 これらの技術的アプローチとそれぞれのカテゴリの詳細な研究を通じて、このレビューは、生涯学習機能を生涯学習ツールに統合して、実際のパフォーマンスを向上させることを強調することを目的としています。世界 アプリケーションの適応性、信頼性、および全体的なパフォーマンス。同時に、研究者やエンジニアに、生涯学習テクノロジーをより深く理解して適用し、大規模な言語モデルのさらなる開発を促進するための包括的な視点を提供します。記事に興味があれば、元の論文をチェックして研究の詳細を学ぶことができます。 以上是整合 200 多項相關研究，大模型「終身學習」最新綜述來了的詳細內容。更多資訊請關注PHP中文網其他相關文章！
