AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本文章的作者為清華大學交叉資訊院二年級碩士博士許融武和一年級生學博士的主要涵義，他們也是本篇論文的主要涵義。
隨著人工智慧和大型模型技術的快速發展，檢索增強生成（Retrieval-Augmented Generation, RAG）已成為大型語言模型生成文本的主要範式。這種技術的代表—— 檢索增強的大型語言模型（Retrieval-Augmented Large Language Model, RALM）—— 能夠直接利用檢索得到的文檔信息進行內容生成，無需進行額外的訓練，這一優勢使其在工業界得到了廣泛應用，例如New Bing 搜尋引擎。
然而，自 2023 年起，RALM 在處理知識衝突方面面臨的問題逐漸成為研究的焦點。知識衝突不僅嚴重影響了模型在知識密集型任務上的效能，也暴露了其在面對錯誤訊息時的脆弱性，進而對模型的安全性構成威脅，尤其是在那些對事實準確性有著嚴格要求的應用場景中。知識衝突主要表現在模型內部的參數化知識與外部情境資訊之間，以及外部情境資訊內部的不一致性。此外，研究者也觀察到模型內部參數化知識之間存在衝突，即出現矛盾的現象，這可能源自於模型在預訓練階段學習到了相互矛盾的資訊。
我們來看一個具體的例子：
在上面這個例子中，大模型接受了一個事實性問題：哪隻隊伍在世界盃中獲得了最多次的冠軍？對於這個問題，一個RALM 可能會檢索網路上、向量資料庫內的文檔，同時加上使用者先前的提示語組成的歷史對話記錄，共同形成了上下文知識（Contextual Knowledge, Context，在上圖用黃色予以標出）；同時，大模型在預訓練中也看到了關於解答這個問題的信息，這些信息構成了其參數化知識，又稱模型的“記憶”（Parametric Knowledge，Memory，在上圖用藍色標出）。根據衝突兩方資訊的來源，我們便可 「兩兩（可重）組合」 分為以下三個類別：
Context-Memory Conflict 即上下文與參數知識之間的衝突。範例 1：模型透過 Web 檢索所獲得的知識是即時的，但學到的知識已經 「過氣」；範例 2：模型獲得了錯誤的假訊息，與參數知識發生了衝突。
Inter-Context Conflict 即上下文知識內部的衝突。範例：透過 Web 檢索，所獲得的資訊因為發布的時間不同，或是混入了惡意的有誤資訊而自相衝突。
Intra-Memory Conflict 即參數化知識內部的衝突。例：對於事實性問答，模型在語意相同的提示一下被激發出不同結果的答案，產生出自相矛盾的效果。
知識衝突最早的文獻可以追溯到 Longpre 等人在 EMNLP 2021 的文章：Entity-based knowledge conflicts in question answering。這篇文章透過命名實體替換的方法在開放域問答（Open-Domain Question Answering）建構了衝突的知識，並對當時的語言模型進行了評測。隨著2023 年大型語言模型的興起和RAG 範式在工業界廣泛應用，知識衝突的研究熱度逐漸升高，因其很大程度上降低了模型在關鍵任務上的表現，特別是對真實性有要求的任務。
近期，來自清華大學、劍橋大學、西湖大學、香港中文大學的研究者聯合發布了一篇綜述，從起因、表現以及解決方案三個方面，對三種不同的知識衝突類型進行詳細探討，幫助讀者更好地理解和應對這項挑戰。在我們看來，知識衝突既是導致各種模型下游表現的原因，也是從知識本身和模型知識學習中天然複雜性所呈現的效果。
論文地址：https://arxiv.org/abs/2403.08319
專案地址：https://github.com/pillowsofwind/Knowledge-Conflicts-Survey
這篇綜述：
1. 首次系統性地總結了知識衝突領域的研究工作；全面分析了三種大模型可能遭遇的衝突類型，特別是對參數化知識衝突進行討論；
3. 我們不僅探討了每種衝突的分析，還從其「生命週期」 的視角出發，審視了衝突的起因、表現以及可能的解決策略。
起因
Context-Memory Conflict 的起因
表現
當面對 Context-Memory Conflict 時，模型的行為表現出顯著的複雜性和多樣性。以下是兩種表現形式：1. 依賴參數化知識一些模型在處理上下文與記憶體矛盾時，往往會過度依賴其內部的參數知識，而忽略外部提供的上下文資訊。這種行為在早期的開放域問答（ODQA）研究中得到了驗證。 Longpre 等人（2021）發現 QA 模型在面對上下文資訊與其內部知識衝突時，傾向於依賴記憶體知識。 2. 依賴上下文資訊另一方面，某些模型在面對外部證據時，即使這些證據與其內部記憶相矛盾，也會傾向於採信外部證據。 Chen 等人（2022）在 QA 模型上的實驗顯示模型傾向於依賴上下文知識，與 Longpre 等人的發現形成對比，其解釋為 Longpre 構造的衝突資訊過於簡單。最近，Xie 等人（2023）透過操控大模型產生 「更符合邏輯」的衝突上下文，發現大模型在面對外部證據時，即使這些證據與其參數知識相矛盾，也更傾向於信任外部證據。解決方案
為了有效應對Context-Memory Conflict，研究人員提出了多種解決方案，這些方案主要分為在衝突發生前的預防措施（pre-hoc strategies）和衝突發生後的應對措施（post-hoc strategies）。以下是幾個主要的解決方案：1. 預防措施微調模型（Fine-Tuning）：透過引入反事實和無關上下文等方法，加強模型對上下文的控制能力和穩健性。例如，Li 等人（2022）提出的知識感知細調（KAFT）方法，透過在標準訓練資料集中引入反事實和無關上下文，增強了模型在面對衝突資訊時的穩健性。
提示語技術（Prompting）：透過專門設計的提示語策略，增強模型對上下文的依賴。例如，Zhou 等人（2023）提出了簡潔的 context-faithful prompting 的技術，顯著提升了模型在情境敏感任務中的表現。
知識插入（Knowledge Plug-in）：透過插件模組儲存更新的知識，確保原始模型不受影響。例如，Lee 等人（2022）提出的持續更新 QA（CuQA）方法，透過知識插件增強模型的知識更新能力，而不影響其原始參數。
解碼技術（Decoding）：透過調整解碼策略，減少模型在知識衝突情況下產生幻覺的機率。例如，Shi 等人（2023）提出的上下文感知解碼（CAD）方法，透過放大輸出機率的差異，優先考慮上下文訊息，從而減少模型在衝突訊息下的誤導。
透過結合這些預防和應對措施，可以從不同角度提高模型在處理 Context-Memory Conflict 時的準確性和穩健性，從而提升模型在實際應用中的表現和用戶體驗。
探索Inter-Context Conflict：起因、表現與解決方案
起因
Inter-Context 衝突是指在不同外部資訊整合過程中出現矛盾，儘管這些資訊模型的回答，但也可能導致上下文之間的資訊衝突。這種衝突的發生主要是因為外部資訊中可能包含錯誤訊息（Misinformation）和過時訊息（Outdated Information）。
1. 錯誤訊息（Misinformation）
檢索增強生成技術（RAG）透過整合外部資訊來提升大模型的回應質量，然而這些外部資訊可能含有虛假內容。例如，可能會混入偽造新聞或 AI 產生的誤導性內容，導致檢索到的資訊之間產生衝突。面對這些衝突，模型如何處理是一項重要挑戰。若無法有效解決這些衝突，可能導致模型產生的內容不準確，進而加劇假訊息的傳播，進一步混淆訊息。
2. 過時資訊（Outdated Information）
隨著時間推移，事實會改變。大模型在檢索外部文件時，可能會遇到同時包含最新和過時資訊的文件。這種資訊的時間差異會導致上下文之間的衝突。例如，關於某個事件的最新發展與過時的資訊之間的矛盾，會影響模型的反應準確性。過時的資訊不僅會使模型的回答變得不準確，還可能導致使用者對模型失去信任。
表現
在面對Inter-Context Conflict 時，大模型在被動和主動兩種角度下都表現出了特定的行為特徵：
1. 性能影響（Performance Impact）
錯誤或過時資訊會顯著影響大模型的效能。例如，Chen 等（2022）的研究也指出，當模型在遇到矛盾的資訊時，但它們更傾向於信任與問題直接相關的資訊和模型內部的參數知識。 Pan 等（2023a）透過將偽造的維基百科文章插入真實的維基百科語料庫，發現現有語言模型在面對假訊息攻擊時表現不佳。 Xie 等（2023）的研究進一步揭示，大模型對與模型參數記憶一致的證據有顯著偏好，尤其是當這些證據涉及常見實體或得到大量文件支持時。
2. 偵測能力（Detection Ability）
偵測情境中的矛盾訊息也是一項重要任務。 Li 等（2023a）分析了 GPT-4、PaLM-2 和 Llama 2 在新聞、故事和維基百科文章中檢測矛盾文件的能力，結果顯示平均檢測準確率較低。 Wan 等（2024）的研究則揭示，現有模型在評估文檔可信度時，往往高度依賴與查詢相關的文檔內容，但忽略了人類認為重要的文體特徵，如科學引用或中立的語氣。 Jin 等人（2024a）發現大模型偏好在脈絡中出現頻率最高的證據，並對與其內在記憶一致的外在訊息表現出明顯傾向。
解決方案
為了有效應對Inter-Context Conflict，研究人員從多種角度提出了解決方案，這些方案主要分為消除衝突（Eliminating Conflict）和提高魯棒性（Improving Robustness）兩個方面，從主動和被動兩個角度解決Inter-Context Conflict。
1. 消除衝突（Eliminating Conflict）
專用模型（Specialized Models）：專門訓練一個模型來更好地處理特定類型的衝突。如 Pielka 等（2022）建議在學習過程中加入語言學知識，透過引入語法和語義特徵來增強對矛盾資訊的識別，以提高模型對矛盾檢測的能力。
通用模型（General Models）：使用通用模型來完成衝突消除。 Chern 等人（2023）提出了一個整合了多種工具（如 Google Search、Google Scholar 等）的事實查核框架，用於檢測文本中的事實錯誤。這種方法不僅依賴模型的內部知識，還結合了外部檢索到的信息，提供更全面的事實驗證。
2. 提高魯棒性（Improving Robustness）
訓練方法（Training Approach）：從訓練演算法上提升模型在面臨衝突上下文時的魯棒性。 Hong 等（2023）提出了一種新的微調方法，透過同時訓練判別器和解碼器來提高模型的穩健性。這種方法不僅可以提高模型在面對衝突訊息時的穩定性，還能增強其處理複雜資訊的能力。
查詢增強（Query Augmentation）：在推理階段透過進一步引入外界知識來提升模型的穩健性。 Weller 等（2022）提出了一種查詢增強技術，提示GPT-3 從原始查詢中提取新的問題，透過產生多個與原始問題相關的查詢，模型可以從多個角度驗證答案的正確性，從而減少因單一資訊來源而導致的錯誤。這種方法不僅提高了模型應對衝突訊息的能力，還增加了其答案的準確性和可靠性。
Inter-Context Conflict 是知識衝突中的重要一環。大模型如何處理相互衝突的資訊是一個關鍵任務。透過上述方法，可以從不同角度提高模型在處理 Inter-Context Conflict 時的準確性和穩健性。
探索Intra-Memory Conflict：起因、表現與解決方案
起因
Intra-Memory Conflicplic 是表現出不同的語義。這種衝突的主要原因可以分為以下幾個面向：
1. 訓練語料庫的偏差（Bias in Training Corpora）
LLMs 的主要知識獲取階段是在預訓練期間完成的，而這些預訓練資料通常是從網路上抓取的。這些數據來源廣泛，包括社群媒體、新聞文章、百科全書等，其品質參差不齊，可能包含不準確或誤導性的資訊。這些錯誤訊息會被模型記住並在推理時放大，導致模型內的知識出現衝突，這會導致模型在回答相關問題時出現多種相互矛盾的答案。同時，大模型存在對訓練資料的表面關聯進行編碼的情況，這會導致模型依據表面的虛假相關性進行判斷。由於對虛假相關性的依賴，當遇到句法結構不同但語義相同的提示時，模型可能會給出不同的答案。
2. 解碼策略（Decoding Strategy）
大模型的輸出是透過對可能的下一個詞進行機率分佈取樣而得出的。不同的採樣方法（如貪心採樣、top-p 採樣、top-k 採樣等）會導致生成內容的隨機性。例如，在使用top-k 取樣時，模型會從機率最高的k 個候選詞中隨機選擇下一個詞，這種隨機性增加了輸出的不確定性，使得相同的輸入在不同次推理中可能得到不同的結果。
3. 知識編輯（Knowledge Editing）
為了有效率地修改大模型中的知識，研究人員提出了知識編輯技術。這些技術旨在有效率地修改模型中小範圍的知識，而不需要重新訓練整個模型。然而，這些編輯方法可能導致知識的一致性難以保證。例如，透過知識編輯修改某一事實（如某一科學發現的具體細節），但未能同步更新與之相關的所有知識，可能導致模型在面對不同問題時產生不一致的反應。同時，修改後的知識可能無法有效地在不同情境下應用，導致模型在處理相同知識的不同表達時產生不一致的答案。
表現
Intra-Memory Conflict 會對大模型的表現產生顯著影響，主要體現在以下幾個方面：
1. 自我不一致性（Self-Inconsistency）
自我不一致性是指模型在面對語意等價但句法不同的問題時，生成的回答不一致。例如，研究表明，即便是像 GPT-4 這樣的先進模型，在處理常識性問題時，仍有 13% 的回答存在不一致。這意味著用戶提出同樣的問題，但換個說法時，可能會得到不同的答案。另一方面，模型在回憶知識時，可能更依賴訓練資料中字詞的表面關聯，而不是對知識的真正理解。例如，一個模型可能會錯誤地關聯某些高頻共現的詞語，導致生成的回答偏離預期。這種錯誤關聯進一步加劇了模型回答的自我不一致性。
2. 知識的潛在表示（Latent Representation of Knowledge）
大模型內部的多層 Transformer 架構導致不同層次儲存著不同的知識表示。這種分散的知識表示會導致模型在生成過程中無法準確表達已經儲存的知識。例如，淺層次可能儲存的是低階訊息，而深層儲存的是語意資訊。這種多層表示的分散導致模型在面對不同問題時，可能無法協調不同層次的知識，進而產生不一致的答案。
3. 跨語言不一致性（Cross-lingual Inconsistency）
由於大模型在不同語言中維護著不同的知識集合，這導致了跨語言的一致性問題。例如，同一個事實在不同語言中可能會得到不同的回答，這種現像在跨語言知識問答中尤其明顯。例如，一個在英語中訓練的模型可能會對某個事實有準確的回答，但在西班牙語中卻給出不同的答案。
解決方案
針對內部記憶衝突，研究人員提出了多種解決方案，主要可以分為以下幾類：
1. 提升一致性（Improving Consistency）
微調（Fine-tu ）：透過引入一致性損失函數，並結合標準的語言模型訓練損失，進行微調，提升模型的知識一致性。例如，Li 等人（2023）則利用模型產生的回答對其進行驗證，篩選出一致性較高的回答對進行微調，進一步提升產生的答案的一致性。
插件（Plug-in）：透過模組插入的整合方法提高模型的一致性。例如，Jang 和 Lukasiewicz（2023）提出利用字典中的詞義對模型進行訓練，增強其對符號意義的理解。然後將這些增強的參數與現有語言模型的參數合併從而提高模型的一致性。
輸出整合（Output Ensemble）：透過對多次輸出進行綜合，從而獲得一個最正確的答案。 Mitchell 等人（2022）提出了這個雙模型架構，透過評估答案間的邏輯一致性來選擇最可信的最終答案，減少模型產生的不一致性。
2. 提升事實準確性（Improving Factuality）
提升模型響應的真實性，從而減少模型本身不一致的發生。例如，Li 等人（2023）提出了一種知識探測方法，透過識別模型參數中包含的真實知識，並在推理階段沿著這些真實知識相關的方向調整激活，從而減少生成過程中的事實錯誤。
內部記憶衝突是 LLMs 研究中的重要挑戰，解決這個問題需要從訓練、生成和後處理等多個階段著手。雖然目前的解決方案已經在一定程度上緩解了這個問題，但仍有許多挑戰需要克服。
討論 1：模型應如何回應衝突？
理想情況下，模型在遇到知識衝突時應能辨識衝突並提供明確的答案。然而，研究發現現有模型在識別衝突存在方面表現較好，但在確定具體衝突段落並產生有區分的答案方面仍存在挑戰。另一方面，有些研究者認為我們不應該將 「處理衝突」 的任務完全丟給大模型代表的 AI，而是應該將這個權力掌握在人類手中。
討論2：當前挑戰與後續研究方向
1. 實際環境中的知識衝突：
研究應關注知識衝突在現實世界中自然發生的情況，如網路直接發生的情況，如網路從現實世界中檢索文件的檢索增強語言模型（RALMs）。應盡量減少人為創造知識衝突，以更好地反映實際應用。
2. 更精細的解決方案：
需要更細緻的解決方案，考慮使用者查詢的性質、衝突資訊的來源和使用者期望。解決方案應針對不同類型的衝突（如錯誤訊息、過時訊息或主觀問題）進行定制，並認識到問題和潛在解決方案的廣泛性。
3. 下游任務評估：
未來的研究應超越常見的問答資料集，評估知識衝突對更廣泛應用的影響。這包括需要高準確性和一致性的領域，如法律文件分析、醫療診斷、財務分析和教育工具。
4. 衝突之間的交互作用：
研究不同類型衝突（如內在記憶衝突和情境記憶衝突）之間的互動是至關重要的。理解這些關係可能揭示大模型中知識表示和處理的機制，從而發展出更強大的模型。
5. 可解釋性：
需要對大模型內部機制（如衝突期間的注意力頭或神經元活化）進行更微觀的檢查。這將有助於理解模型在遇到衝突時如何做出決策，並開發如路徑修補剪枝的衝突解決方法。
6. 多語言性：
研究應探討非英語提示和跨語言的知識衝突。這包括非英語中的知識衝突，以及不同語言的多個文件的上下文衝突。
7. 多模態性：
隨著大模型處理多種格式（文字、圖像、視訊、音訊）的發展，未來研究應關注多模態環境中的衝突。開發能夠跨多種資料類型進行跨模態推理和衝突解決的先進 LLMs 是必要的。
以上是深度解析RAG大模型知識衝突，清華西湖大學港中文聯合發布的詳細內容。更多資訊請關注PHP中文網其他相關文章！
