用搜尋增強生成技術解決人工智慧幻覺問題

作者| Rahul Pradhan

#| https: //www.infoworld.com/article/3708254/addressing-ai-hallucinations-with-retrieval-augmented-generation.html

人工智慧有望成為當代最具影響力的技術。最近在transformer技術和生成式人工智慧方面取得的進展已經展示了其大規模釋放創新和獨創性的潛力。

然而，生成式人工智慧並非沒有挑戰——這些挑戰甚至可能會嚴重阻礙這項變革性技術的應用和價值創造。隨著生成式人工智慧模型的複雜性和能力不斷提高，它們也帶來了獨特的挑戰，包括產生不基於輸入資料的輸出

這些所謂的 "幻覺"是指模型產生的輸出結果雖然連貫，但可能脫離了事實或輸入背景。本文將簡要介紹生成式人工智慧的變革性影響，審視該技術的不足和挑戰，並討論可用於緩解幻覺的技術。

生成式人工智慧的變革效應

#重新表述為：生成式人工智慧模型利用深度學習這一複雜計算過程來識別大量資料集中的模式，並利用這些資訊創造出新的、令人信服的輸出。這些模型採用了機器學習技術中的神經網絡，其靈感源自於人腦處理和解釋資訊的方式，並隨著時間的推移不斷學習進步

OpenAI的GPT -4和Google的PaLM 2等生成式人工智慧模型可望在自動化、數據分析和用戶體驗方面帶來創新。這些模型可以編寫程式碼、總結文章，甚至幫助診斷疾病。然而，這些模型的可行性和最終價值取決於它們的準確性和可靠性。在醫療保健、金融或法律服務等關鍵領域，準確性的可靠性至關重要。但對於所有使用者來說，要充分發揮生成式人工智慧的潛力，就必須解決這些挑戰

#大型語言模型的缺點

# #LLM 從根本上是機率性和非確定性的。它們根據下一個特定詞序出現的可能性產生文字。 LLM 沒有知識概念，完全依賴透過訓練有素的資料語料庫作為推薦引擎進行導航。它們產生的文本一般遵循語法和語義規則，但完全以滿足與提示的統計一致性為基礎。

LLM 的這種機率性質既是優點也是缺點。如果目標是得出正確答案或根據答案做出關鍵決定，那麼幻覺就是不好的，甚至會造成傷害。然而，如果目標是創造性的努力，那麼可以利用 LLM 培養藝術創造力，從而相對較快地創作出藝術作品、故事情節和劇本。

然而，無論目標為何，無法信任 LLM 模型的輸出都會造成嚴重後果。這不僅會削弱人們對這些系統能力的信任，還會大大降低人工智慧對加速人類生產力和創新的影響。

• 最終，人工智慧的好壞取決於它所訓練的資料。 LLM 的幻覺主要是由資料集和訓練的缺陷造成的，包括以下方面#：
過度擬合：
• 當模型對訓練資料（包括雜訊和異常值）的學習效果太好時，就會出現過度擬合。模型的複雜性、訓練資料的雜訊或訓練資料的不足都會導致過度擬合。這會導致低品質的模式識別，使模型無法很好地泛化到新數據中，從而導致分類和預測錯誤、與事實不符的輸出、信噪比低的輸出或完全的幻覺。
資料品質：
• 用來訓練的資料的錯誤標記和錯誤分類可能在幻覺中起重要作用。偏差的數據或缺乏相關數據實際上會導致模型輸出結果看似準確，但可能被證明是有害的，這取決於模型建議的決策範圍。

資料稀缺： 資料稀缺或對新鮮或相關資料的需求是導致幻覺並阻礙企業採用生成式人工智慧的重要問題之一。使用最新內容和上下文資料刷新資料有助於減少幻覺和偏見。

解決大型語言模型中的幻覺

#######有幾種方法可以解決#### ## LLM 中的幻覺問題，包括微調、提示工程和檢索增強生成(RAG) 等技術。 ############

• 微調是指使用特定領域的資料集重新訓練模型，以便更準確地產生與該領域相關的內容。然而，重新訓練或微調模型需要較長的時間，此外，如果不持續訓練，資料很快就會過時。此外，重新訓練模型也會帶來巨大的成本負擔。
• 提示工程旨在透過在輸入中提供更多描述性和說明性特徵作為提示，幫助 LLM 得出高品質的結果。為模型提供額外的脈絡並使其立足於事實，這樣就能降低模型產生幻覺的可能性。
• 檢索增強生成（RAG）是一種專注於以最準確、最新的資訊為LLM提供基礎的框架。透過即時向模型提供來自外部知識庫的事實，可以改善 LLM 的回應。

檢索增強生成和即時資料

# 檢索增強生成是提高大型語言模型準確性的最有前途的技術之一。事實證明，RAG 與即時數據結合可大大減輕幻覺。

RAG透過利用最新的專有數據和上下文數據，使企業能夠利用LLM。此外，RAG也能夠利用特定情境資訊豐富輸入內容，進而幫助語言模型產生更準確、與情境更相關的回應。在企業環境中，微調往往是不切實際的，但RAG提供了一種低成本、高收益的替代方案，可用於提供個人化、資訊靈通的使用者體驗

為了提高 RAG 模型的效率，有必要將RAG 與可操作的數據存儲結合起來，該數據存儲能夠以LLMs 的母語存儲數據，即被稱為嵌入的高維數學向量，用於編碼文本的含義。當使用者提出查詢時，資料庫會將其轉換為數字向量。這樣，無論是否包含相同的術語，都可以透過向量資料庫查詢相關文字。

高可用性、高效能、能夠使用語意搜尋儲存和查詢大量非結構化資料的資料庫是 RAG 流程的關鍵組成部分。

以上是用搜尋增強生成技術解決人工智慧幻覺問題的詳細內容。更多資訊請關注PHP中文網其他相關文章！