為什麼在長篇小說模型的時代仍然有意義

>讓我們探索在越來越強大的大型語言模型（LLMS）的背景下，檢索增強生成（RAG）的演變。 我們將研究LLM中的進步如何影響抹布的必要性。 > rag

的簡短歷史 抹布不是一個新概念。 向LLM提供上下文以訪問當前數據的想法源於2020 Facebook AI/META紙，即“檢索知識密集型NLP任務的檢索生成” - 預示Chatgpt於2022年11月的首次亮相。 本文突出顯示了LLMS的兩種內存類型：

參數內存：

LLM固有的知識，在其在龐大的文本數據集上培訓期間獲得的知識。

>
• 非參數存儲器：在提示中提供的外部上下文。
• >原始紙張利用文本嵌入用於語義搜索來檢索相關文檔，儘管這不是抹布中文檔檢索的唯一方法。 他們的研究表明，與單獨使用LLM相比，RAG產生了更精確和事實的反應。
> chatgpt影響

Chatgpt的2022年11月發布的發布可能會出現LLM的查詢答案的潛力，但也突出了限制：

有限的知識： llms無法訪問其培訓數據以外的信息。

>幻覺：> llms僅依賴培訓數據和提示輸入。 在此範圍之外的查詢通常會導致捏造的響應。
• 抹布的上升和完善
>雖然抹布預先較早的chatgpt，但其廣泛採用在2023年就大大增加了。核心概念很簡單：而不是直接查詢llm，而是在提示中提供相關的

上下文

，並指示LLM回答基於該上下文中的

。

>

該提示是LLM的答案生成的起點。 這種方法大大降低了幻覺，啟用了對最新數據的訪問，並促進了特定於業務的數據的使用。

rag的早期限制

>以有限上下文窗口大小為中心的初始挑戰。 Chatgpt-3.5的4K令牌限制（大約3000個英語單詞）限制了上下文和答案長度的數量。 需要保持平衡，以避免過度漫長的上下文（限制答案的長度）或不足的上下文（有遺漏關鍵信息的風險）。

>上下文窗口的作用就像有限的黑板；更多的說明空間留下了更少的答案。

>

當前景觀

從那時起，已經發生了重大變化，主要是關於上下文窗口大小的。 諸如GPT-4O（2024年5月發行）之類的型號具有128K令牌上下文窗口，而Google的Gemini 1.5（自2024年2月以來可用）提供了一個巨大的100萬個令牌窗口。

>

rag的轉移作用

上下文窗口大小的這種增加引發了爭論。有人認為，有能力將整本書包括在提示中，因此對精心選擇的上下文的需求減少了。 一項研究（2024年7月）甚至建議在某些情況下長期提示可能要優於抹布。

>

>檢索增強發電或長篇小寫LLM？全面的研究和混合方法

但是，一項最新的研究（2024年9月）對此進行了反對，強調了抹布的重要性，並表明先前的限制源於提示中的上下文要素的順序。

在長篇小說語言模型的時代，

>另一項相關研究（2023年7月）強調了信息在長提示中的位置影響。

在中間丟失：語言模型如何使用長上下文

>

在提示開始時的

>>>信息比中間的信息更容易使用。 rag

的未來 儘管上下文窗口大小的進步，但抹布仍然至關重要，這主要是由於成本考慮。 更長的提示需要更多的處理能力。 抹布，通過將及時尺寸限制為基本信息，大大降低了計算成本。 破布的未來可能涉及從大型數據集中過濾無關的信息，以優化成本和回答質量。 使用針對特定任務量身定制的較小專業模型也可能發揮重要作用。

以上是為什麼在長篇小說模型的時代仍然有意義的詳細內容。更多資訊請關注PHP中文網其他相關文章！