使用DeepSeek R1蒸餾模型的AI推理的抹布系統

> DeepSeek R1：革命性的開源語言模型> 中國人工智能初創公司DeepSeek於2025年1月推出了DeepSeek R1，這是一種開創性的開源語言模型，挑戰了Openai的O1等領先模型。 它獨特的混合體（MOE）體系結構，強化學習和強調推理的混合物將其與眾不同。 擁有6710億個參數，每個請求僅巧妙地激活370億個參數，以優化計算效率。 DeepSeek R1的高級推理被蒸餾成較小，可訪問的開源模型，例如Llama和Qwen，使用主要DeepSeek R1模型生成的數據進行了微調。

。

該教程詳細信息使用DeepSeek-R1-Distill-Lalama-8B型號構建檢索增強生成（RAG）系統 - Llama 3.1 8B模型，並用DeepSeek R1生成的數據進行了微調。

密鑰學習目標：

掌握DeepSeek R1的架構，創新和強化學習技術。

了解小組相對策略優化（GRPO）在增強推理中的作用。
• > 與競爭對手相比
>使用DeepSeek R1的蒸餾駱駝和QWEN型號實現抹布系統。
• （本文是數據科學博客馬拉鬆的一部分。） 目錄的
• 表：

介紹DeepSeek R1

> DeepSeek R1的區分功能

DeepSeek R1中的增強學習 DeepSeek r1

grpo
• > DeepSeek R1的基準性能
• > DeepSeek R1蒸餾型
• >使用DeepSeek-R1-Distill-Qwen-1.5b構建抹布系統
• 結論
• 常見問題
• >介紹DeepSeek R1：
DeepSeek R1及其前身DeepSeek R1-Zero是開創性的推理模型。 DeepSeek R1-Zero僅通過大規模增強學習（RL）而沒有監督微調（SFT）進行了培訓，展示了令人印象深刻的推理能力。 但是，它遭受了可讀性和語言混合問題的困擾。 DeepSeek R1通過在RL之前納入“冷啟動”數據來解決這些限制，為推理和非爭議任務提供了強大的基礎。
• >
• > DeepSeek R1的區別特徵：
>

> DeepSeek R1的高級體系結構和效率重新定義了AI性能。

關鍵創新包括：

• MOE體系結構：與標準變壓器模型不同，DeepSeek R1的Moe體系結構僅激活其6710億參數的370億個參數，提高效率和降低成本。
• 增強型學習： rl增強了推理能力，消除了對單獨的價值函數模型的需求，簡化了微調。 成本效益：
使用較少的資源（2,000 nvidia gpus，〜560萬美元）培訓，它提供的API成本明顯較低。
• > 卓越的基準性能：
• 可伸縮性：“蒸餾”版本（1.5b至70b參數）確保跨各種硬件的可訪問性。
• 長上下文處理：支持128K令牌，有效地管理複雜的，上下文豐富的任務。
• DeepSeek R1中的> 增強學習 DeepSeek R1對RL的創新使用代表了與傳統方法的範式轉變。 它利用：

純rl：主要依賴於RL，繞過通常的監督微調。

自我進化：

通過迭代試驗和錯誤來完善性能。
• 準確性和格式獎勵：
獎勵準確的預測和結構良好的響應。
• > of-thought（cot）推理：逐步闡明其推理過程。
• 效率：優先級數據質量而不是純粹的數量。
• 組合的RL和SFT：將高質量的“冷啟動”數據與RL和SFT結合在一起。 DeepSeek r1中的
• grpo：> > GRPO（小組相對策略優化）增強了LLM推理。 它通過消除了對價值函數模型的需求而改善PPO。
• > GRPO的步驟包括：採樣輸出，獎勵評分，優勢計算（相對於集體平均值）和策略優化。

> DeepSeek R1的基準性能：> > DeepSeek R1的令人印象深刻的基準結果包括：

Math-500：

97.3％（超過Openai的O1-1217）。

SWE板檯面驗證：49.2％。

> aime 2024：

>與Openai的OpenAi-O1-1217。

• > DeepSeek R1蒸餾模型：
> 使用800,000個DeepSeek R1生成的示例的數據集將DeepSeek R1的知識蒸餾成較小的型號。 這允許將推理能力有效地傳輸到諸如駱駝和Qwen之類的模型中。
• >

  >用DeepSeek-R1-Distill-Qwen-1.5b構建抹布系統

  (This section would contain detailed code examples for setting up the RAG system using the specified model and libraries. Due to the length constraints, this part is omitted but would include steps for installing libraries, loading the PDF, creating embeddings, defining the retriever, loading the model, creating the RAG pipeline, and querying the model with example questions and outputs.)
  結論：

  DeepSeek R1表示語言模型推理的重大進步，利用純RL和創新技術來提高性能和效率。 它的蒸餾型使得可用於更廣泛的應用程序的高級推理。 >常見問題：

  （本節將包含有關DeepSeek R1的常見問題的答案，類似於原始文本。） （注意：圖像URL保持不變。）

  >

以上是使用DeepSeek R1蒸餾模型的AI推理的抹布系統的詳細內容。更多資訊請關注PHP中文網其他相關文章！