kimi k1.5：一種生成的AI推理模型，重塑了景觀
最近的增強學習（RL）和大語言模型（LLM）的突破已經達到了創建Kimi K1.5的最終突破，這是一種準備徹底改變生成AI推理的模型。 本文深入研究了Kimi K1.5的主要特徵，創新和潛在影響，從隨附的研究中獲得見解。
目錄的
表：
什麼是kimi k1.5？
- kimi k1.5培訓
- kimi k1.5基準
- kimi k1.5的關鍵創新
- kimi k1.5 vs. deepseek r1
- >通過API
訪問Kimi K1.5
- 結論
-
什麼是kimi k1.5？
kimi k1.5代表了用LLM縮放RL的實質性飛躍。與依靠複雜方法（例如蒙特卡洛樹搜索）等傳統模型不同，它採用了以自動回歸預測和RL技術為中心的簡化方法。 它的設計使其能夠處理多模式任務，在Math Vista和Live Code -Bench等基準中展示出色的性能。 >
Kimi K1.5的培訓是一個多階段的過程，旨在通過RL和多模式集成來增強推理：
預處理：
該模型是在龐大的高質量多模式數據集中鑑定的，包括文本（英語，中文，代碼，數學，數學，通用知識）和視覺數據，並嚴格過濾有關相關性和多樣性。
- 有監督的微調（SFT）：
這涉及兩個階段：Vanilla SFT在各種任務中使用約100萬個示例，以及長期鏈（COT）SFT來培訓複雜的推理。
增強學習（RL）：經過精心策劃的提示集驅動RL培訓。 該模型學會通過一系列推理步驟生成解決方案，並在評估響應準確性的獎勵模型的指導下。 在線鏡下降優化了策略。 -
局部推廣： >有效處理長上下文，kimi k1.5使用部分推出，保存未完成的部分以供以後繼續。
-
長度懲罰和抽樣：
長度懲罰鼓勵簡潔的答案，而課程和優先採樣策略將重點放在更輕鬆的任務上。
-
>>評估與迭代：
針對基準測試的連續評估指導迭代模型更新。
-
kimi k1.5系統概述和部分推出圖：
kimi k1.5展示了各種任務的最先進的表現：
- 數學：在AIME 2024上獲得了77.5的完美分數，超過Openai O1（74.4）和Openai O1 Mini（63.6）。 在Math-500上得分96.2。
- 編碼：>在CodeForces上達到94分，匹配OpenAi O1並超過O1-Mini和QWQ 72B Preview。
視覺推理：- 在MathVista_test上得分74.9，超過QVQ 72B（71.4）和Openai O1-Mini（71）。
經常知識：- 在mmlu（em）上得分為87.4，表現優於OpenAi 4o（87.2）。
推理策略圖：
kimi k1.5關鍵創新
>
>
長上下文縮放：處理多達128,000個令牌，通過部分推出來提高效率。 -
思維推理鏈：
結合了適應性的長長和簡短的COT策略。
-
>加固學習管道：一條精緻的RL管道，帶有精心策劃的提示，監督微調和策略優化。
> - 多模式數據處理：有效地處理文本和視覺數據。
- kimi k1.5 vs. deepseek r1
>
Kimi K1.5和DeepSeek R1代表LLM開發的不同方法。 Kimi K1.5的簡化架構，集成的RL和長篇小說處理將其與DeepSeek R1更傳統的方法區分開。 差異會影響其在復雜的，上下文重重的任務上的表現。
>通過API
訪問Kimi K1.5
API訪問需要註冊Kimi的管理控制台。 一個示例Python代碼段演示了API交互：>
結論
Kimi K1.5代表生成AI推理的顯著進步，在實現最新結果的同時簡化了RL設計。 它在上下文縮放和多模式數據處理位置上的創新是一個領先的模型，具有各個行業的廣泛含義。
以上是在DeepSeek之後，Kimi K1.5擊敗Openai O1的詳細內容。更多資訊請關注PHP中文網其他相關文章！
