DeepSeek開源項目再添利器!今日發布全新並行文件系統3FS,賦能DeepSeek數據訪問。
3FS(Fire-Flyer文件系統)充分利用現代SSD和RDMA網絡的高帶寬,在180節點集群中實現高達6.6 TiB/s的聚合讀取吞吐量,在25節點集群的GraySort基準測試中達到3.66 TiB/min的吞吐量。單客戶端節點的KVCache查找峰值吞吐量更是超過40 GiB/s。
該系統採用分離式架構,支持強一致性語義,並能有效支持V3/R1中的訓練數據預處理、數據集加載、檢查點保存/重載、嵌入向量搜索以及推理中的KVCache查找。
DeepSeek團隊表示,3FS旨在為其數據密集型任務提供高效、可靠的存儲和訪問方案,從而加速AI研究和開發進程。
以上是DeepSeek開源週第五天:'動力推進器”Fire-Flyer文件系統的詳細內容。更多資訊請關注PHP中文網其他相關文章!