DeepSeek於2025年2月28日顯著增強了開源功能，揭示了Fire-Flyer文件系統（3FS）和Smplearpond數據處理框架。 這些工具旨在徹底改變數據訪問和處理，特別是用於AI培訓和推斷。
？ #opensourceweek的第5天：3FS，所有DeepSeek數據訪問的強大引擎
> fire-flyer文件系統（3FS） - 一個並行文件系統，最大化現代SSD和RDMA網絡的帶寬。
6.6 tib/s骨料讀取吞吐量（180節點群集）
⚡3.66TIB/min…
- DeepSeek（@Deepseek_ai）2025年2月28日
目錄的
>
> fire-flyer文件系統（3FS）
Shmperpond Framework
- 快速啟動：3FS和Smermpond
- >故障排除和監視
- 摘要
-
> fire-flyer文件系統（3FS）-
3FS是為現代SSD和RDMA網絡構建的高性能，分佈式文件系統。 它提供了強大的共享存儲解決方案，簡化了分佈式應用程序開發。
理解RDMA
遠程直接內存訪問（RDMA）繞過操作系統限制，從而在兩台計算機的內存之間啟用直接數據傳輸。這會導致更快，更有效的溝通。
鍵3FS功能
-
>無與倫比的性能和易用性：>
6.6 tib/s骨料讀取吞吐量（180節點群集）。
- 3.66 tib/min吞吐量在Graysort基準（25節點群集）上。
- > 40 GIB/S峰值吞吐量每個客戶端節點for Kvcache查找。
-
>分解架構：-
將數千個SSD的吞吐量與數百個存儲節點的網絡帶寬結合在一起。
>為應用程序提供了局部性的存儲訪問。 >
-
-
魯棒一致性：
- >使用分配查詢（CRAQ）採用鏈複製，以實現強大的一致性，簡化了應用程序編碼。
- >使用基於交易鍵值商店的無狀態元數據服務（例如FoundationDB）。
維護熟悉的文件接口，消除了對新API學習的需求。
數據製備：
有效地管理數據分析管道中的大量中間輸出。
>> dataLoader：- >啟用跨計算節點訓練樣本的隨機訪問，消除預摘要或數據集隨機改組。
>檢查點：- 支持大規模訓練的高通量平行檢查點。
推理的
kvcache：- 提供了具有成本效益的高通量替代基於DRAM的基於DRAM的替代品，其容量顯著增加。
>性能基準
- 廣泛的測試驗證了3FS性能。 大型集群的讀取壓力測試即使在同時進行培訓工作流量。
Shmperpond Framework
天文，旨在補充3FS，是一個輕巧的分佈式數據處理框架。它使用DuckDB作為計算引擎，並在分佈式文件系統（例如3FS）上以鑲木格式存儲數據。 。
鑰匙太理龐德特徵
高性能： duckdb提供了用於有效數據處理的本地級別性能。 >
可伸縮性：
通過高性能分佈式文件系統處理PETABYTE尺度數據，而無需內存。
簡單：由於缺乏長期服務或複雜的依賴性而易於部署和維護。 >>>>>>
有效的數據處理：分類大數據集的兩相方法可提高性能和效率（例如，在30分鐘內的8,192個分區中排序110.5 TIB）。
-
無縫3FS集成：利用3FS的高吞吐量和強大的一致性。
- 快速啟動：3FS和Smermpond
3fs安裝
- 克隆存儲庫並安裝依賴項：
-
git clone https://github.com/deepseek-ai/3fs
-
cd 3fs
-
git submodule update --init --recursive
-
./patches/apply.sh
請諮詢3FS文檔以獲取更多詳細信息。
天短快速啟動
-
確保安裝Python 3.8。
- >安裝Skermpond：
pip install smallpond
- 初始化天簡會：
import smallpond; sp = smallpond.init()
- >加載鑲木木：
df = sp.read_parquet("path/to/dataset/*.parquet")>
- 重新分配數據（示例）：
-
df = df.repartition(3)
-
df = df.repartition(3, by_row=True)
-
df = df.repartition(3, hash_by="host")
- 變換數據（示例）：
-
df = df.map('a b as c')
-
df = df.map(lambda row: {'c': row['a'] row['b']})
- 保存數據：
df.write_parquet("path/to/output/dataset.parquet")
- 跑步的工作：
sp.run(df)
>故障排除和監視
Smallpond提供監視和調試工具。日誌分析有助於解決執行問題。 可以通過官方支持渠道獲得全面的文檔，教程和用例。
摘要
> 3FS和Smermpond的開源釋放代表了數據處理的重大進步。他們的高性能，易用性以及一致性增強了開發人員和研究人員的能力。 這些工具為現代，數據密集型應用程序提供了強大的基礎架構。
以上是DeepSeek釋放3FS和Shmperpond框架的詳細內容。更多資訊請關注PHP中文網其他相關文章！
