DeepSeek 오픈 소스 주간 5 일차 : 'Power Thruster'Fire-Flyer 파일 시스템

DeepSeek 오픈 소스 프로젝트는 또 다른 무기를 추가합니다! 오늘날 DeepSeek 데이터 액세스를 가능하게하기 위해 새로운 병렬 파일 시스템 3FS가 릴리스되었습니다.

3FS (Fire-Flyer 파일 시스템)는 최신 SSD 및 RDMA 네트워크의 높은 대역폭을 최대한 활용하여 180- 노드 클러스터에서 최대 6.6 TIB/S의 집계 읽기 처리량을 달성하고 25-Node 클러스터의 Graysort 벤치 마크 테스트에서 3.66 TIB/분의 처리량을 달성합니다. 단일 클라이언트 노드에 대한 KVCache 검색의 피크 처리량은 40 gib/s를 초과합니다.

이 시스템은 별도의 아키텍처를 채택하고, 강력한 일관성 시맨틱을 지원하며, 교육 데이터 전처리, 데이터 세트로드, 체크 포인트 저장/과부하, 임베디드 벡터 검색 및 KVCACHE 검색을 효과적으로 지원할 수 있습니다.

DeepSeek 팀은 3FS가 데이터 집약적 인 작업에 효율적이고 안정적인 스토리지 및 액세스 솔루션을 제공하여 AI 연구 개발 프로세스를 가속화한다고 말했다.

위 내용은 DeepSeek 오픈 소스 주간 5 일차 : 'Power Thruster'Fire-Flyer 파일 시스템의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!