Deepseek veröffentlicht 3FS & Smallpond Framework

Deepseek hat die Open-Source-Funktionen am 28. Februar 2025 erheblich erhöht und das Fire-Flyer-Dateisystem (3FS) und das Smallpond-Datenverarbeitungsframework enthüllt. Diese Tools sind so konzipiert, dass der Datenzugriff und die Verarbeitung von Daten revolutioniert werden, insbesondere für KI -Schulungen und -inferenz.

? Tag 5 von #OpenSourceWeek: 3FS, eine leistungsstarke Engine für alle Deepseek -Datenzugriff.

Fire-Flyer-Dateisystem (3FS)-Ein paralleles Dateisystem, das die Bandbreite moderner SSDs und RDMA-Netzwerke maximiert.

⚡ 6.6 TIB/S Aggregat Lesedurchsatz (180-Knoten-Cluster) ⚡ 3.66 TIB/min…

- Deepseek (@deepseek_ai) 28. Februar 2025

Inhaltsverzeichnis

• Fire-Flyer-Dateisystem (3FS)
• Smallpond Framework
• Schneller Start: 3FS und Smallpond
• Fehlerbehebung und Überwachung
• Zusammenfassung

Fire-Flyer-Dateisystem (3FS)

3FS ist ein hochleistungsfähiges, verteiltes Dateisystem für moderne SSDs und RDMA-Netzwerke. Es bietet eine robuste gemeinsame Speicherlösung, die die Entwicklung der verteilten Anwendungen vereinfacht.

RDMA verstehen

Remote Direct Memory Access (RDMA) umgeht die Einschränkungen des Betriebssystems und aktiviert die direkte Datenübertragung zwischen dem Speicher von zwei Computern. Dies führt zu einer schnelleren und effizienteren Kommunikation.

Key 3FS -Funktionen

• unerreichte Leistung und Benutzerfreundlichkeit:
  • 6.6 TIB/s Aggregat-Lesedurchsatz (180-Knoten-Cluster).
  • 3.66 TIB/min-Durchsatz am Graysort-Benchmark (25-Knoten-Cluster).
  • 40 GIB/S Peak -Durchsatz pro Client -Knoten für KVCACHE -SOKUPS.
• disaggregierte Architektur:
  • kombiniert den Durchsatz von Tausenden von SSDs mit der Netzwerkbandbreite von Hunderten von Speicherknoten.
  • bietet okalitätsbezogenen Speicherzugriff für Anwendungen.
• robuste Konsistenz:
  • verwendet die Kettenreplikation mit aufgeteilten Abfragen (CRAQ) für eine starke Konsistenz und vereinfachte die Anwendungscodierung.
• Standarddateischnittstellen:
  • Verwendet auf die staatenlose Metadatendienste basierend auf einem transaktionalen Schlüsselwert (z. B. FoundationDB).
  • verwaltet eine vertraute Dateischnittstelle und beseitigt die Notwendigkeit eines neuen API -Lernens.

unterstützte Workloads

• Datenvorbereitung: verwaltet effizient große Volumina von Zwischenausgaben aus Datenanalyse -Pipelines.
• Dataloader: Ermöglicht den zufälligen Zugriff auf Trainingsmuster über Rechenknoten, wodurch das Vorabbau oder ein Datensatzverschmutzung eliminiert wird.
• prüfen: unterstützt hochdurchsatz parallele CheckPointing für groß angelegte Schulungen.
• KVCache für Inferenz: bietet eine kostengünstige Alternative mit hohem Durchsatz zu Dram-basiertem Caching mit einer signifikant erhöhten Kapazität.

Performance Benchmarks

Umfangreiche Tests bestätigen die 3FS -Leistung. Ein Lesespannungstest auf einem großen Cluster erreichte 6,6 TIB/S -Gesamtwertdurchsatz, selbst mit gleichzeitiger Schulungsaufgabeverkehr.

Smallpond Framework

Smallpond, das zum Ergänzung von 3Fs entwickelt wurde, ist ein leichtes, verteiltes Datenverarbeitungsrahmen. Es verwendet Duckdb als Compute Engine und speichert Daten im Parquetformat in einem verteilten Dateisystem (wie 3Fs).

Key Smallpond -Funktionen

• hohe Leistung: duckdb bietet eine Leistung auf nationaler Ebene für die effiziente Datenverarbeitung.
• Skalierbarkeit: Verarbeitet Petabyte-Skala-Daten ohne Speicher Engpässe dank der Hochleistungsverteilungsdateisysteme.
• Einfachheit: Einfache Einsatz und Wartung aufgrund des Fehlens langjähriger Dienste oder komplexer Abhängigkeiten.
• Effiziente Datenverarbeitung: Ein zweiphasiger Ansatz zur Sortierung großer Datensätze verbessert die Leistung und Effizienz (z. B. sortiert 110,5 TIB über 8.192 Partitionen in weniger als 30 Minuten).
).
• ). ).

nahtlose 3FS -Integration:

Nutzt 3FS hoher Durchsatz und starke Konsistenz.

Schneller Start: 3FS und Smallpond

3FS -Installation klonen Sie das Repository und installieren Sie Abhängigkeiten:

1. git clone https://github.com/deepseek-ai/3fs
2. cd 3fs
3. git submodule update --init --recursive
4. ./patches/apply.sh

Wenden Sie sich an die 3FS -Dokumentation, um weitere Details zu erhalten.

Smallpond Schnellstart

• Stellen Sie sicher, dass Python 3.8 installiert ist.

• Smallpond installieren: pip install smallpond

• initialisieren import smallpond; sp = smallpond.init()

Parkettdaten laden:

• df = sp.read_parquet("path/to/dataset/*.parquet")

Repartitionsdaten (Beispiele):

• • df = df.repartition(3)
  • df = df.repartition(3, by_row=True)
  • df = df.repartition(3, hash_by="host")
Daten (Beispiele):

• • df = df.map('a b as c')
  • df = df.map(lambda row: {'c': row['a'] row['b']})
Daten speichern:

• df.write_parquet("path/to/output/dataset.parquet")

Führen Sie einen Kleinpond -Job aus:

• sp.run(df)

Fehlerbehebung und Überwachung

Smallpond bietet Überwachungs- und Debugging -Tools. Die Protokollanalyse hilft bei der Lösung von Ausführungsproblemen. Umfassende Dokumentation, Tutorials und Anwendungsfälle sind über die offiziellen Support -Kanäle verfügbar.

Zusammenfassung

Die Open-Source-Veröffentlichung von 3Fs und Smallpond stellt einen signifikanten Fortschritt bei der Datenverarbeitung dar. Ihre hohe Leistung, Benutzerfreundlichkeit und Konsistenz stärken Entwickler und Forscher. Diese Tools bieten eine leistungsstarke Infrastruktur für moderne, datenintensive Anwendungen.

Das obige ist der detaillierte Inhalt vonDeepseek veröffentlicht 3FS & Smallpond Framework. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!