Huawei bringt im Zeitalter der großen Modelle neue KI-Speicherprodukte auf den Markt

Am 14. Juli veröffentlichte Huawei ein neues KI-Speicherprodukt für das Zeitalter der großen Modelle, das optimale Speicherlösungen für das grundlegende Modelltraining, das Branchenmodelltraining sowie das Training und die Argumentation segmentierter Szenariomodelle bereitstellt und so neue KI-Momente freisetzt.

Bei der Entwicklung und Implementierung großer Modellanwendungen stehen Unternehmen vor vier großen Herausforderungen:

Erstens dauert die Datenvorbereitung lange, die Datenquellen sind verstreut und die Erfassung ist langsam. Die Vorverarbeitung von 100 TB Daten dauert zweitens große Mengen an Texten und Bildern als Trainingssätze. und die aktuelle Ladegeschwindigkeit von 100 MB/s ist gering, die Parameter großer Modelle werden häufig angepasst und die Trainingsplattform wird alle zwei Tage unterbrochen Im Durchschnitt dauert es mehr als einen Tag, bis der Checkpoint-Mechanismus das Training wieder aufnimmt, und die Wiederherstellung nach Fehlern dauert schließlich bei großen Modellen hoch weniger als 40 %.

Huawei folgt dem Entwicklungstrend der KI im Zeitalter großer Modelle und bringt den Deep-Learning-Data-Lake-Speicher OceanStor A310 und die hyperkonvergente All-in-One-Maschine FusionCube A3000 für Training/Pushing für große Modellanwendungen in verschiedenen Branchen und Szenarien auf den Markt.

Zhou Yuefeng, Präsident der Huawei Data Storage-Produktlinie

Der Deep-Learning-Data-Lake-Speicher OceanStor A310 ist auf grundlegende/industrielle Data-Lake-Szenarien mit großen Modellen ausgerichtet und realisiert ein KI-Vollprozess-Massendatenmanagement von der Datenerfassung und -vorverarbeitung bis hin zu Modelltraining und Inferenzanwendungen.

OceanStor A310 Single-Frame 5U unterstützt die branchenweit höchste Bandbreite von 400 GB/s und die höchste Leistung von 12 Millionen IOPS und kann linear auf 4096 Knoten erweitert werden, um verlustfreie Interoperabilität mit mehreren Protokollen zu erreichen. Das globale Dateisystem GFS realisiert eine überregionale intelligente Datenverflechtung und vereinfacht den Datenerfassungsprozess. Es realisiert eine datennahe Vorverarbeitung durch speichernahes Computing, reduziert die Datenbewegung und verbessert die Vorverarbeitungseffizienz um 30 %.

Die hyperkonvergente All-in-One-Maschine FusionCube A3000 ist für branchenweit große Trainings-/Inferenzszenarien und für zig Milliarden Modellanwendungen konzipiert. Sie integriert OceanStor A300-Hochleistungsspeicherknoten, Trainings-/Push-Knoten und Switching Ausrüstung, KI-Plattformsoftware sowie Verwaltung und Betrieb. Die Software bietet großen Modellpartnern eine schlüsselfertige Bereitstellungserfahrung und ermöglicht eine Lieferung aus einer Hand. Es funktioniert sofort nach dem Auspacken und kann innerhalb von 2 Stunden bereitgestellt werden. Um sich an die Bedürfnisse von Modellen unterschiedlicher Größe anzupassen, können Trainingsknoten und Speicherknoten unabhängig voneinander horizontal erweitert werden. Gleichzeitig nutzt FusionCube A3000 Hochleistungscontainer, um die GPU für mehrere Modelltrainings- und Inferenzaufgaben gemeinsam zu nutzen, wodurch die Ressourcenauslastung von 40 % auf über 70 % erhöht wird. FusionCube A3000 unterstützt zwei flexible Geschäftsmodelle, darunter die One-Stop-Lösung Ascend von Huawei und die One-Stop-Lösung eines Drittanbieters für Open-Computing-, Netzwerk- und KI-Plattformsoftware.

Zhou Yuefeng sagte, dass im Zeitalter von Big Data Daten den Grad der künstlichen Intelligenz bestimmen. Als Datenträger ist die Datenspeicherung zu einer Schlüsselinfrastruktur für große KI-Modelle geworden. Huawei Data Storage wird auch in Zukunft weiterhin Innovationen vorantreiben, vielfältige Lösungen und Produkte für das Zeitalter der großen KI-Modelle bereitstellen und mit Partnern zusammenarbeiten, um die Stärkung der KI in verschiedenen Branchen zu fördern.

Der Inhalt dieser Website (einschließlich, aber nicht beschränkt auf Texte, Bilder sowie Audio- und Videodateien) unterliegt dem Urheberrecht von Times Online. Eine Vervielfältigung, Verlinkung, Weiterveröffentlichung oder sonstige Nutzung ist ohne schriftliche Genehmigung untersagt. Jeder, der gegen die obige Erklärung verstößt, wird von dieser Website für die entsprechende rechtliche Haftung zur Verantwortung gezogen. Bitte kontaktieren Sie Herrn Ding (news@time-weekly.com), um die Erlaubnis zum Nachdruck dieser Website zu erhalten, wenn andere Medien, Websites oder Einzelpersonen sie nachdrucken möchten

Das obige ist der detaillierte Inhalt vonHuawei bringt im Zeitalter der großen Modelle neue KI-Speicherprodukte auf den Markt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!