Tencent veröffentlicht Xingmai Network 2.0: Die Trainingseffizienz großer Modelle wurde im Vergleich zur vorherigen Generation um 20 % gesteigert

Vielen Dank an Netizen Mr. Aviation für die Übermittlung des Hinweises! Laut Nachrichten vom 2. Juli veröffentlichte Tencent gestern Version 2.0 seines selbst entwickelten Xingmai-Netzwerks. Das aktualisierte Xingmai-Netzwerk unterstützt einen einzelnen Cluster von 100.000 Karten. Die Netzwerkkommunikationseffizienz ist 60 % höher als bei der vorherigen Generation und dem Training großer Modelle Die Effizienz wird um 20 % gesteigert, die Fehlerortung wird von Tagen auf Minuten reduziert. Es wurde erfahren, dass die selbst entwickelten Switches von Tencent von 25,6 T auf 51,2 T aufgerüstet wurden, wodurch die Kapazität der selbst entwickelten optischen Siliziummodule von 200 G auf 400 G aufgerüstet und die Geschwindigkeit verdoppelt wurde ; Die Kommunikationsbandbreite der gesamten Maschine beträgt 3,2T, was die höchste in der Branche ist. Der Einsatzort des von Tencent selbst entwickelten neuen Kommunikationsprotokolls TiTa2.0 wurde von Switches auf Netzwerkkarten verlagert, und der Überlastungsalgorithmus wurde von einem passiven Überlastungsalgorithmus zu einem aktiven Überlastungskontrollalgorithmus aktualisiert, wodurch die Kommunikationseffizienz des Xingmai-Netzwerks erhöht wurde um 30 % und Verbesserung der Trainingseffizienz großer Modelle um 10 %. Die neue leistungsstarke kollektive Kommunikationsbibliothek TCCL2.0 von Tencent nutzt die heterogene Parallelkommunikation NVLINK+NET, um eine parallele Datenübertragung zu erreichen. Der adaptive Algorithmus von Auto-Tune Network Expert kann Parameter wie die Paketsegmentierungsgröße und den Matching-Algorithmus basierend auf Unterschieden im Modell, im Netzwerkmaßstab, im Modellalgorithmus usw. automatisch anpassen. Die Kommunikationsleistung des Xingmai-Netzwerks wird um 30 % verbessert, was die Trainingseffizienz großer Modelle um weitere 10 % erhöht.

▲ Parallele Datenübertragung (Tencent Cloud) Die überlagerten Effekte von TiTa- und TCCL-Upgrades haben die Kommunikationseffizienz des Xingmai-Netzwerks um insgesamt 60 % und die Effizienz des großen Modelltrainings um insgesamt 20 % gesteigert.

Das obige ist der detaillierte Inhalt vonTencent veröffentlicht Xingmai Network 2.0: Die Trainingseffizienz großer Modelle wurde im Vergleich zur vorherigen Generation um 20 % gesteigert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!