Lao Huang gibt H100 einen Schub: Nvidia bringt großes Modellbeschleunigungspaket auf den Markt, das die Inferenzgeschwindigkeit von Llama2 verdoppelt

Die Inferenzgeschwindigkeit großer Modelle hat sich in nur einem Monat verdoppelt!

NVIDIA hat kürzlich die Einführung eines speziell für H100 entwickelten „Hühnerblutpakets“ angekündigt, das den LLM-Inferenzprozess beschleunigen soll

Vielleicht müssen Sie jetzt nicht mehr auf die Auslieferung des GH200 im nächsten Jahr warten.

Die Rechenleistung der GPU hat sich schon immer auf die Leistung großer Modelle ausgewirkt. Sowohl Hardwarelieferanten als auch Benutzer hoffen auf schnellere Rechengeschwindigkeiten.

Als größter Hardwarelieferant hinter großen Modellen habe ich mich mit der Hardware befasst Beschleunigen Sie große Modelle.

Durch die Zusammenarbeit mit einer Reihe von KI-Unternehmen hat NVIDIA schließlich das große Modellinferenzoptimierungsprogramm TensorRT-LLM (vorläufig als TensorRT bezeichnet) auf den Markt gebracht.

TensorRT kann nicht nur die Inferenzgeschwindigkeit großer Modelle verdoppeln, sondern ist auch sehr bequem zu verwenden.

Sie benötigen keine fundierten Kenntnisse in C++ und CUDA, Sie können Optimierungsstrategien schnell anpassen und große Modelle schneller auf H100 ausführen.

NVIDIA-Wissenschaftler Jim Fan hat retweetet und kommentiert, dass NVIDIAs „weiterer Vorteil“ die unterstützende Software ist, die die Nutzung der GPU-Leistung maximieren kann.

NVIDIA verleiht seinen Produkten durch Software neue Vitalität, genau wie es Lao Huangs Sprichwort „Je mehr Sie kaufen, desto mehr sparen Sie“ umsetzt. Dies hält jedoch einige Leute nicht davon ab, zu denken, dass der Preis des Produkts zu hoch ist (in der Öffentlichkeit), aber wenn ich Llama 2 selbst ausführe, kann ich immer noch nur Dutzende Token pro Sekunde verarbeiten.

Für TensorRT benötigen wir weitere Tests, um festzustellen, ob es wirklich effektiv ist. Werfen wir zunächst einen genaueren Blick auf TensorRT

Verdoppeln Sie die Inferenzgeschwindigkeit großer Modelle

TensorRT-LLM-optimiertes H100. Wie schnell ist es für die Ausführung großer Modelle?

Nvidias Ankündigung liefert Daten für zwei Modelle, Llama 2 und GPT-J-6B.

Auf dem optimierten H100 beträgt die Inferenzgeschwindigkeit von Llama 2 das 4,6-fache der von A100 und das 1,77-fache der des nicht optimierten H100 im August der Vorgängerversion und das Zweifache der nicht optimierten Augustversion

.

TensorRT bietet außerdem eine modulare Open-Source-Python-API, mit der Optimierungslösungen schnell an unterschiedliche LLM-Anforderungen angepasst werden können.

Diese API integriert Deep-Learning-Compiler, Kerneloptimierung, Vor-/Nachbearbeitung und Multi-Node-Kommunikationsfunktionen .

Es gibt auch angepasste Versionen für gängige Modelle wie GPT(2/3) und Llama, die

„out of the box“

verwendet werden können. Durch den neuesten Open-Source-KI-Kernel in TensorRT können Entwickler auch das Modell selbst optimieren, einschließlich des Aufmerksamkeitsalgorithmus FlashAttention, der Transformer erheblich beschleunigt.

TensorRT ist eine leistungsstarke Inferenz-Engine zur Optimierung von Deep-Learning-Inferenzen. Es optimiert die LLM-Inferenzgeschwindigkeit durch den Einsatz von Technologien wie Mixed-Precision-Computing, dynamischer Graphoptimierung und Layer-Fusion. Insbesondere verbessert TensorRT die Inferenzgeschwindigkeit, indem es den Rechenaufwand und den Bedarf an Speicherbandbreite reduziert, indem Gleitkommaberechnungen in Gleitkommaberechnungen mit halber Genauigkeit umgewandelt werden. Darüber hinaus nutzt TensorRT auch die Technologie zur dynamischen Graphenoptimierung, um dynamisch die optimale Netzwerkstruktur basierend auf den Eigenschaften der Eingabedaten auszuwählen und so die Inferenzgeschwindigkeit weiter zu verbessern. Darüber hinaus nutzt TensorRT auch die Layer-Fusion-Technologie, um mehrere Rechenschichten zu einer effizienteren Rechenschicht zusammenzuführen, wodurch der Rechen- und Speicherzugriffsaufwand reduziert und die Inferenzgeschwindigkeit weiter verbessert wird. Kurz gesagt, TensorRT hat die Geschwindigkeit und Effizienz der LLM-Inferenz durch eine Vielzahl von Optimierungstechnologien erheblich verbessert. Zunächst einmal profitiert es von TensorRT, indem es die kollaborative Arbeitsmethode mit mehreren Knoten optimiert.

Ein riesiges Modell wie Llama kann nicht auf einer einzelnen Karte ausgeführt werden. Es sind mehrere GPUs erforderlich, um zusammen zu laufen.

In der Vergangenheit erforderte diese Arbeit, dass Menschen das Modell manuell zerlegen mussten, um dies zu erreichen.

Mit TensorRT kann das System das Modell automatisch aufteilen und über NVLink effizient auf mehreren GPUs ausführen

Zweitens nutzt TensorRT auch eine optimierte Planung namens „Dynamic Batch Processing“-Technologie. Während des Inferenzprozesses funktioniert LLM tatsächlich, indem es Modelliterationen mehrmals ausführt.

Die dynamische Stapelverarbeitungstechnologie wirft abgeschlossene Sequenzen sofort aus, anstatt auf den Abschluss des gesamten Aufgabenstapels zu warten, bevor der nächste Satz von Anforderungen verarbeitet wird.

In tatsächlichen Tests konnte die dynamische Batch-Technologie den GPU-Anforderungsdurchsatz von LLM erfolgreich um die Hälfte reduzieren und dadurch die Betriebskosten deutlich senken.

Ein weiterer wichtiger Punkt ist die

Konvertierung von Gleitkommazahlen mit 16-Bit-Präzision in 8-Bit-Genauigkeit

, wodurch der Speicherverbrauch reduziert wird. Im Vergleich zu FP16 in der Trainingsphase hat FP8 einen geringeren Ressourcenverbrauch und ist genauer als INT-8. Es kann die Leistung verbessern, ohne die Genauigkeit des Modells zu beeinträchtigen.

Mit der Hopper Transformer-Engine führt das System FP16 automatisch durch zur FP8-Konvertierungskompilierung, ohne den Code im Modell manuell zu ändern

Derzeit steht die Early-Bird-Version von TensorRT-LLM zum Download zur Verfügung, und die offizielle Version wird in ein paar Wochen veröffentlicht und in das NeMo-Framework integriert

One More Ding

Immer wenn ein großes Ereignis stattfindet, ist die Figur „Leewenhoek“ unverzichtbar.

In der Ankündigung von Nvidia wurde die Zusammenarbeit mit führenden Unternehmen für künstliche Intelligenz wie Meta erwähnt, OpenAI jedoch nicht erwähnt

Aus dieser Ankündigung heraus entdeckten einige Internetnutzer diesen Punkt und veröffentlichten ihn im OpenAI-Forum:

Bitte lassen Sie mich sehen, wer wurde nicht von Lao Huang (manueller Hundekopf) angeregt

Welche Art von „Überraschung“ wird uns Lao Huang Ihrer Meinung nach bringen?

Das obige ist der detaillierte Inhalt vonLao Huang gibt H100 einen Schub: Nvidia bringt großes Modellbeschleunigungspaket auf den Markt, das die Inferenzgeschwindigkeit von Llama2 verdoppelt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!