大模型的推理速度，短短一個月就提高了一倍！
近日，英偉達宣布推出了一款專為H100設計的“雞血包”，旨在加速LLM推理過程
或許這下可以不用空等明年才能交付的GH200了
。
GPU的運算能力一直在影響著大型模型的效能，無論是硬體供應商或使用者，都希望能夠獲得更快的運算速度
而作為大模型背後硬體的最大供應商，英偉達一直在研究怎麼給大模型硬體加速。
透過與多家AI公司合作，英偉達終於推出了大模型推理優化程式TensorRT-LLM(暫且簡稱TensorRT)。
TensorRT不僅能讓大模型的推理速度翻倍，使用起來也很方便。
無須深入了解C 和CUDA，也能快速客製化最佳化策略，在H100上更快跑大模型。
英偉達科學家範麟熙(Jim Fan)轉發並評論稱，英偉達的「另一項優勢」就是可以最大化利用GPU性能的配套軟體。
英偉達透過軟體為產品注入了新的活力，就像實踐了老黃的那句「買得越多，省得越多」。然而，這並不妨礙一些人覺得產品價格太高
除了價格，也有網友對其運行效果提出了質疑：
我們總是看到(宣傳中的)多少倍的效能提升，但自己運行Llama 2的時候每秒還是只能處理幾十個token。
對於TensorRT來說，我們需要進一步進行檢驗，以決定它是否真的有效。讓我們先來詳細了解TensorRT
TensorRT-LLM優化後的H100，對於運行大型模型來說速度有多快呢？
英偉達的通告中給出了Llama 2和GPT-J-6B兩種模型的資料。
在經過優化後的H100上，跑Llama 2的推理速度是A100的4.6倍，也是八月份未經優化的H100的1.77倍
#而GPT-J-6B的推理速度是A100上的8倍、八月未優化版的2倍。
TensorRT也提供了一個開源的模組化Python API，可以根據不同的LLM需求快速自訂最佳化方案
這個API將深度學習編譯器、核心最佳化、預/後處理和多節點通訊功能整合到了一起。
其中針對GPT(2/3)、Llama等常見模型，還有已經客製化好的版本，可以「開箱即用」。
透過TensorRT中最新的開源AI內核，開發者還可以對模型自身進行最佳化，其中就包含了讓Transformer大幅提速的注意力演算法FlashAttention。
TensorRT是一個用於優化深度學習推理的高效能推理引擎。它透過使用混合精度計算、動態圖優化和層融合等技術，對LLM推理速度進行了最佳化。具體而言，TensorRT透過將浮點運算轉換為半精度浮點運算，減少了運算量和記憶體頻寬的需求，從而提高了推理速度。此外，TensorRT還使用了動態圖優化技術，根據輸入資料的特徵動態地選擇最優的網路結構，進一步提高了推理速度。另外，TensorRT也透過層融合技術將多個運算層合併為一個更有效率的運算層，減少了運算和記憶體存取的開銷，進一步提高了推理速度。總之，TensorRT透過多種最佳化技術，顯著提升了LLM推理的速度和效率
首先要得益於TensorRT對多節點協同工作方式進行了最佳化。
像Llama這樣龐大的模型，在單卡上是跑不起來的，需要多塊GPU一起跑才能帶動。
过去，这一工作需要人们手工把模型拆开来实现。
有了TensorRT，系统能够自动地对模型进行拆分，并且通过NVLink在多个GPU之间高效运行
其次，TensorRT还利用了一种名为动态批处理的优化调度技术。
在推理过程中，LLM实际上是通过多次执行模型迭代来进行的
动态批处理技术会将已完成的序列立即踢出，而不是等待整批任务完成后再处理下一组请求。
在实际测试中，动态批处理技术成功地将LLM的GPU请求吞吐量减少了一半，从而显著降低了运行成本
另一个关键点则是将16位精度浮点数转换为8位精度，从而降低内存消耗。
FP8相对于训练阶段的FP16来说，资源消耗更低，同时精确度又高于INT-8，既能提高性能，又不影响模型的准确性
使用Hopper Transformer引擎，系统会自动完成FP16到FP8的转换编译，无需手动修改模型中的任何代码
目前，TensorRT-LLM的早鸟版已经可以下载，正式版将在几周内推出并集成到NeMo框架中
每当大事件出现，总少不了“列文虎克”的身影。
在英伟达的公告中提到了与Meta等人工智能领军企业合作，但没有提及OpenAI
从这则通告中，就有网友发现了这个华点，并发到了OpenAI论坛上：
请让我看看是谁没有被老黄cue到（手动狗头）
你还期待老黄会给我们带来怎样的“惊喜”呢？
以上是老黃給H100「打雞血」：英偉達推出大模型加速包，Llama2推理速度翻倍的詳細內容。更多資訊請關注PHP中文網其他相關文章！
