老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍
大模型的推理速度,短短一個月就提高了一倍!
近日,英偉達宣布推出了一款專為H100設計的“雞血包”,旨在加速LLM推理過程
或許這下可以不用空等明年才能交付的GH200了。
GPU的運算能力一直在影響著大型模型的效能,無論是硬體供應商或使用者,都希望能夠獲得更快的運算速度
而作為大模型背後硬體的最大供應商,英偉達一直在研究怎麼給大模型硬體加速。
透過與多家AI公司合作,英偉達終於推出了大模型推理優化程式TensorRT-LLM(暫且簡稱TensorRT)。
TensorRT不僅能讓大模型的推理速度翻倍,使用起來也很方便。
無須深入了解C 和CUDA,也能快速客製化最佳化策略,在H100上更快跑大模型。
英偉達科學家範麟熙(Jim Fan)轉發並評論稱,英偉達的「另一項優勢」就是可以最大化利用GPU性能的配套軟體。
英偉達透過軟體為產品注入了新的活力,就像實踐了老黃的那句「買得越多,省得越多」。然而,這並不妨礙一些人覺得產品價格太高
除了價格,也有網友對其運行效果提出了質疑:
我們總是看到(宣傳中的)多少倍的效能提升,但自己運行Llama 2的時候每秒還是只能處理幾十個token。
對於TensorRT來說,我們需要進一步進行檢驗,以決定它是否真的有效。讓我們先來詳細了解TensorRT
大模型推理速度翻倍
TensorRT-LLM優化後的H100,對於運行大型模型來說速度有多快呢?
英偉達的通告中給出了Llama 2和GPT-J-6B兩種模型的資料。
在經過優化後的H100上,跑Llama 2的推理速度是A100的4.6倍,也是八月份未經優化的H100的1.77倍
#而GPT-J-6B的推理速度是A100上的8倍、八月未優化版的2倍。
TensorRT也提供了一個開源的模組化Python API,可以根據不同的LLM需求快速自訂最佳化方案
這個API將深度學習編譯器、核心最佳化、預/後處理和多節點通訊功能整合到了一起。
其中針對GPT(2/3)、Llama等常見模型,還有已經客製化好的版本,可以「開箱即用」。
透過TensorRT中最新的開源AI內核,開發者還可以對模型自身進行最佳化,其中就包含了讓Transformer大幅提速的注意力演算法FlashAttention。
TensorRT是一個用於優化深度學習推理的高效能推理引擎。它透過使用混合精度計算、動態圖優化和層融合等技術,對LLM推理速度進行了最佳化。具體而言,TensorRT透過將浮點運算轉換為半精度浮點運算,減少了運算量和記憶體頻寬的需求,從而提高了推理速度。此外,TensorRT還使用了動態圖優化技術,根據輸入資料的特徵動態地選擇最優的網路結構,進一步提高了推理速度。另外,TensorRT也透過層融合技術將多個運算層合併為一個更有效率的運算層,減少了運算和記憶體存取的開銷,進一步提高了推理速度。總之,TensorRT透過多種最佳化技術,顯著提升了LLM推理的速度和效率
首先要得益於TensorRT對多節點協同工作方式進行了最佳化。
像Llama這樣龐大的模型,在單卡上是跑不起來的,需要多塊GPU一起跑才能帶動。
过去,这一工作需要人们手工把模型拆开来实现。
有了TensorRT,系统能够自动地对模型进行拆分,并且通过NVLink在多个GPU之间高效运行
其次,TensorRT还利用了一种名为动态批处理的优化调度技术。
在推理过程中,LLM实际上是通过多次执行模型迭代来进行的
动态批处理技术会将已完成的序列立即踢出,而不是等待整批任务完成后再处理下一组请求。
在实际测试中,动态批处理技术成功地将LLM的GPU请求吞吐量减少了一半,从而显著降低了运行成本
另一个关键点则是将16位精度浮点数转换为8位精度,从而降低内存消耗。
FP8相对于训练阶段的FP16来说,资源消耗更低,同时精确度又高于INT-8,既能提高性能,又不影响模型的准确性
使用Hopper Transformer引擎,系统会自动完成FP16到FP8的转换编译,无需手动修改模型中的任何代码
目前,TensorRT-LLM的早鸟版已经可以下载,正式版将在几周内推出并集成到NeMo框架中
One More Thing
每当大事件出现,总少不了“列文虎克”的身影。
在英伟达的公告中提到了与Meta等人工智能领军企业合作,但没有提及OpenAI
从这则通告中,就有网友发现了这个华点,并发到了OpenAI论坛上:
请让我看看是谁没有被老黄cue到(手动狗头)
你还期待老黄会给我们带来怎样的“惊喜”呢?
以上是老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

MeMebox 2.0通過創新架構和性能突破重新定義了加密資產管理。 1) 它解決了資產孤島、收益衰減和安全與便利悖論三大痛點。 2) 通過智能資產樞紐、動態風險管理和收益增強引擎,提升了跨鏈轉賬速度、平均收益率和安全事件響應速度。 3) 為用戶提供資產可視化、策略自動化和治理一體化,實現了用戶價值重構。 4) 通過生態協同和合規化創新,增強了平台的整體效能。 5) 未來將推出智能合約保險池、預測市場集成和AI驅動資產配置,繼續引領行業發展。

全球十大加密貨幣交易平台包括Binance、OKX、Gate.io、Coinbase、Kraken、Huobi Global、Bitfinex、Bittrex、KuCoin和Poloniex,均提供多種交易方式和強大的安全措施。

Binance、OKX、gate.io等十大數字貨幣交易所完善系統、高效多元化交易和嚴密安全措施嚴重推崇。

比特幣的價格在20,000到30,000美元之間。 1. 比特幣自2009年以來價格波動劇烈,2017年達到近20,000美元,2021年達到近60,000美元。 2. 價格受市場需求、供應量、宏觀經濟環境等因素影響。 3. 通過交易所、移動應用和網站可獲取實時價格。 4. 比特幣價格波動性大,受市場情緒和外部因素驅動。 5. 與傳統金融市場有一定關係,受全球股市、美元強弱等影響。 6. 長期趨勢看漲,但需謹慎評估風險。

使用C 中的chrono庫可以讓你更加精確地控制時間和時間間隔,讓我們來探討一下這個庫的魅力所在吧。 C 的chrono庫是標準庫的一部分,它提供了一種現代化的方式來處理時間和時間間隔。對於那些曾經飽受time.h和ctime折磨的程序員來說,chrono無疑是一個福音。它不僅提高了代碼的可讀性和可維護性,還提供了更高的精度和靈活性。讓我們從基礎開始,chrono庫主要包括以下幾個關鍵組件:std::chrono::system_clock:表示系統時鐘,用於獲取當前時間。 std::chron

靠谱的数字货币交易平台推荐:1. OKX,2. Binance,3. Coinbase,4. Kraken,5. Huobi,6. KuCoin,7. Bitfinex,8. Gemini,9. Bitstamp,10. Poloniex,这些平台均以其安全性、用户体验和多样化的功能著称,适合不同层次的用户进行数字货币交易

2025年全球十大加密貨幣交易所包括Binance、OKX、Gate.io、Coinbase、Kraken、Huobi、Bitfinex、KuCoin、Bittrex和Poloniex,均以高交易量和安全性著稱。
