目錄
大模型推理速度翻倍
One More Thing
首頁 科技週邊 人工智慧 老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

Sep 18, 2023 pm 03:45 PM
ai 訓練

大模型的推理速度,短短一個月就提高了一倍!

近日,英偉達宣布推出了一款專為H100設計的“雞血包”,旨在加速LLM推理過程

或許這下可以不用空等明年才能交付的GH200了老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

GPU的運算能力一直在影響著大型模型的效能,無論是硬體供應商或使用者,都希望能夠獲得更快的運算速度

而作為大模型背後硬體的最大供應商,英偉達一直在研究怎麼給大模型硬體加速。

透過與多家AI公司合作,英偉達終於推出了大模型推理優化程式TensorRT-LLM(暫且簡稱TensorRT)。

TensorRT不僅能讓大模型的推理速度翻倍,使用起來也很方便。

無須深入了解C 和CUDA,也能快速客製化最佳化策略,在H100上更快跑大模型。

英偉達科學家範麟熙(Jim Fan)轉發並評論稱,英偉達的「另一項優勢」就是可以最大化利用GPU性能的配套軟體。

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

英偉達透過軟體為產品注入了新的活力,就像實踐了老黃的那句「買得越多,省得越多」。然而,這並不妨礙一些人覺得產品價格太高

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

除了價格,也有網友對其運行效果提出了質疑:

我們總是看到(宣傳中的)多少倍的效能提升,但自己運行Llama 2的時候每秒還是只能處理幾十個token。

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

對於TensorRT來說,我們需要進一步進行檢驗,以決定它是否真的有效。讓我們先來詳細了解TensorRT

大模型推理速度翻倍

TensorRT-LLM優化後的H100,對於運行大型模型來說速度有多快呢?

英偉達的通告中給出了Llama 2和GPT-J-6B兩種模型的資料。

在經過優化後的H100上,跑Llama 2的推理速度是A100的4.6倍,也是八月份未經優化的H100的1.77倍

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

#而GPT-J-6B的推理速度是A100上的8倍、八月未優化版的2倍

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

TensorRT也提供了一個開源的模組化Python API,可以根據不同的LLM需求快速自訂最佳化方案

這個API將深度學習編譯器、核心最佳化、預/後處理和多節點通訊功能整合到了一起。

其中針對GPT(2/3)、Llama等常見模型,還有已經客製化好的版本,可以「開箱即用」

透過TensorRT中最新的開源AI內核,開發者還可以對模型自身進行最佳化,其中就包含了讓Transformer大幅提速的注意力演算法FlashAttention。

TensorRT是一個用於優化深度學習推理的高效能推理引擎。它透過使用混合精度計算、動態圖優化和層融合等技術,對LLM推理速度進行了最佳化。具體而言,TensorRT透過將浮點運算轉換為半精度浮點運算,減少了運算量和記憶體頻寬的需求,從而提高了推理速度。此外,TensorRT還使用了動態圖優化技術,根據輸入資料的特徵動態地選擇最優的網路結構,進一步提高了推理速度。另外,TensorRT也透過層融合技術將多個運算層合併為一個更有效率的運算層,減少了運算和記憶體存取的開銷,進一步提高了推理速度。總之,TensorRT透過多種最佳化技術,顯著提升了LLM推理的速度和效率

首先要得益於TensorRT對多節點協同工作方式進行了最佳化

像Llama這樣龐大的模型,在單卡上是跑不起來的,需要多塊GPU一起跑才能帶動。

过去,这一工作需要人们手工把模型拆开来实现。

有了TensorRT,系统能够自动地对模型进行拆分,并且通过NVLink在多个GPU之间高效运行

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

其次,TensorRT还利用了一种名为动态批处理的优化调度技术。

在推理过程中,LLM实际上是通过多次执行模型迭代来进行的

动态批处理技术会将已完成的序列立即踢出,而不是等待整批任务完成后再处理下一组请求。

在实际测试中,动态批处理技术成功地将LLM的GPU请求吞吐量减少了一半,从而显著降低了运行成本

另一个关键点则是将16位精度浮点数转换为8位精度,从而降低内存消耗。

FP8相对于训练阶段的FP16来说,资源消耗更低,同时精确度又高于INT-8,既能提高性能,又不影响模型的准确性

使用Hopper Transformer引擎,系统会自动完成FP16到FP8的转换编译,无需手动修改模型中的任何代码

目前,TensorRT-LLM的早鸟版已经可以下载,正式版将在几周内推出并集成到NeMo框架中

One More Thing

每当大事件出现,总少不了“列文虎克”的身影。

在英伟达的公告中提到了与Meta等人工智能领军企业合作,但没有提及OpenAI

从这则通告中,就有网友发现了这个华点,并发到了OpenAI论坛上:

请让我看看是谁没有被老黄cue到(手动狗头)

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

你还期待老黄会给我们带来怎样的“惊喜”呢?

以上是老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

解密Gate.io戰略升級:MeMebox 2.0如何重新定義加密資產管理? 解密Gate.io戰略升級:MeMebox 2.0如何重新定義加密資產管理? Apr 28, 2025 pm 03:33 PM

MeMebox 2.0通過創新架構和性能突破重新定義了加密資產管理。 1) 它解決了資產孤島、收益衰減和安全與便利悖論三大痛點。 2) 通過智能資產樞紐、動態風險管理和收益增強引擎,提升了跨鏈轉賬速度、平均收益率和安全事件響應速度。 3) 為用戶提供資產可視化、策略自動化和治理一體化,實現了用戶價值重構。 4) 通過生態協同和合規化創新,增強了平台的整體效能。 5) 未來將推出智能合約保險池、預測市場集成和AI驅動資產配置,繼續引領行業發展。

全球幣圈十大交易所有哪些 排名前十的貨幣交易平台最新版 全球幣圈十大交易所有哪些 排名前十的貨幣交易平台最新版 Apr 28, 2025 pm 08:09 PM

全球十大加密貨幣交易平台包括Binance、OKX、Gate.io、Coinbase、Kraken、Huobi Global、Bitfinex、Bittrex、KuCoin和Poloniex,均提供多種交易方式和強大的安全措施。

比特幣今日價格行情 比特幣今日價格行情 Apr 28, 2025 pm 07:39 PM

比特幣今日價格波動受宏觀經濟、政策、市場情緒等多因素影響,投資者需關注技術和基本面分析以做出明智決策。

排名前十的虛擬幣交易app有哪 最新數字貨幣交易所排行榜 排名前十的虛擬幣交易app有哪 最新數字貨幣交易所排行榜 Apr 28, 2025 pm 08:03 PM

Binance、OKX、gate.io等十大數字貨幣交易所完善系統、高效多元化交易和嚴密安全措施嚴重推崇。

比特幣值多少美金 比特幣值多少美金 Apr 28, 2025 pm 07:42 PM

比特幣的價格在20,000到30,000美元之間。 1. 比特幣自2009年以來價格波動劇烈,2017年達到近20,000美元,2021年達到近60,000美元。 2. 價格受市場需求、供應量、宏觀經濟環境等因素影響。 3. 通過交易所、移動應用和網站可獲取實時價格。 4. 比特幣價格波動性大,受市場情緒和外部因素驅動。 5. 與傳統金融市場有一定關係,受全球股市、美元強弱等影響。 6. 長期趨勢看漲,但需謹慎評估風險。

C  中的chrono庫如何使用? C 中的chrono庫如何使用? Apr 28, 2025 pm 10:18 PM

使用C 中的chrono庫可以讓你更加精確地控制時間和時間間隔,讓我們來探討一下這個庫的魅力所在吧。 C 的chrono庫是標準庫的一部分,它提供了一種現代化的方式來處理時間和時間間隔。對於那些曾經飽受time.h和ctime折磨的程序員來說,chrono無疑是一個福音。它不僅提高了代碼的可讀性和可維護性,還提供了更高的精度和靈活性。讓我們從基礎開始,chrono庫主要包括以下幾個關鍵組件:std::chrono::system_clock:表示系統時鐘,用於獲取當前時間。 std::chron

靠譜的數字貨幣交易平台推薦 全球十大數字貨幣交易所排行榜2025 靠譜的數字貨幣交易平台推薦 全球十大數字貨幣交易所排行榜2025 Apr 28, 2025 pm 04:30 PM

靠谱的数字货币交易平台推荐:1. OKX,2. Binance,3. Coinbase,4. Kraken,5. Huobi,6. KuCoin,7. Bitfinex,8. Gemini,9. Bitstamp,10. Poloniex,这些平台均以其安全性、用户体验和多样化的功能著称,适合不同层次的用户进行数字货币交易

全球幣圈十大交易所有哪些 排名前十的貨幣交易平台2025 全球幣圈十大交易所有哪些 排名前十的貨幣交易平台2025 Apr 28, 2025 pm 08:12 PM

2025年全球十大加密貨幣交易所包括Binance、OKX、Gate.io、Coinbase、Kraken、Huobi、Bitfinex、KuCoin、Bittrex和Poloniex,均以高交易量和安全性著稱。

See all articles