目錄
大模型推理速度翻倍
One More Thing
首頁 科技週邊 人工智慧 老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

Sep 18, 2023 pm 03:45 PM
ai 訓練

大模型的推理速度,短短一個月就提高了一倍!

近日,英偉達宣布推出了一款專為H100設計的“雞血包”,旨在加速LLM推理過程

或許這下可以不用空等明年才能交付的GH200了老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

GPU的運算能力一直在影響著大型模型的效能,無論是硬體供應商或使用者,都希望能夠獲得更快的運算速度

而作為大模型背後硬體的最大供應商,英偉達一直在研究怎麼給大模型硬體加速。

透過與多家AI公司合作,英偉達終於推出了大模型推理優化程式TensorRT-LLM(暫且簡稱TensorRT)。

TensorRT不僅能讓大模型的推理速度翻倍,使用起來也很方便。

無須深入了解C 和CUDA,也能快速客製化最佳化策略,在H100上更快跑大模型。

英偉達科學家範麟熙(Jim Fan)轉發並評論稱,英偉達的「另一項優勢」就是可以最大化利用GPU性能的配套軟體。

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

英偉達透過軟體為產品注入了新的活力,就像實踐了老黃的那句「買得越多,省得越多」。然而,這並不妨礙一些人覺得產品價格太高

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

除了價格,也有網友對其運行效果提出了質疑:

我們總是看到(宣傳中的)多少倍的效能提升,但自己運行Llama 2的時候每秒還是只能處理幾十個token。

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

對於TensorRT來說,我們需要進一步進行檢驗,以決定它是否真的有效。讓我們先來詳細了解TensorRT

大模型推理速度翻倍

TensorRT-LLM優化後的H100,對於運行大型模型來說速度有多快呢?

英偉達的通告中給出了Llama 2和GPT-J-6B兩種模型的資料。

在經過優化後的H100上,跑Llama 2的推理速度是A100的4.6倍,也是八月份未經優化的H100的1.77倍

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

#而GPT-J-6B的推理速度是A100上的8倍、八月未優化版的2倍

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

TensorRT也提供了一個開源的模組化Python API,可以根據不同的LLM需求快速自訂最佳化方案

這個API將深度學習編譯器、核心最佳化、預/後處理和多節點通訊功能整合到了一起。

其中針對GPT(2/3)、Llama等常見模型,還有已經客製化好的版本,可以「開箱即用」

透過TensorRT中最新的開源AI內核,開發者還可以對模型自身進行最佳化,其中就包含了讓Transformer大幅提速的注意力演算法FlashAttention。

TensorRT是一個用於優化深度學習推理的高效能推理引擎。它透過使用混合精度計算、動態圖優化和層融合等技術,對LLM推理速度進行了最佳化。具體而言,TensorRT透過將浮點運算轉換為半精度浮點運算,減少了運算量和記憶體頻寬的需求,從而提高了推理速度。此外,TensorRT還使用了動態圖優化技術,根據輸入資料的特徵動態地選擇最優的網路結構,進一步提高了推理速度。另外,TensorRT也透過層融合技術將多個運算層合併為一個更有效率的運算層,減少了運算和記憶體存取的開銷,進一步提高了推理速度。總之,TensorRT透過多種最佳化技術,顯著提升了LLM推理的速度和效率

首先要得益於TensorRT對多節點協同工作方式進行了最佳化

像Llama這樣龐大的模型,在單卡上是跑不起來的,需要多塊GPU一起跑才能帶動。

过去,这一工作需要人们手工把模型拆开来实现。

有了TensorRT,系统能够自动地对模型进行拆分,并且通过NVLink在多个GPU之间高效运行

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

其次,TensorRT还利用了一种名为动态批处理的优化调度技术。

在推理过程中,LLM实际上是通过多次执行模型迭代来进行的

动态批处理技术会将已完成的序列立即踢出,而不是等待整批任务完成后再处理下一组请求。

在实际测试中,动态批处理技术成功地将LLM的GPU请求吞吐量减少了一半,从而显著降低了运行成本

另一个关键点则是将16位精度浮点数转换为8位精度,从而降低内存消耗。

FP8相对于训练阶段的FP16来说,资源消耗更低,同时精确度又高于INT-8,既能提高性能,又不影响模型的准确性

使用Hopper Transformer引擎,系统会自动完成FP16到FP8的转换编译,无需手动修改模型中的任何代码

目前,TensorRT-LLM的早鸟版已经可以下载,正式版将在几周内推出并集成到NeMo框架中

One More Thing

每当大事件出现,总少不了“列文虎克”的身影。

在英伟达的公告中提到了与Meta等人工智能领军企业合作,但没有提及OpenAI

从这则通告中,就有网友发现了这个华点,并发到了OpenAI论坛上:

请让我看看是谁没有被老黄cue到(手动狗头)

老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍

你还期待老黄会给我们带来怎样的“惊喜”呢?

以上是老黃給H100「打雞血」:英偉達推出大模型加速包,Llama2推理速度翻倍的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前 By 尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
4 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

deepseek網頁版官方入口 deepseek網頁版官方入口 Mar 12, 2025 pm 01:42 PM

deepseek網頁版官方入口

深度求索deepseek官網入口 深度求索deepseek官網入口 Mar 12, 2025 pm 01:33 PM

深度求索deepseek官網入口

deepseek服務器繁忙怎麼解決 deepseek服務器繁忙怎麼解決 Mar 12, 2025 pm 01:39 PM

deepseek服務器繁忙怎麼解決

百度又一國民產品接入DeepSeek,是想開了還是跟風? 百度又一國民產品接入DeepSeek,是想開了還是跟風? Mar 12, 2025 pm 01:48 PM

百度又一國民產品接入DeepSeek,是想開了還是跟風?

加密數字資產交易APP推薦top10(2025全球排名) 加密數字資產交易APP推薦top10(2025全球排名) Mar 18, 2025 pm 12:15 PM

加密數字資產交易APP推薦top10(2025全球排名)

十大加密貨幣交易平台 幣圈交易平台app排行前十名推薦 十大加密貨幣交易平台 幣圈交易平台app排行前十名推薦 Mar 17, 2025 pm 06:03 PM

十大加密貨幣交易平台 幣圈交易平台app排行前十名推薦

安全靠譜的數字貨幣平台有哪些 安全靠譜的數字貨幣平台有哪些 Mar 17, 2025 pm 05:42 PM

安全靠譜的數字貨幣平台有哪些

2025年行業首款全尺寸內嵌DeepSeek的小折疊!努比亞Flip 2亮相 2025年行業首款全尺寸內嵌DeepSeek的小折疊!努比亞Flip 2亮相 Mar 12, 2025 pm 01:27 PM

2025年行業首款全尺寸內嵌DeepSeek的小折疊!努比亞Flip 2亮相

See all articles