英偉達發文介紹「黃氏定律」:GPU 推理性能十年提升 1000 倍,無懼摩爾定律影響

王林
發布: 2023-10-01 16:05:09
轉載
820 人瀏覽過

本站10 月1 日消息,正當人們爭論摩爾定律在2020 年代是否會放緩、是否仍然適用、甚至已死的時候,英偉達發文宣布了“黃氏定律(Huang's Law)」。

據英偉達一篇最新部落格稱,在過去十年中,英偉達 GPU 人工智慧處理能力增長了 1000 倍。 「黃氏定律」意味著在「單晶片推理性能」中看到的加速不會逐漸消失,而是會繼續出現。

英伟达发文介绍“黄氏定律”:GPU 推理性能十年提升 1000 倍,无惧摩尔定律影响

根據英偉達首席科學家比爾·達利所述,「後摩爾定律時代電腦效能如何實現的結構性轉變」主要依賴人類的智慧。雖然這個特徵似乎難以被歸納為一條定律,但達利認為下面的圖表標誌著「黃氏定律」的開始

英伟达发文介绍“黄氏定律”:GPU 推理性能十年提升 1000 倍,无惧摩尔定律影响

本站查詢發現,「黃氏定律」並非英偉達自己的首創說法。 IEEE Spectrum 第一個提出以黃仁勳命名定律,「黃氏定律」後來因《華爾街日報》的一篇專欄而廣為人知。

根據 Dally 最近在 Hot Chips 2023 會議上的演講,上圖顯示過去十年 GPU AI 推理性能增長了 1000 倍。 Dally 表示,有趣的是,與摩爾定律不同,製程縮小對黃氏定律的進展幾乎沒有影響

Dally 回憶起如何透過改變英偉達 GPU 底層數位處理來實現 16 倍的成長。使用 Transformer 引擎的 Nvidia Hopper 架構的到來帶來了另一個巨大的推動。據稱,Hopper 使用 8 位元和 16 位元浮點與整數數學的動態組合,實現了 12.5 倍的效能飛躍,並且節省了能源。

英伟达发文介绍“黄氏定律”:GPU 推理性能十年提升 1000 倍,无惧摩尔定律影响

Dally 也稱,儘管摩爾定律的收益不斷減少,但他相信「黃氏定律」仍將繼續存在

廣告聲明:本文中包含對外跳轉連結(包括但不限於超連結、二維碼、口令等形式),旨在提供更多信息,節省篩選時間,結果僅供參考。請注意,本站的所有文章都包含此聲明

以上是英偉達發文介紹「黃氏定律」:GPU 推理性能十年提升 1000 倍,無懼摩爾定律影響的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:ithome.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板