英偉達發表全球最強AI晶片H200:效能較H100提升近一倍

王林
發布: 2023-11-14 14:33:49
轉載
933 人瀏覽過

英偉達發表全球最強AI晶片H200:效能較H100提升近一倍

快科技今日(11月14日)消息,在2023年全球超算大會(SC2023)上,晶片巨頭英偉達發布了H100晶片的繼任者,也是目前世界最強的AI晶片——H200。

英偉達發表全球最強AI晶片H200:效能較H100提升近一倍

H200的表現相較於H100有了60%到90%的直接提升

不僅如此,H200與H100一樣都是基於英偉達Hopper架構打造,這也意味著兩款晶片可以互相兼容,對於使用H100企業而言,可以無縫更換成最新的H200。

H200是英偉達首款採用HBM3e記憶體的晶片,具有更快的速度和更大的容量,非常適合用於大型語言模型的訓練和推理

除了HBM3e記憶體外,H200的記憶體容量為141GB,頻寬從H100的3.35TB/s增加到了4.8TB/s。

H200的效能提升最主要體現在大模型推理表現上,H200 在700億參數的Llama2大模型上的推理速度比H100快了一倍,而且在推理能耗上H200相比H100直接降低了一半。

H200具備更高的顯存頻寬,對於顯存密集型的高效能運算應用而言,這意味著可以更有效地存取操作資料。與中央處理器(CPU)相比,使用H200可以將結果的取得時間最多提升110倍

英偉達表示H200預計2024年第二季出貨,售價還暫未公佈,不過在算力荒下,大科技公司們估計還是會瘋狂囤貨。

英偉達發表全球最強AI晶片H200:效能較H100提升近一倍

以上是英偉達發表全球最強AI晶片H200:效能較H100提升近一倍的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:sohu.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板