華為發布大模型時代AI儲存新品

PHPz
發布: 2023-07-21 18:53:32
轉載
804 人瀏覽過

7月14日,華為發布大模型時代AI儲存新品,為基礎模型訓練、產業模型訓練,細分場景模型訓練推理提供儲存最優解,釋放AI新動能。

企業在開發及實施大模型應用過程中,面臨四大挑戰:

首先,資料準備時間長,資料來源分散,歸集慢,預處理百TB資料需10天左右;其次,多模態大模型以大量文字、圖片為訓練集,目前海量小檔案的載入速度不足100MB/s,訓練集載入效率低;第三,大模型參數頻繁調優,訓練平台不穩定,平均約2天出現一次訓練中斷,需要Checkpoint機制恢復訓練,故障恢復耗時超過一天;最後,大模型實施門檻高,系統搭建繁雜,資源調度難,GPU資源利用率通常不到40%。

華為順應大模型時代AI發展趨勢,針對不同產業、不同場景大模型應用,推出OceanStor A310深度學習資料湖儲存與FusionCube A3000訓/推超融合一體機。

華為發布大模型時代AI儲存新品

華為資料儲存產品線總裁 週躍峰

OceanStor A310深度學習資料湖存儲,面向基礎/產業大模型資料湖場景,實現從資料歸集、預處理到模型訓練、推理應用的AI全流程海量資料管理。

OceanStor A310單框5U支援業界最高的400GB/s頻寬以及1200萬IOPS的最高效能,可線性擴充至4096節點,實現多重協定無損互通。全域檔案系統GFS實現跨地域智慧資料編織,簡化資料歸集流程;透過近存運算實現近資料預處理,減少資料搬移,預處理效率提升30 %。

FusionCube A3000訓/推超融合一體機,針對業界大模型訓練/推理場景,針對百億級模型應用,整合OceanStor A300高效能儲存節點、訓/推節點、交換器、AI平台軟體與管理維運軟體,為大模型夥伴提供拎包入住式的部署體驗,實現一站式交付。開箱即用,2小時內即可完成部署。為了適應不同規模的模型需求,可以獨立水平擴展訓練節點和儲存節點。同時FusionCube A3000透過高效能容器實現多個模型訓練推理任務共享GPU,將資源利用率從40%提升到70%以上。 FusionCube A3000支援兩種靈活的商業模式,包括華為昇騰一站式方案,以及開放運算、網路、AI平台軟體的第三方夥伴一站式方案。

週躍峰表示,在大數據時代,數據決定了人工智慧的水平。作為資料的載體,資料儲存成為AI大模型的關鍵基礎設施。華為資料儲存未來將持續創新,面向AI大模型時代提供多樣化的方案與產品,攜手夥伴共同推動AI賦能千行百業。 ”

本網站上的內容(包括但不限於文字、圖片及音視頻),除轉載外,均為時代在線版權所有,未經書面協議授權,禁止轉載、鏈接、轉載或以其他 方式使用。違反上述聲明者,本網將追究其相關法律責任。請聯絡丁先生(news@time-weekly.com)以獲得本網站的轉載許可,如果其他媒體、網站或個人想要進行轉載的話

以上是華為發布大模型時代AI儲存新品的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:sohu.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板