深信服與趨動科技聯手，利用高效能儲存輔助AI大模型研發

最近，北京趨動科技有限公司（以下簡稱「趨動科技」）與深信服正式推出了聯合解決方案。該解決方案將深信服EDS的高效能儲存與趨動科技OrionX AI算力資源池化軟體以及Gemini AI訓練平台有機結合，旨在整合儲存和算力資源，幫助用戶建立高效的人工智慧平台，有效管理和利用人工智慧資源

具體而言，推出聯合解決方案將為人工智慧領域的使用者基礎設施建設帶來以下變化

高效能聯合方案已準備就緒，旨在打造更有效率的訓練平台

隨著人工智慧大型模型建置進展加快，使用者對人工智慧模型訓練效率的要求也越來越高。然而，由於GPU運算資源不足和底層儲存小檔案讀寫效能不足等問題，訓練平台內的大量訓練任務不得不排隊等待。算力和儲存能力的不足拖慢了整個人工智慧訓練平台的訓練效率

為了解決這個問題，聯合解決方案進行了全面優化。針對上層訓練平台的效率問題，趨動科技的OrionX AI算力資源池化軟體透過創建算力資源池，幫助用戶根據任務情況靈活分配GPU資源，實現資源的切分、聚合、遠端呼叫、超分、任務排隊、動態掛載及釋放，以及國產晶片異構池化等能力，充分滿足各項訓練任務的算力需求，加速任務的進行。同時，Gemini AI訓練平台提供的調度能力優化了訓練平台的管理機制，在統一調度下，AI模型的訓練更有效率

透過EDS自研的啟發式預讀機制與多活元資料服務，我們得以有效解決底層儲存的效能問題。即使在百億資料集規模下，我們仍然能夠提供高速的讀寫能力。如此一來，不僅可以減少GPU的等待時間，還能提升短期循環訓練的吞吐能力與訓練效率

2、容量和效能同時擴展，打造性價比高的儲存方案

在日常的AI資料集訓練過程中,為了讓模型更加精準,常常需要用海量的圖像、文字等資料對AI模型進行訓練。快速成長的資料為底層儲存的容量和效能帶來了巨大的壓力,傳統儲存高成本、低效率的擴容模式癒發難以滿足效能和容量的需求。

憑藉矩陣式儲存演算法等全自研技術,EDS在儲存圖文、影片等小檔案的過程中,可有效解決小檔案寫入放大導致的空間浪費問題,最大化利用儲存空間,三節點組成的叢集即可滿足一個中等規模的AI訓練團隊的儲存需求。在性能的擴容方面,也得益於軟體定義儲存的架構優勢,EDS在進行擴容時可實現容量與性能地同步擴展,靈活應對AI業務快速增長的性能需求。

3、統一管理，深度挖掘資料的價值

在發布方案之前，EDS已經成功地透過NFS CSI、S3等協定與趨動科技的Gemini AI訓練平台實現了無縫對接。透過深度適配，Kubernetes容器編排平台可以更快地完成儲存資源的動態分配，使用者在部署時可以直接跳過方案可行性研究的環節，快速上線AI訓練任務。同時，EDS也支援多協定之間的資料互通，多類型的客戶端可以共用一套儲存系統，各個階段的成果資料無需跨儲存進行拷貝，從而實現高效的流轉，確保使用者在任何訓練階段都能有效地呼叫資料成果，更便捷地挖掘資料的價值

在未來，雙方也將加強在技術領域的合作，透過提供更高儲存效能的聯合方案，幫助使用者加速完成AI訓練平台的升級建設，使更多使用者能夠在AI訓練的道路上取得更快更穩的進展

關於趨動科技：趨動科技致力於為使用者提供全球領先的資料中心級AI算力虛擬化和資源池化解決方案。目前，已有多家人工智慧、網路、營運商、金融、汽車及自動駕駛、教育等產業的頭部企業和用戶使用OrionX AI算力資源池化解決方案

以上是深信服與趨動科技聯手，利用高效能儲存輔助AI大模型研發的詳細內容。更多資訊請關注PHP中文網其他相關文章！