カンファレンス会場。 (写真提供:ファーウェイ)
[深センビジネスニュース](陳秀記者)人工知能は徐々に大規模モデルから超大規模モデルへ、単一モダリティからマルチモダリティへ移行しており、データストレージが重要な要素となっています。ストレージとコンピューティング能力を中心とした大型モデルの時代が到来しました。 7月14日、ファーウェイは大規模モデル時代に向けた新しいAIストレージ製品をリリースし、基本モデルのトレーニング、業界モデルのトレーニング、セグメント化されたシナリオモデルのトレーニングと推論のためのストレージ「最適なソリューション」を提供した。
ファーウェイのデータストレージ製品ラインの社長である周岳峰氏は、企業は大規模モデルアプリケーションの開発と実装の過程で4つの大きな課題に直面していると述べた。まず、データの準備時間が長く、データソースが分散しており、収集が遅い。 100 TB のデータを前処理するには 10 年かかります。約数日です。第 2 に、マルチモーダル大規模モデルはトレーニング セットとして大量のテキストと画像を使用します。大規模な小さなファイルの現在の読み込み速度は 100MB/s 未満であり、トレーニング セットの読み込みは効率が低い、第三に、大規模なモデルパラメータが頻繁に調整され、トレーニングプラットフォームが不安定である トレーニングは平均して 2 日に 1 回中断される トレーニングを再開するにはチェックポイントメカニズムが必要である 障害の回復には 1 日以上かかる 最後に、実装大規模モデルのしきい値は高く、システムのセットアップは複雑で、リソースのスケジューリングは困難で、GPU リソースの使用率は通常 40% 未満です。
ファーウェイは、さまざまな業界やシナリオの大規模モデルアプリケーション向けに、OceanStor A310ディープラーニングデータレイクストレージとFusionCube A3000トレーニング/プロモーションハイパーコンバージドオールインワンマシンを発売しました。その中で、OceanStor A310ディープラーニングデータレイクストレージは、基本/業界の大規模モデルデータレイクシナリオを指向しており、データ収集と前処理からモデルトレーニングと推論アプリケーションに至るまで、AIのフルプロセスの大規模データ管理を実現します。 FusionCube A3000 トレーニング/プッシュ ハイパーコンバージド オールインワン マシンは、業界の大規模モデルのトレーニング/推論シナリオおよび数百億のモデル アプリケーション向けに設計されており、OceanStor A300 高性能ストレージ ノード、トレーニング/プッシュ ノード、スイッチング機器が統合されています、AI プラットフォーム ソフトウェア、および管理および運用ソフトウェア。大規模モデル パートナーにターンキー導入エクスペリエンスを提供し、ワンストップ デリバリーを実現します。
中国工程院の院士、倪光南氏はメディアとの独占インタビューで、データは国の基本的な戦略資源となっていると述べた。データストレージ容量(「ストレージ容量」と呼ぶ)、情報コンピューティング容量(「コンピューティングパワー」と呼ぶ)、およびネットワークトランスポートキャパシティ(「トランスポートキャパシティ」と呼ぶ)は、我が国の発展の中核であり基盤である。情報産業を支え、技術立国を築くための戦略的支援となります。同氏は、エネルギー貯蔵が国家戦略的かつ基礎的な産業となり、新たな国際競争上の優位性になると信じている。
「大型モデルの時代では、データが AI インテリジェンスの高さを決定します。データのキャリアとして、データ ストレージは AI 大型モデルの重要なインフラストラクチャになっています。」 周岳峰氏は会議後のインタビューで、中国の人工知能のインテリジェンス産業は急速に発展しなければならず、データと情報のデジタル化とデジタル記録に注意を払う必要があります。データの準備は、最近世間を騒がせている大規模な AI モデルを実装する際に直面する最大の課題です。同氏によると、大規模な AI モデルのコストは主にコンピューティング能力が 25% を占め、サーバーの購入、データ クリーニング、前処理のコストが 22% を占めます。データ、データのストレージと処理がますます重要になっていることがわかります。この文は次のように書き換えられます。 この重要な点は、データ量が増加しただけではなく、さらに重要なことに、データ処理プロセスがより複雑になったことです。ファーウェイの分散ストレージ分野担当副社長の韓振興氏は、中国がストレージセンターの大規模開発を先導すると指摘し、将来的にはより高性能なストレージ製品が登場すると予測した。
以上がファーウェイ、2つの新しいAIストレージ製品をリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。