Microsoft、8 個の NVIDIA H100 GPU を搭載した Azure ND H100 v5 仮想マシンをリリース

Microsoft Azure AI インフラストラクチャは 11 月 21 日にアップグレードされ、新しい ND H100 v5 仮想マシン シリーズが開始されました。この仮想マシンには、NVIDIA H100 Tensor Core グラフィックス プロセッシング ユニット (GPU) と低遅延ネットワークが装備されています

レポートによると、Microsoft は Azure ND H100 v5 仮想マシン (VM) シリーズを新たにリリースしました。米国東部と米国中南部の Azure リージョンで利用可能。

このシリーズの製品は、最新の NVIDIA H100 Tensor コア GPU と NVIDIA Quantum-2 InfiniBand ネットワークを使用して、ますます複雑化する人工知能ワークロードを処理します。 Microsoft の人工知能への継続的な大規模投資の一環として、Microsoft は AI に最適化された 4K GPU クラスターを活用しており、今後 1 年間で数十万の新しい GPU に拡張する計画を立てています。

私たちはこのサイトにいます 機能ND H100 v5 VM 仮想マシン シリーズは上記にまとめられています。

• AI スーパー コンピューティング GPU: NVIDIA H100 Tensor Core GPU を 8 基搭載。このシリーズは、前世代の仮想マシンと比較して AI モデルを大幅に高速化できます。
• 次世代コンピューター処理装置 (CPU): CPU のパフォーマンスは AI のトレーニングと推論にとって重要であり、Microsoft は第 4 世代インテル Xeon スケーラブル プロセッサーを選択しました。
• 低遅延ネットワーク: NVIDIA Quantum-2 ConnectX-7 InfiniBand を使用すると、各 GPU は 400 Gb/秒、各 VM は 3.2 Tb/秒のクロスノード帯域幅を持ちます。
• 最適化されたホストから GPU までのパフォーマンス: PCIe Gen5 経由で GPU ごとに 64GB/秒の帯域幅を実現します。
• 大規模なメモリとメモリ帯域幅: DDR5 メモリは、このシリーズの仮想マシンの中核であり、より高いデータ転送速度と効率を実現します。

Microsoft は、このシリーズの仮想マシンが新しい 8 ビット FP8 浮動小数点データ型を使用して行列乗算演算を実行すると、速度が 6 倍向上し、より高速になると発表しました。前世代の FP16 よりも優れています。 ND H100 v5 VM は、BLOOM 175B エンドツーエンド モデルなどの大規模な言語モデルで最大 2 倍高速な推論を実現します。

以上がMicrosoft、8 個の NVIDIA H100 GPU を搭載した Azure ND H100 v5 仮想マシンをリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。