GPUのパフォーマンスを最大化する方法

人工知能プロジェクトを高速化するデフォルトの方法は、GPU クラスターのサイズを増やすことです。ただし、GPU の供給がますます逼迫しているため、コストはますます高くなっています。多くの AI 企業が調達資金の 80% 以上をコンピューティング リソースに費やしていることは理解できます。 GPU は AI インフラストラクチャの鍵であり、できるだけ多くの予算を割り当てる必要があります。ただし、これらの高コスト以外にも、GPU パフォーマンスを向上させる他の方法を検討する必要があり、GPU クラスターの拡張がますます緊急になっています

# 特に生成 AI の暴力的な拡張が GPU の不足につながるため、簡単な作業ではありません。 NVIDIA A100 GPU は最初に影響を受けた GPU の 1 つであり、現在では非常に希少であり、一部のバージョンではリードタイムが最大 1 年となっています。こうしたサプライチェーンの課題により、多くの人がハイエンドの H100 を代替品として検討せざるを得なくなりましたが、明らかに価格は高くなります。業界向けの次の優れた生成 AI ソリューションを作成するために独自のインフラストラクチャに投資している起業家にとって、既存の GPU から効率を一滴残らず絞り出す必要があります

それでは見てみましょう。企業が AI インフラストラクチャのネットワークとストレージ設計への変更を提案することで、コンピューティングへの投資を最大限に活用する方法

データは重要です

最適化既存のコンピューティング インフラストラクチャの利用は重要なアプローチです。 GPU の使用率を最大化するには、GPU が高負荷下でも動作し続けるように、データ転送速度が遅いという問題を解決する必要があります。一部のユーザーは GPU 使用率が 20% しかありませんが、これは容認できません。その結果、AI チームは AI への投資収益を最大化するための最良の方法を模索しています。

GPU は AI のエンジンです。車のエンジンが動作するにはガソリンが必要であるのと同じように、GPU も操作を実行するためにデータが必要です。データ フローを制限すると、GPU のパフォーマンスも制限されます。 GPU の効率が 50% しかない場合、AI チームの生産性は低下し、プロジェクトの完了にかかる時間は 2 倍になり、投資収益率は半分になります。したがって、インフラストラクチャ設計では、GPU が最大効率で動作し、期待されるコンピューティング パフォーマンスを提供できることを確認することが重要です。

DGX A100 サーバーと H100 サーバーの両方が、最大 30 TB の内部ストレージ容量を備えています。ただし、モデルの平均サイズが約 150 TB であることを考慮すると、この容量はほとんどの深層学習モデルにとって不十分です。したがって、GPU にデータを提供するには追加の外部データ ストレージが必要です

ストレージ パフォーマンス

AI ストレージは通常、サーバー、NVMe SSD で構成されます。 、およびストレージ ソフトウェアで構成されており、通常は単純なデバイスにパッケージ化されています。 GPU が数万のコアで大量のデータを並列処理するように最適化されているのと同様に、ストレージも高性能である必要があります。人工知能におけるストレージの基本要件は、データ セット全体を保存し、そのデータを回線速度 (つまり、ネットワークが許可する最速の速度) で GPU に転送して、GPU を効率的に実行し飽和状態に保つことができることです。これより少ないと、これらの非常に高価で貴重な GPU リソースが無駄になります。フルスピードで実行されている 10 または 15 GPU サーバーのクラスターに追いつくことができる速度でデータを配信することで、GPU リソースを最適化し、環境全体のパフォーマンスを向上させることができます。可能な限り予算を活用してインフラストラクチャ全体を最大限に活用しながら

課題は、実際のところ、AI に最適化されたストレージが存在しないことです。プロバイダーは、多くのクライアント コンピューティング ノードを必要とします。ストレージから最大限のパフォーマンスを引き出します。 1 つの GPU サーバーから開始した場合、単一の GPU サーバーをプロビジョニングするパフォーマンスを達成するには、多くのストレージ ノードが必要になります。

内容を書き換えました: すべてのベンチマーク結果を信頼しないでください。複数の GPU サーバーを使用すると、より多くの帯域幅を簡単に得ることができますが、AI は、すべてのパフォーマンスをサーバーに提供するものであっても、ストレージに依存します。必要なときにいつでも単一の GPU ノードを使用できます。必要な超高性能を提供できるストレージを使用し、単一のストレージ ノードで実行し、このパフォーマンスを単一の GPU ノードに提供できるようにしてください。これにより市場へのリーチが制限される可能性がありますが、AI プロジェクトの取り組みを開始する際には最優先事項です。

ネットワーク帯域幅

コンピューティング能力の強力化により、他の人工知能インフラストラクチャに対する需要も高まっています。帯域幅要件は新たな高みに達し、ストレージ デバイスからネットワーク経由で送信され、GPU によって毎秒処理される膨大な量のデータを管理できるようになりました。ストレージ デバイス内のネットワーク アダプター (NIC) はネットワーク内のスイッチに接続し、スイッチは GPU サーバー内のアダプターに接続します。 NIC は、正しく構成されていれば、ボトルネックなしで 1 つまたは 2 つの GPU サーバーの NIC にストレージを直接接続でき、最大のデータ負荷をストレージから GPU に持続的に渡すのに十分な帯域幅を確保します。GPU 内の飽和を維持することが重要です。多くの場合、これを行わないと GPU 使用率が低下します。

GPU オーケストレーション

インフラストラクチャが整ったら、GPU オーケストレーションおよび割り当てツールは、チームがリソースをより効率的に組み立て、割り当てるのに非常に役立ちます。 GPU の使用率。より高いレベルのリソース制御を提供し、ボトルネックを軽減し、使用率を向上させます。これらのツールは、基盤となるインフラストラクチャが正しいデータ フローを保証できる場合にのみ、期待どおりにこれらのタスクをすべて実行できます。

人工知能の分野では、データが重要な入力です。したがって、従来のエンタープライズ フラッシュは、エンタープライズのミッション クリティカルなアプリケーション (在庫管理データベース サーバー、電子メール サーバー、バックアップ サーバーなど) に使用される場合、AI とは関係ありません。これらのソリューションはレガシー プロトコルを使用して構築されており、AI 用に再利用されていますが、これらのレガシー基盤は GPU と AI ワークロードのパフォーマンスを制限し、価格を押し上げ、過度に高価で不要な機能にお金を無駄にしています

#現在の世界的な GPU 不足に加え、人工知能業界の急速な発展により、GPU のパフォーマンスを最大化する方法を見つけることが、特に短期的にはかつてないほど重要になっています。深層学習プロジェクトが盛んになるにつれて、これらの方法はコストを削減し、出力を向上させるためのいくつかの重要な方法になります

以上がGPUのパフォーマンスを最大化する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。