人工知能の炭素コストの計算

興味深いトピックを探しているなら、人工知能 (AI) はあなたの期待を裏切らないでしょう。人工知能には、チェスをしたり、下手な手書き文字を解読したり、音声を理解したり、衛星画像を分類したりできる、一連の強力で気が遠くなるような統計アルゴリズムが含まれています。機械学習モデルをトレーニングするための巨大なデータセットが利用できることは、人工知能の成功の重要な要素の 1 つです。しかし、このような計算作業はすべて無料ではありません。一部の AI 専門家は、新しいアルゴリズムの構築に伴う環境への影響について懸念を強めており、この議論は、AI の二酸化炭素排出量を削減するために機械をより効率的に学習させる方法に関する新しいアイデアを生み出しています。

現実に戻る

詳細を説明するには、まず、24 時間稼働している (世界中の) 何千ものデータ センターを考慮する必要があります。 7 計算リクエストを処理します。 AI 研究者にとって、これらのタスクには、数十億のデータ要素 (またはトークン、つまり 4 文字または英語の単語の約 3/4 に相当する単語ビット) を使用した多層アルゴリズムのトレーニングが含まれます。それに伴う計算量は驚くべきものです。 AI インフラストラクチャ企業 Lambda は、人間のようなテキストを生成するための OpenAI の強力な自然言語モデルである GPT-3 に関するいくつかの興味深い事実を提供しました。 Lambda の分析によると、GPT-3 の 1,750 億パラメータ モデルを 1 台の NVIDIA RTX 8000 でトレーニングしようとすると、665 年かかります。これはグラフィックス カードに関しては決して楽ではありません。

簡単に言えば、モデルが大きくなるほど、パフォーマンスが向上します。Lambda のチームは、最先端の言語モデルのサイズが毎年 10 倍の割合で増大していると指摘しました。 AI の理解に戻る 二酸化炭素排出量に対する懸念の高まりデータセンターに戻ると、少なくとも大まかなレベルでは、さらに多くの数字を議論に追加することができます。国際エネルギー機関 (IEA) の推定によると、世界中のデータセンターの総電力消費量は 200 ～ 250 TWh です。この数字をイメージしやすくするために、機関車と車両が走行 1 キロメートルあたり平均 2.5 キロワット時を消費すると仮定すると、高速電車が 900 万キロメートル走行するには 225 テラワット時で十分です。 AI モデルのトレーニングと実行には一部 (データ センター内) のみが使用されますが、情報筋によると、機械学習とトレーニングのためのコンピューティング需要がデータ センターのアクティビティの平均的な増加を上回っています。

現時点では、データセンターがエネルギー需要を適切に管理していることを認めるのは当然です。環境への懸念が動機となっていますが、電力は重要な運営費であり、データセンターにとって「ミッションクリティカル」であることは言及する価値があります。世界的なインターネット トラフィックの急増（2020 年だけで 40% 増加）にもかかわらず、データセンターのエネルギー使用量は過去 10 年間比較的安定しています。 IEAは「データセンターサービスに対する需要の力強い伸びは、サーバー、ストレージ、ネットワークスイッチ、データセンターインフラストラクチャの継続的な効率向上と、効率的なクラウドとハイパースケールデータセンターによって提供されるサービスのシェアの増加によって相殺され続けている」としている。書きました。

フォトニクスなど

さらに、Amazon、Google、Facebook などの垂直統合型データセンター運営会社は、間もなく自社の施設が再生可能エネルギーで電力供給されていることを追加する予定です。当然のことながら、コンピューティング ハードウェアのラックや、暖房、冷房、照明などの必要な付随サービスに電力を供給するための電力は太陽光や風力から供給されるため、データ処理による環境負荷が軽減されます。しかし、フィナンシャル・タイムズ紙が選択しなかったように、たとえデータセンターのエネルギー契約で再生可能エネルギーを通じて電力消費の100%を相殺できたとしても、風力や太陽光が利用できない場合、施設は依然として化石燃料を消費する可能性がある。また、製造方法やコンポーネントの材料調達活動によっても炭素排出が発生するため、コンピューティング デバイス自体に組み込まれた炭素排出を考慮する必要もあります。これはマイクロソフトも認めています。

今年の初め、Microsoft は最近のブログ投稿で効率的なモデル トレーニングのトピックについて説明しました。開発者は、AI の二酸化炭素排出量を削減する、あるいは少なくともその成長を抑制する方法を模索することに忙しい。ここでのステ​​ップには、モデルの微調整中に計算要件とメモリ要件を削減する方法を探すことが含まれており、プロセスのこの段階で GPU 使用量を 3 分の 1 に削減することが推奨されています。モデル圧縮も期待できます。AI データのサブレイヤーは、以前に結合された条件の、よりスパースではあるものの、依然として代表的なバージョンにプルーニングされます。ここで、研究によると、モデルを圧縮すると、同様のアルゴリズム結果が得られながら、必要なトレーニング時間が約 40% 短縮される可能性があります。

開発者は、コードまたはデータ ホスティングの配置を最適化することで得られる利益を正確に特定する監視ツールの恩恵を受けることもできます。 「CodeCarbon は、Python コード ベースにシームレスに統合される軽量のソフトウェア パッケージです」と発明者らは書いており、ツールは無料で利用可能です。 「コードの実行に使用されるクラウドまたはパーソナル コンピューティング リソースによって生成される二酸化炭素 (CO2) の量を推定します。」

フルサークル

このサイクルは継続しており、将来的には、よりエネルギー効率の高い AI が導入され、より効率的なデータセンター運用を導き、ご想像のとおり、AI による二酸化炭素排出量を削減する可能性があります。現在、Cirrus Nexus は、データセンター運営者が炭素にコストを割り当て、人工知能アルゴリズムを通じてコストを伝播するために使用できるソフトウェアを提供しています。この結果は、CO2 の計算を示すだけでなく、利用可能な環境上の利点を最大化するためにユーザーが施設を構成する方法についての洞察も提供します。

今日のテクノロジーを支えるアルゴリズムの二酸化炭素排出量を可視化すると、さまざまな面で役立ちます。これにより、将来の人工知能をトレーニングするための最も効果的な方法についての議論が始まり、IT 部門とその顧客はコンピューティングの環境コストについてより責任を負うことになります。結果的にはビジネスにもプラスになるかもしれません。特に、Amazon は今年初めに顧客向け二酸化炭素排出量ツールをリリースし、Google などの他の大手企業も顧客がクラウド二酸化炭素排出量情報をエクスポートできるようにしています。このサービスは現在プレビュー段階です。

以上が人工知能の炭素コストの計算の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。