機械学習の実験がより複雑になるにつれて、二酸化炭素排出量も増大しています。現在、研究者らは、さまざまな場所にあるクラウド コンピューティング データ センターで一連のモデルをトレーニングする場合の炭素コストを計算しました。彼らの発見は、研究者が人工知能(AI)に依存する作業からの排出量を削減するのに役立つ可能性がある。
研究チームは、地理的場所によって排出量に大きな違いがあることを発見しました。ワシントン州シアトルのアレン AI 研究所の機械学習研究者であり、この研究の共同責任者であるジェシー ドッジ氏は、同じ AI 実験で、「最も効率的な領域では、最も効率の悪い領域の約 3 分の 1 の排出量が発生した」と述べました。地域。」
カーネギー メロン大学 (ペンシルバニア州ピッツバーグ) の機械学習研究者であり、気候変動 AI グループの共同創設者であるプリヤ ドンティ氏は、これまでのところ、クラウドを測定するための優れたツールは存在しないと述べました。 AI に基づいた生産、排出量。
「これは、排出量を削減するために機械学習のワークロードを管理する方法についての重要な議論に貢献する素晴らしい成果です」と彼女は言いました。
Dodge と Microsoft の研究者を含む共同研究者は、Google 翻訳を強化する言語モデルから画像に自動的にラベルを付けるための Vision アルゴリズムまで、11 の一般的な AI モデルをトレーニングしながら消費電力を監視しました。彼らはこのデータを、16 台の Microsoft Azure クラウド コンピューティング サーバーに電力を供給するグリッドからの排出量が時間の経過とともにどのように変化したかの推定値と組み合わせて、さまざまな場所にわたるトレーニング エネルギー消費量を計算しました。
世界的な電力供給の変化や需要の変動により、場所が異なれば施設の二酸化炭素排出量も異なります。研究チームは、一般的な機械学習言語モデルである BERT を中央アメリカまたはドイツのデータセンターでトレーニングすると、時期に応じて 22 ~ 28 キログラムの二酸化炭素が排出されることを発見しました。これは、電力のほとんどを水力発電から得ている一方、フランスが主に原子力に依存しているノルウェーでの同じ実験による排出量の2倍以上だ。
毎日の実験に費やす時間も重要です。例えば、ダッジ氏は、州の電力が水力発電であるワシントンで夜間にAIを訓練すると、昼間の電力もガソリンスタンドから供給される日中にAIを訓練するよりも排出量が少なくなるだろうと述べた。同氏は先月、ソウルで開催された公平性、説明責任、透明性のためのコンピューティング機械協会の会議でこの結果を発表した。
AI モデルからの排出量も大きく異なります。画像分類器 DenseNet は、カリフォルニア州サンフランシスコで Transformer と呼ばれる中規模の言語モデル (調査会社 OpenAI が作成した人気の言語モデル GPT-3 よりもはるかに小さい) をトレーニングする際に、携帯電話の充電と同じ CO2 排出量を生成しました。これは、一般的なアメリカの家庭が年間に排出する量と同じ量です。さらに、チームはトランスフォーマーの訓練プロセスの 13 パーセントしか行っていないが、完全に訓練すると「石炭を積んだ鉄道車両全体を燃やすのに匹敵する」排出量が発生するだろうとダッジ氏は述べている。
同氏は、データセンターのオーバーヘッドに使用される電力や、必要なハードウェアの作成に使用される排出量などの要素が含まれていないため、排出量の数値も過小評価されていると付け加えました。ドンティ氏は、理想的には、特定の時点における送電網排出量の潜在的な重大な不確実性を考慮して、数値には誤差範囲も含めるべきだと述べた。
他のすべての要素が同じであれば、ダッジは、この研究が科学者が排出量を最小限に抑える実験用のデータセンターを選択するのに役立つことを願っています。 「この決定は、この分野でできる最も影響力のあることの一つであることが判明した」と彼は語った。この取り組みの結果、Microsoft は現在、Azure サービスを使用している研究者にハードウェアの電力消費に関する情報を提供しています。
英国のブリストル大学でデジタル技術が環境の持続可能性に及ぼす影響を研究しているクリス・プリスト氏は、排出削減の責任は研究者ではなくクラウドプロバイダーにあるべきだと述べた。サプライヤーはいつでも、炭素強度が最も低いデータセンターが最も多く使用されるようにすることができる、と同氏は述べた。 Donti 氏は、排出量が削減された場合に機械学習の実行を開始および停止できる柔軟なポリシーを採用することもできると付け加えました。
ダッジ氏は、大規模な実験を実施するハイテク企業は排出に関する透明性と排出量の最小化または相殺について最大の責任を負うべきだと述べた。同氏は、機械学習が常に環境に有害であるわけではないと指摘した。効率的な材料の設計、気候のシミュレーション、森林破壊や絶滅危惧種の追跡に役立ちます。それでも、AI による二酸化炭素排出量の増大は、一部の科学者にとって大きな懸念材料となっています。ドッジ氏は、一部の研究グループが炭素排出量の追跡に取り組んでいるものの、透明性は「地域社会の規範としてまだ発展していない」と述べた。
「この取り組みの要点は、この問題に透明性をもたらそうとすることだ。なぜなら、現時点では透明性が著しく欠けているからだ」と彼は語った。
1.Dodge, J. et al. プレプリント (https://arxiv.org/abs/2206.05229 (2022))。
以上が増大する AI の二酸化炭素排出量を削減する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。