目次
現実に戻る
フォトニクスなど
フルサークル
ホームページ テクノロジー周辺機器 AI 人工知能の炭素コストの計算

人工知能の炭素コストの計算

Apr 12, 2023 am 08:52 AM
AI アルゴリズム データセット

興味深いトピックを探しているなら、人工知能 (AI) はあなたの期待を裏切らないでしょう。人工知能には、チェスをしたり、下手な手書き文字を解読したり、音声を理解したり、衛星画像を分類したりできる、一連の強力で気が遠くなるような統計アルゴリズムが含まれています。機械学習モデルをトレーニングするための巨大なデータセットが利用できることは、人工知能の成功の重要な要素の 1 つです。しかし、このような計算作業はすべて無料ではありません。一部の AI 専門家は、新しいアルゴリズムの構築に伴う環境への影響について懸念を強めており、この議論は、AI の二酸化炭素排出量を削減するために機械をより効率的に学習させる方法に関する新しいアイデアを生み出しています。

人工知能の炭素コストの計算

現実に戻る

詳細を説明するには、まず、24 時間稼働している (世界中の) 何千ものデータ センターを考慮する必要があります。 7 計算リクエストを処理します。 AI 研究者にとって、これらのタスクには、数十億のデータ要素 (またはトークン、つまり 4 文字または英語の単語の約 3/4 に相当する単語ビット) を使用した多層アルゴリズムのトレーニングが含まれます。それに伴う計算量は驚くべきものです。 AI インフラストラクチャ企業 Lambda は、人間のようなテキストを生成するための OpenAI の強力な自然言語モデルである GPT-3 に関するいくつかの興味深い事実を提供しました。 Lambda の分析によると、GPT-3 の 1,750 億パラメータ モデルを 1 台の NVIDIA RTX 8000 でトレーニングしようとすると、665 年かかります。これはグラフィックス カードに関しては決して楽ではありません。

簡単に言えば、モデルが大きくなるほど、パフォーマンスが向上します。Lambda のチームは、最先端の言語モデルのサイズが毎年 10 倍の割合で増大していると指摘しました。 AI の理解に戻る 二酸化炭素排出量に対する懸念の高まりデータセンターに戻ると、少なくとも大まかなレベルでは、さらに多くの数字を議論に追加することができます。国際エネルギー機関 (IEA) の推定によると、世界中のデータセンターの総電力消費量は 200 ~ 250 TWh です。この数字をイメージしやすくするために、機関車と車両が走行 1 キロメートルあたり平均 2.5 キロワット時を消費すると仮定すると、高速電車が 900 万キロメートル走行するには 225 テラワット時で十分です。 AI モデルのトレーニングと実行には一部 (データ センター内) のみが使用されますが、情報筋によると、機械学習とトレーニングのためのコンピューティング需要がデータ センターのアクティビティの平均的な増加を上回っています。

現時点では、データセンターがエネルギー需要を適切に管理していることを認めるのは当然です。環境への懸念が動機となっていますが、電力は重要な運営費であり、データセンターにとって「ミッションクリティカル」であることは言及する価値があります。世界的なインターネット トラフィックの急増(2020 年だけで 40% 増加)にもかかわらず、データセンターのエネルギー使用量は過去 10 年間比較的安定しています。 IEAは「データセンターサービスに対する需要の力強い伸びは、サーバー、ストレージ、ネットワークスイッチ、データセンターインフラストラクチャの継続的な効率向上と、効率的なクラウドとハイパースケールデータセンターによって提供されるサービスのシェアの増加によって相殺され続けている」としている。書きました。

フォトニクスなど

さらに、Amazon、Google、Facebook などの垂直統合型データセンター運営会社は、間もなく自社の施設が再生可能エネルギーで電力供給されていることを追加する予定です。当然のことながら、コンピューティング ハードウェアのラックや、暖房、冷房、照明などの必要な付随サービスに電力を供給するための電力は太陽光や風力から供給されるため、データ処理による環境負荷が軽減されます。しかし、フィナンシャル・タイムズ紙が選択しなかったように、たとえデータセンターのエネルギー契約で再生可能エネルギーを通じて電力消費の100%を相殺できたとしても、風力や太陽光が利用できない場合、施設は依然として化石燃料を消費する可能性がある。また、製造方法やコンポーネントの材料調達活動によっても炭素排出が発生するため、コンピューティング デバイス自体に組み込まれた炭素排出を考慮する必要もあります。これはマイクロソフトも認めています。

今年の初め、Microsoft は最近のブログ投稿で効率的なモデル トレーニングのトピックについて説明しました。開発者は、AI の二酸化炭素排出量を削減する、あるいは少なくともその成長を抑制する方法を模索することに忙しい。ここでのステ​​ップには、モデルの微調整中に計算要件とメモリ要件を削減する方法を探すことが含まれており、プロセスのこの段階で GPU 使用量を 3 分の 1 に削減することが推奨されています。モデル圧縮も期待できます。AI データのサブレイヤーは、以前に結合された条件の、よりスパースではあるものの、依然として代表的なバージョンにプルーニングされます。ここで、研究によると、モデルを圧縮すると、同様のアルゴリズム結果が得られながら、必要なトレーニング時間が約 40% 短縮される可能性があります。

開発者は、コードまたはデータ ホスティングの配置を最適化することで得られる利益を正確に特定する監視ツールの恩恵を受けることもできます。 「CodeCarbon は、Python コード ベースにシームレスに統合される軽量のソフトウェア パッケージです」と発明者らは書いており、ツールは無料で利用可能です。 「コードの実行に使用されるクラウドまたはパーソナル コンピューティング リソースによって生成される二酸化炭素 (CO2) の量を推定します。」

フルサークル

このサイクルは継続しており、将来的には、よりエネルギー効率の高い AI が導入され、より効率的なデータセンター運用を導き、ご想像のとおり、AI による二酸化炭素排出量を削減する可能性があります。現在、Cirrus Nexus は、データセンター運営者が炭素にコストを割り当て、人工知能アルゴリズムを通じてコストを伝播するために使用できるソフトウェアを提供しています。この結果は、CO2 の計算を示すだけでなく、利用可能な環境上の利点を最大化するためにユーザーが施設を構成する方法についての洞察も提供します。

今日のテクノロジーを支えるアルゴリズムの二酸化炭素排出量を可視化すると、さまざまな面で役立ちます。これにより、将来の人工知能をトレーニングするための最も効果的な方法についての議論が始まり、IT 部門とその顧客はコンピューティングの環境コストについてより責任を負うことになります。結果的にはビジネスにもプラスになるかもしれません。特に、Amazon は今年初めに顧客向け二酸化炭素排出量ツールをリリースし、Google などの他の大手企業も顧客がクラウド二酸化炭素排出量情報をエクスポートできるようにしています。このサービスは現在プレビュー段階です。

以上が人工知能の炭素コストの計算の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Jun 28, 2024 am 03:51 AM

このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Jun 10, 2024 am 11:08 AM

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

GenAI および LLM の技術面接に関する 7 つのクールな質問 GenAI および LLM の技術面接に関する 7 つのクールな質問 Jun 07, 2024 am 10:06 AM

AIGC について詳しくは、51CTOAI.x コミュニティ https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou を参照してください。これらの質問は、インターネット上のどこでも見られる従来の質問バンクとは異なります。既成概念にとらわれずに考える必要があります。大規模言語モデル (LLM) は、データ サイエンス、生成人工知能 (GenAI)、および人工知能の分野でますます重要になっています。これらの複雑なアルゴリズムは人間のスキルを向上させ、多くの業界で効率とイノベーションを推進し、企業が競争力を維持するための鍵となります。 LLM は、自然言語処理、テキスト生成、音声認識、推奨システムなどの分野で幅広い用途に使用できます。 LLM は大量のデータから学習することでテキストを生成できます。

微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります 微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります Jun 11, 2024 pm 03:57 PM

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 Jul 25, 2024 am 06:42 AM

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

あなたが知らない機械学習の 5 つの流派 あなたが知らない機械学習の 5 つの流派 Jun 05, 2024 pm 08:51 PM

機械学習は人工知能の重要な分野であり、明示的にプログラムしなくてもコンピューターにデータから学習して能力を向上させる機能を提供します。機械学習は、画像認識や自然言語処理から、レコメンデーションシステムや不正行為検出に至るまで、さまざまな分野で幅広く応用されており、私たちの生活様式を変えつつあります。機械学習の分野にはさまざまな手法や理論があり、その中で最も影響力のある 5 つの手法は「機械学習の 5 つの流派」と呼ばれています。 5 つの主要な学派は、象徴学派、コネクショニスト学派、進化学派、ベイジアン学派、およびアナロジー学派です。 1. 象徴主義は、象徴主義とも呼ばれ、論理的推論と知識の表現のためのシンボルの使用を強調します。この学派は、学習は既存の既存の要素を介した逆演繹のプロセスであると信じています。

改良された検出アルゴリズム: 高解像度の光学式リモートセンシング画像でのターゲット検出用 改良された検出アルゴリズム: 高解像度の光学式リモートセンシング画像でのターゲット検出用 Jun 06, 2024 pm 12:33 PM

01 今後の概要 現時点では、検出効率と検出結果の適切なバランスを実現することが困難です。我々は、光学リモートセンシング画像におけるターゲット検出ネットワークの効果を向上させるために、多層特徴ピラミッド、マルチ検出ヘッド戦略、およびハイブリッドアテンションモジュールを使用して、高解像度光学リモートセンシング画像におけるターゲット検出のための強化されたYOLOv5アルゴリズムを開発しました。 SIMD データセットによると、新しいアルゴリズムの mAP は YOLOv5 より 2.2%、YOLOX より 8.48% 優れており、検出結果と速度のバランスがより優れています。 02 背景と動機 リモート センシング技術の急速な発展に伴い、航空機、自動車、建物など、地表上の多くの物体を記述するために高解像度の光学式リモート センシング画像が使用されています。リモートセンシング画像の判読における物体検出

SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 Jul 17, 2024 pm 06:37 PM

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性​​を実証しています。 「S」で始まる関連研究

See all articles