So reduzieren Sie den wachsenden CO2-Fußabdruck von KI

Je komplexer die Experimente zum maschinellen Lernen werden, desto größer wird ihr CO2-Fußabdruck. Nun haben Forscher die CO2-Kosten für das Training einer Reihe von Modellen in Cloud-Computing-Rechenzentren an verschiedenen Standorten berechnet. Ihre Erkenntnisse könnten Forschern helfen, die Emissionen von Arbeiten zu reduzieren, die auf künstlicher Intelligenz (KI) basieren.

Das Forschungsteam stellte erhebliche Unterschiede bei den Emissionen zwischen verschiedenen geografischen Standorten fest. Jesse Dodge, ein Forscher für maschinelles Lernen am Allen Institute for AI in Seattle, Washington, und Co-Leiter der Studie, sagte, dass im selben KI-Experiment „die effizientesten Bereiche Emissionen verursachten, die etwa einem Drittel der am wenigsten effizienten entsprachen.“ Regionen.“

Priya Donti, Forscherin für maschinelles Lernen an der Carnegie Mellon University in Pittsburgh, Pennsylvania, und Mitbegründerin der Gruppe AI for Climate Change, sagt, dass es bisher keine guten Werkzeuge zur Messung der erzeugten Emissionen gab durch cloudbasierte KI.

„Das ist eine großartige Arbeit, die dabei hilft, wichtige Gespräche darüber anzustoßen, wie man die Arbeitsbelastung durch maschinelles Lernen bewältigen kann, um Emissionen zu reduzieren“, sagte sie.

Location Matters

Dodge und seine Mitarbeiter, darunter Forscher von Microsoft, überwachten den Stromverbrauch, während sie 11 gängige KI-Modelle trainierten, von einem Sprachmodell, das Google Translate antreibt, bis hin zu einem Vision-Algorithmus, der Bilder automatisch beschriftet. Sie kombinierten diese Daten mit Schätzungen darüber, wie sich die Emissionen aus dem Netz, das 16 Microsoft Azure-Cloud-Computing-Server mit Strom versorgt, im Laufe der Zeit veränderten, um den Trainingsenergieverbrauch an verschiedenen Standorten zu berechnen.

Aufgrund von Veränderungen in der globalen Stromversorgung und Schwankungen in der Nachfrage haben Anlagen an verschiedenen Standorten unterschiedliche CO2-Fußabdrücke. Das Team stellte fest, dass das Training von BERT, einem gängigen Sprachmodell für maschinelles Lernen, in einem Rechenzentrum in Mittelamerika oder Deutschland je nach Jahreszeit 22 bis 28 Kilogramm Kohlendioxid ausstößt. Das ist mehr als das Doppelte der Emissionen, die bei demselben Experiment in Norwegen entstehen, wo der größte Teil seines Stroms aus Wasserkraft stammt, während Frankreich hauptsächlich auf Kernenergie setzt.

Wichtig ist auch die Zeit, die du jeden Tag mit Experimenten verbringst. Dodge sagte beispielsweise, dass das Training von KI nachts in Washington, wenn der Strom des Staates aus Wasserkraft stammt, zu geringeren Emissionen führen würde als das Training von KI tagsüber, wenn der Strom tagsüber auch von Tankstellen stammt. Er präsentierte die Ergebnisse letzten Monat auf der Konferenz der Association for Computing Machinery for Fairness, Accountability and Transparency in Seoul.

Auch die Emissionen von KI-Modellen variieren stark. Der Bildklassifizierer DenseNet verursachte beim Training eines mittelgroßen Sprachmodells namens Transformer (das viel kleiner ist als das beliebte Sprachmodell GPT-3 des Forschungsunternehmens OpenAI) in Kalifornien, San Francisco, die gleichen CO2-Emissionen wie das Aufladen eines Mobiltelefons die gleiche Menge an Emissionen, die ein typischer amerikanischer Haushalt in einem Jahr produziert. Darüber hinaus hat das Team nur 13 Prozent des Trainingsprozesses des Transformers durchlaufen; eine vollständige Schulung würde zu Emissionen „in der Größenordnung der Verbrennung eines ganzen Eisenbahnwaggons voller Kohle“ führen, sagt Dodge.

Er fügte hinzu, dass die Emissionszahlen auch deshalb unterschätzt werden, weil sie Faktoren wie den Stromverbrauch für die Gemeinkosten des Rechenzentrums oder die Emissionen, die für die Herstellung der notwendigen Hardware verwendet werden, nicht einbeziehen. Idealerweise sollten die Zahlen auch Fehlerbalken enthalten, um die erhebliche potenzielle Unsicherheit bei den Netzemissionen zu einem bestimmten Zeitpunkt zu berücksichtigen, sagte Donti.

Eine umweltfreundlichere Wahl

Da alle anderen Faktoren gleich bleiben, hofft Dodge, dass diese Forschung Wissenschaftlern dabei helfen kann, Rechenzentren für Experimente auszuwählen, die Emissionen minimieren. „Diese Entscheidung erwies sich als eine der wirkungsvollsten Entscheidungen, die man in dieser Disziplin treffen kann“, sagte er. Als Ergebnis dieser Arbeit stellt Microsoft nun Forschern, die seine Azure-Dienste nutzen, Informationen über den Stromverbrauch seiner Hardware zur Verfügung.

Chris Preist, der an der Universität Bristol im Vereinigten Königreich die Auswirkungen digitaler Technologie auf die ökologische Nachhaltigkeit untersucht, sagte, die Verantwortung für die Reduzierung von Emissionen sollte bei Cloud-Anbietern und nicht bei Forschern liegen. Lieferanten können sicherstellen, dass zu jedem Zeitpunkt die Rechenzentren mit der niedrigsten CO2-Intensität am meisten genutzt werden, sagte er. Sie können auch flexible Richtlinien anwenden, die es ermöglichen, maschinelle Lernläufe zu starten und zu stoppen, wenn die Emissionen reduziert werden, fügte Donti hinzu.

Dodge sagte, dass Technologieunternehmen, die die größten Experimente durchführen, die größte Verantwortung für Transparenz über Emissionen und deren Minimierung oder Ausgleich tragen sollten. Er stellte fest, dass maschinelles Lernen nicht immer schädlich für die Umwelt sei. Es kann dabei helfen, effiziente Materialien zu entwerfen, das Klima zu simulieren und die Entwaldung und gefährdete Arten zu verfolgen. Dennoch gibt der wachsende CO2-Fußabdruck der KI einigen Wissenschaftlern Anlass zur Sorge. Dodge sagte, dass einige Forschungsgruppen zwar an der Verfolgung von Kohlenstoffemissionen arbeiten, Transparenz sich jedoch „noch nicht zu einer Gemeinschaftsnorm entwickelt hat“.

„Der Sinn dieser Bemühungen besteht darin, zu versuchen, Transparenz in dieses Thema zu bringen, weil es derzeit schmerzlich daran mangelt“, sagte er.

Referenzen:

1. Dodge, J. et al. Preprint unter https://arxiv.org/abs/2206.05229 (2022).

Das obige ist der detaillierte Inhalt vonSo reduzieren Sie den wachsenden CO2-Fußabdruck von KI. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!