Comment réduire l'empreinte carbone croissante de l'IA

À mesure que les expériences d’apprentissage automatique deviennent plus complexes, leur empreinte carbone augmente. Aujourd’hui, les chercheurs ont calculé le coût carbone de la formation d’une série de modèles dans des centres de données de cloud computing situés à différents endroits. Leurs résultats pourraient aider les chercheurs à réduire les émissions liées aux travaux reposant sur l’intelligence artificielle (IA).

L'équipe de recherche a découvert des différences significatives dans les émissions selon les zones géographiques. Jesse Dodge, chercheur en apprentissage automatique à l'Allen Institute for AI à Seattle, Washington, et co-responsable de l'étude, a déclaré que dans la même expérience d'IA, « les zones les plus efficaces produisaient des émissions représentant environ un tiers des zones les moins efficaces ». régions. »

Priya Donti, chercheuse en apprentissage automatique à l'Université Carnegie Mellon de Pittsburgh, en Pennsylvanie, et co-fondatrice du groupe AI for Climate Change, affirme que jusqu'à présent, il n'existait pas de bons outils pour mesurer les émissions produites. par l'IA basée sur le cloud.

« C'est un excellent travail qui permet d'entamer des conversations importantes sur la façon de gérer les charges de travail d'apprentissage automatique pour réduire les émissions », a-t-elle déclaré.

Location Matters

Dodge et ses collaborateurs, y compris des chercheurs de Microsoft, ont surveillé la consommation d'énergie tout en entraînant 11 modèles d'IA courants, depuis un modèle de langage qui alimente Google Translate jusqu'à un algorithme de vision qui étiquette automatiquement les images. Ils ont combiné ces données avec des estimations de l'évolution des émissions du réseau alimentant 16 serveurs de cloud computing Microsoft Azure au fil du temps pour calculer la consommation d'énergie de la formation sur une gamme d'emplacements.

En raison de l'évolution de l'approvisionnement en électricité à l'échelle mondiale et des fluctuations de la demande, les installations situées dans différents endroits ont des empreintes carbone différentes. L'équipe a découvert que la formation de BERT, un modèle de langage d'apprentissage automatique commun, dans un centre de données en Amérique centrale ou en Allemagne émettrait 22 à 28 kilogrammes de dioxyde de carbone, selon la période de l'année. Cela représente plus du double des émissions de la même expérience en Norvège, qui tire l'essentiel de son électricité de l'énergie hydroélectrique, tandis que la France dépend principalement de l'énergie nucléaire.

Le temps que vous passez chaque jour à faire des expériences est également important. Par exemple, a déclaré Dodge, former l'IA la nuit à Washington, lorsque l'électricité de l'État provient de l'hydroélectricité, entraînerait des émissions inférieures que la formation de l'IA pendant la journée, lorsque l'électricité de jour provient également des stations-service. Il a présenté les résultats le mois dernier lors de la conférence de l'Association for Computing Machinery for Fairness, Accountability and Transparency à Séoul.

Les émissions des modèles d'IA varient également considérablement. Le classificateur d'images DenseNet a produit les mêmes émissions de CO2 que le chargement d'un téléphone portable tout en entraînant un modèle de langage de taille moyenne appelé Transformer (qui est beaucoup plus petit que le modèle de langage populaire GPT-3, fabriqué par la société de recherche OpenAI) en Californie. San Francisco produit environ le la même quantité d’émissions qu’un ménage américain typique produit en un an. De plus, l'équipe n'a suivi que 13 % du processus de formation du Transformer ; une formation complète produirait des émissions « de l'ordre de grandeur de la combustion d'un wagon entier rempli de charbon », explique Dodge.

Il a ajouté que les chiffres des émissions sont également sous-estimés car ils n'incluent pas des facteurs tels que l'électricité utilisée pour les frais généraux du centre de données ou les émissions utilisées pour créer le matériel nécessaire. Idéalement, a déclaré Donti, les chiffres devraient également inclure des barres d'erreur pour tenir compte de l'incertitude potentielle significative des émissions du réseau à un moment donné.

Un choix plus écologique

Tous les autres facteurs étant égaux, Dodge espère que cette recherche pourra aider les scientifiques à choisir des centres de données pour des expériences minimisant les émissions. "Cette décision s'est avérée être l'une des choses les plus marquantes que l'on puisse faire dans la discipline", a-t-il déclaré. Grâce à ces travaux, Microsoft fournit désormais des informations sur la consommation électrique de son matériel aux chercheurs utilisant ses services Azure.

Chris Preist, qui étudie l'impact de la technologie numérique sur la durabilité environnementale à l'Université de Bristol au Royaume-Uni, a déclaré que la responsabilité de la réduction des émissions devrait incomber aux fournisseurs de cloud plutôt qu'aux chercheurs. Les fournisseurs peuvent garantir qu’à tout moment, les centres de données ayant la plus faible intensité carbone sont les plus utilisés, a-t-il déclaré. Donti ajoute qu'ils peuvent également utiliser des politiques flexibles qui permettent de démarrer et d'arrêter les opérations d'apprentissage automatique lorsque les émissions sont réduites.

Dodge a déclaré que les entreprises technologiques menant les plus grandes expériences devraient assumer la plus grande responsabilité en matière de transparence sur les émissions et de les minimiser ou de les compenser. Il a souligné que l’apprentissage automatique n’est pas toujours nocif pour l’environnement. Il peut aider à concevoir des matériaux efficaces, à simuler le climat et à suivre la déforestation et les espèces menacées. Pourtant, l’empreinte carbone croissante de l’IA devient une source de préoccupation majeure pour certains scientifiques. Dodge a déclaré que même si certains groupes de recherche travaillent sur le suivi des émissions de carbone, la transparence "n'est pas encore devenue une norme communautaire".

« Tout l’intérêt de cet effort est d’essayer d’apporter de la transparence sur ce sujet car cela fait cruellement défaut en ce moment », a-t-il déclaré.

Références :

1.Dodge, J. et al. Prépublication sur https://arxiv.org/abs/2206.05229 (2022). ).

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!