Progrès de la puce IA auto-développée par Meta : la première puce IA sera lancée en 2025, et il y aura également une puce IA vidéo

Le 19 mai, selon le média étranger Techcrunch, lors d'un événement en ligne ce matin, la société mère de Facebook Meta a divulgué pour la première fois les progrès de sa puce d'IA auto-développée, qui peut prendre en charge ses outils de conception et de création publicitaires récemment lancés. technologie.

△Le PDG de Meta, Zuckerberg, présente la première puce d'IA auto-développée MTIA

Le vice-président de l'infrastructure de Meta, Alexis Bjorlin, a déclaré : « Construire nos propres capacités [matérielles] nous permet de contrôler chaque couche de la pile, de la conception du centre de données au cadre de formation. Ce niveau d'intégration verticale est nécessaire pour percer à grande échelle. Les limites de la recherche sur l’intelligence artificielle. »

La première puce IA auto-développée MTIA

Au cours de la dernière décennie, Meta a dépensé des milliards de dollars pour recruter les meilleurs scientifiques des données et créer de nouveaux types d'intelligence artificielle, notamment en alimentant désormais des moteurs de découverte, des filtres de modération et des recommandations de publicités dans ses applications et services d'intelligence artificielle. Cette entreprise s’efforce de transformer ses nombreuses innovations ambitieuses en matière de recherche en IA en produits, notamment dans le domaine de l’IA générative.

Depuis 2016, les principales sociétés Internet développent activement des puces d'IA cloud. Google a conçu et déployé des puces d'IA auto-développées appelées Tensor Processing Units (TPU) pour la formation de systèmes d'IA génératifs tels que PaLM-2, Imagen, etc. Amazon fournit aux clients AWS deux puces d'IA auto-développées, AWS Trainium et AWS ; Inférence. Puce pour application. Selon certaines rumeurs, Microsoft travaillerait également avec AMD pour développer une puce IA appelée Athena.

Auparavant, Meta utilisait principalement une combinaison de processeurs tiers et de puces personnalisées conçues pour accélérer les algorithmes d'IA afin d'exécuter ses charges de travail d'IA - les processeurs ont tendance à être moins efficaces que les GPU pour traiter de telles tâches. Afin de renverser la situation, Meta a développé sa puce d'IA auto-développée de première génération MTIA (MTIA v1) basée sur le processus 7 nm en 2020.

Meta appelle la puce AI Meta Training and Inference Accelerator, ou MTIA en abrégé, et la décrit comme faisant partie d'une « famille » de puces IA qui accélèrent les charges de travail de formation et d'inférence de l'IA. Un MTIA est un ASIC, une puce qui combine différents circuits sur un seul substrat, lui permettant d'être programmé pour effectuer une ou plusieurs tâches en parallèle.

« Pour atteindre des niveaux d'efficacité et de performances plus élevés dans nos charges de travail importantes, nous avions besoin d'une solution personnalisée conçue conjointement avec le modèle, la pile logicielle et le matériel système pour améliorer les différents services pour l'expérience de nos utilisateurs », a expliqué Bjorlin.

Selon l'introduction, MTIA v1 est fabriqué à l'aide d'un processus de 7 nm et sa mémoire interne de 128 Mo peut être étendue jusqu'à 128 Go. Meta a déclaré que MTIA peut être spécialement utilisé pour gérer les travaux liés aux systèmes de recommandation d'IA, aidant les utilisateurs à trouver le meilleur contenu de publication et à le présenter aux utilisateurs plus rapidement, et ses performances de calcul et son efficacité de traitement sont meilleures que celles du processeur. De plus, dans le test de référence de Meta design, MTIA est également plus efficace que le GPU dans le traitement des modèles d'IA de « faible complexité » et de « complexité moyenne »

.

Meta a déclaré qu'il reste encore du travail à faire dans les domaines de la mémoire et du réseau des puces MTIA. À mesure que l'échelle des modèles d'IA augmente, cela créera des goulots d'étranglement et nécessitera que la charge de travail soit répartie sur plusieurs puces. Récemment, Meta a acquis à cet effet l'équipe de technologie de réseau IA de la licorne britannique de puces Graphcore, basée à Oslo. Actuellement, MTIA se concentre davantage sur les capacités d'inférence que sur les capacités de formation pour les « charges de travail recommandées » de la famille d'applications Meta.

Meta a souligné qu'elle continuerait à améliorer MTIA, ce qui a « considérablement » amélioré l'efficacité de l'entreprise en termes de performances par watt lors de l'exécution des charges de travail recommandées - permettant ainsi à Meta d'exécuter des charges de travail d'intelligence artificielle « plus améliorées » et « de pointe ». .

Selon le plan, Meta lancera officiellement sa puce MTIA auto-développée en 2025.

Le supercalculateur IA RSC de Meta

Les rapports indiquent que Meta avait initialement prévu de lancer à grande échelle ses puces d'IA personnalisées auto-développées en 2022, mais l'a finalement retardé et a plutôt commandé pour des milliards de dollars de GPU Nvidia pour son supercalculateur Research SuperCluster (RSC). ses multiples centres de données étaient nécessaires.

Selon les rapports, RSC a fait ses débuts en janvier 2022 et a été assemblé en partenariat avec Penguin Computing, Nvidia et Pure Storage, et a achevé la deuxième phase d'expansion. Meta indique qu'il contient désormais un total de 2 000 systèmes Nvidia DGX A100, équipés de 16 000 GPU Nvidia A100.

Bien que la puissance de calcul actuelle de RSC soit à la traîne par rapport aux supercalculateurs IA de Microsoft et de Google. Google affirme que son supercalculateur axé sur l'IA est alimenté par 26 000 GPU Nvidia H100. Meta note que l’avantage de RSC est qu’il permet aux chercheurs de former des modèles à l’aide d’exemples réels issus des systèmes de production de Meta. Contrairement à l'infrastructure d'IA précédente de l'entreprise, qui exploitait des ensembles de données open source et accessibles au public, cette infrastructure est désormais disponible.

Les supercalculateurs RSC AI font progresser la recherche sur l’IA dans plusieurs domaines, y compris l’IA générative, repoussant les limites de la recherche. "Il s'agit vraiment de la productivité de la recherche sur l'IA", a déclaré un porte-parole de Meta. Nous souhaitons fournir aux chercheurs en IA une infrastructure de pointe qui leur permet de développer des modèles et leur fournir une plateforme de formation pour faire progresser l’IA. »

Meta affirme qu'à son apogée, RSC pourrait atteindre près de 5 exaflops de puissance de calcul, ce qui en ferait l'un des plus rapides au monde.

Meta utilise RSC pour la formation LLaMA, où RSC fait référence à l'acronyme de « Large Scale Language Model Meta Artificial Intelligence ». Meta indique que le plus grand modèle LLaMA a été formé sur 2 048 GPU A100 et a pris 21 jours.

« Construire nos propres capacités de calcul intensif nous permet de contrôler chaque couche de la pile ; de la conception du centre de données aux cadres de formation », a ajouté un porte-parole de Meta : « RSC aidera les chercheurs en IA de Meta à créer de nouveaux et meilleurs modèles d'IA capables d'apprendre à partir de milliers de milliards de données. des exemples ; travaillez dans des centaines de langues différentes ; travaillez ensemble pour analyser de manière transparente du texte, des images et des vidéos ; développez de nouveaux outils de réalité augmentée et bien plus encore.

À l'avenir, Meta pourrait introduire sa puce d'IA auto-développée MTIA dans RSC pour améliorer encore ses performances d'IA.

Puce AI MSVP pour le traitement vidéo

En plus de MTIA, Meta développe également une autre puce d'IA appelée Meta Scalable Video Processor (MSVP), qui est principalement conçue pour répondre aux besoins croissants de traitement de données de la vidéo à la demande et du streaming en direct, Meta espère finalement devenir mature et. Un travail de traitement de contenu audio et vidéo stable est effectué par MSVP.

En fait, Meta a commencé à concevoir des puces de traitement vidéo personnalisées côté serveur il y a de nombreuses années et a annoncé le lancement d'ASIC pour les travaux de transcodage et d'inférence vidéo en 2019. C’est le point culminant de certains de ces efforts et une nouvelle poussée vers un avantage concurrentiel. Surtout dans le domaine du streaming vidéo en direct.

« Rien que sur Facebook, les gens passent 50 % de leur temps à regarder des vidéos », ont écrit Harikrishna Reddy et Yunqing Chen, directeurs techniques de Meta, dans un article de blog publié le 19 au matin : « Afin de servir les gens du monde entier, les vidéos téléchargées sur Facebook ou Instagram sont transcodés en plusieurs flux binaires avec différents formats d'encodage, résolutions et qualités pour divers appareils (mobile, ordinateur portable, TV, etc.)… MSVP est programmable et évolutif, et peut être configuré pour prendre en charge efficacement le transcodage de haute qualité requis pour VOD ainsi que la faible latence et les temps de traitement plus rapides requis pour la diffusion en direct. »

△MSVP

Meta indique que son plan est de décharger à terme la plupart des charges de travail de traitement vidéo « stables et matures » vers MSVP et d'utiliser uniquement l'encodage vidéo logiciel pour les charges de travail qui nécessitent une personnalisation spécifique et une qualité « considérablement » supérieure. Meta indique que nous continuerons à améliorer la qualité vidéo avec MSVP en utilisant des méthodes de pré-traitement telles que la réduction intelligente du bruit et l'amélioration de l'image, ainsi que des méthodes de post-traitement telles que la suppression des artefacts et la super-résolution.

« À l'avenir, MSVP nous permettra de prendre en charge davantage de cas d'utilisation et de besoins les plus importants de Meta, y compris la vidéo courte – permettant une diffusion efficace de l'IA générative, de l'AR/VR et d'autres contenus Metaverse », ont déclaré Reddy et Chen.

Éditeur : Épée Xinzhixun-Ruruuni

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!