Erreur de développement de la méta intelligence artificielle, le fait de ne pas utiliser le GPU à temps a entraîné un retard par rapport aux adversaires

Une note interne montre qu'à la fin de l'été 2022, le PDG de Meta, Mark Zuckerberg, a convoqué une équipe de dirigeants de l'entreprise pour analyser la puissance de calcul de l'entreprise pendant cinq heures, notamment pour gérer les capacités intelligentes de pointe de l'intelligence artificielle.

Le mémo souligne que malgré l'investissement important de Meta dans la recherche sur l'intelligence artificielle et la dépendance croissante de l'entreprise à l'intelligence artificielle pour soutenir sa croissance, la société de médias sociaux n'a pas encore adopté de systèmes logiciels et matériels coûteux optimisés pour l'intelligence artificielle pour son principal Les géants sont plus lents, ce qui entrave leur capacité à suivre le rythme de l’innovation à mesure qu’ils évoluent. Meta devra « modifier fondamentalement la conception de notre infrastructure physique, nos systèmes logiciels et notre approche pour fournir des plates-formes stables » si elle veut soutenir ses efforts en matière d'IA.

Le remaniement a augmenté les dépenses en capital de Meta d'environ 4 milliards de dollars par trimestre, soit près du double de 2021, et l'a amenée à suspendre ou à annuler ses projets de construction de centres de données sur quatre sites, a révélé la société.

Meta est confrontée à de graves difficultés financières depuis novembre de l'année dernière, l'entreprise a procédé à des licenciements sans précédent.

Dans le même temps, l'émergence de ChatGPT en novembre de l'année dernière a déclenché une concurrence entre les géants de la technologie, qui ont lancé des produits d'IA générative. Cinq sources ont déclaré que l'IA générative nécessite beaucoup de puissance de calcul, ce qui intensifie l'urgence de l'expansion des méta.

Des sources ont révélé que la lenteur de l’application des GPU dans l’intelligence artificielle par Meta est l’un des principaux problèmes. Les puces GPU sont idéales pour le traitement de l'IA car elles peuvent effectuer un grand nombre de tâches simultanément, réduisant ainsi le temps nécessaire au traitement de milliards de données. Cependant, les puces GPU sont plus chères et le fabricant de puces Nvidia contrôle 80 % du marché et conserve une avance dans les logiciels correspondants, ont indiqué des sources.

Jusqu'à l'année dernière, Meta utilisait principalement de grandes quantités de processeurs standards pour exécuter des charges de travail d'IA. Le processeur est la puce la plus performante dans le monde informatique. Bien qu’il domine les centres de données depuis des décennies, il ne fonctionne pas bien dans le domaine de l’intelligence artificielle.

Cela a amené les concurrents à devancer Meta dans le domaine de l'IA. Ils utilisent des puces GPU et disposent de meilleurs logiciels d’IA, ce qui leur permet de développer plus rapidement de nouveaux produits et services d’IA.

Selon deux sources, Meta a également commencé à utiliser ses propres puces personnalisées conçues en interne pour entraîner l'IA. Mais en 2021, cette approche à deux volets s’avère plus lente et moins efficace que celle construite avec des GPU en son cœur. Les puces GPU sont également plus flexibles que les puces Meta pour exécuter différents types de modèles, ont indiqué les deux sources.

Plus tard, alors que Zuckerberg faisait pivoter l'entreprise vers le métaverse, un manque de puissance de calcul a empêché l'entreprise de répondre aux menaces, notamment la montée en puissance de TikTok et les changements de confidentialité publicitaire menés par Apple.

Ces problèmes ont attiré l'attention de Peter Thiel, ancien membre du conseil d'administration de Meta. Début 2022, il a démissionné de son poste sans expliquer pourquoi. Selon deux personnes proches du dossier, lors d'une réunion du conseil d'administration avant son départ, Thiel a souligné que Zuckerberg et ses dirigeants étaient trop concentrés sur le développement du Metaverse et négligeaient le cœur de métier des médias sociaux de Meta, laissant l'entreprise vulnérable aux défis des concurrents. comme TikTok.

Meta avait prévu de lancer une puce personnalisée en 2022, mais a ensuite abandonné et a commandé des milliards de dollars en puces GPU Nvidia la même année. À ce stade, Meta est à la traîne par rapport à ses pairs tels que Google, qui a commencé en 2015 à déployer sa propre version personnalisée du GPU, appelée TPU.

Meta a ensuite commencé à réorganiser le département d'intelligence artificielle et a nommé deux nouveaux ingénieurs pour le diriger. Pendant cette période, des dizaines de dirigeants ont quitté Meta, et la quasi-totalité d’entre eux ont remplacé la direction de l’infrastructure d’IA.

Ensuite, Meta a commencé à réorganiser ses centres de données pour s'adapter à l'introduction des GPU. Ces puces nécessitent plus de puissance et génèrent plus de chaleur, et doivent être regroupées étroitement avec des connexions réseau dédiées entre elles. Les travaux nécessitent une capacité de réseau importante et de nouveaux systèmes de refroidissement liquide pour gérer la chaleur du cluster, nécessitant une « refonte complète » de ceux-ci.

Au fur et à mesure que les travaux progressent, Meta lance des plans internes pour développer une nouvelle puce plus ambitieuse, similaire à un GPU, capable à la fois de former des modèles d'intelligence artificielle et d'effectuer des inférences. Deux sources ont indiqué que le projet serait achevé vers 2025.

Le porte-parole de Meta, Jon Carvill, a refusé de commenter le projet de puce.

Bien que Meta développe les GPU, des sociétés telles que Microsoft et Google font la promotion de produits commerciaux d'IA générative, et Meta n'a pas fait beaucoup de progrès substantiels à cet égard.

Le directeur financier de Meta a admis en février que l'entreprise ne consacrait pas actuellement l'essentiel de sa puissance de calcul au travail génératif. "En gros, toutes nos capacités d'intelligence artificielle sont utilisées dans la publicité, les flux d'actualités et les Reels", a-t-elle déclaré. Reels est le format vidéo court de type TikTok de Meta, populaire auprès des jeunes utilisateurs.

Selon quatre sources, Meta n'a commencé à donner la priorité au développement de produits d'IA générative qu'après le lancement de ChatGPT en novembre de l'année dernière. Bien que la branche de recherche en IA de l'entreprise publie des prototypes technologiques depuis fin 2021, elle ne s'est pas concentrée sur leur transformation en produits. Cependant, alors que l'intérêt des investisseurs continue de croître, Zuckerberg a annoncé en février la création d'une nouvelle équipe d'IA générative de haut niveau qui, selon lui, « accélérerait » le travail de l'entreprise dans ce domaine.

Andrew Bosworth, directeur de la technologie, a également déclaré ce mois-ci que l'intelligence artificielle générative est le domaine dans lequel lui et Zuckerberg passent le plus de temps, et a prédit que Meta lancerait de nouveaux produits cette année.

Deux personnes proches de la nouvelle équipe ont déclaré que le travail de l'équipe en est à ses débuts et se concentre sur la construction d'un modèle de base, un programme de base qui peut ensuite être affiné et adapté à différents produits.

Le porte-parole de Meta, Carvill, a déclaré que la société développait des produits d'intelligence artificielle générative au sein de différentes équipes depuis plus d'un an. Il a confirmé que les travaux se sont accélérés au cours des mois qui ont suivi le lancement de ChatGPT.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!