L'intelligence artificielle génératrice de texte a récemment pris d'assaut Internet : ChatGPT est populaire pour sa capacité à fournir des réponses très détaillées et presque réalistes à presque toutes les questions auxquelles on peut penser. L’émergence d’applications à grande échelle a rendu les gens pleinement confiants dans les avancées technologiques de l’IA, mais peu de gens savent que derrière cela, un cadre d’apprentissage automatique distribué alimente cette révolution de l’IA générative.
Le framework informatique distribué Ray de la startup Anyscale soutenue par A16z est essentiel pour permettre à OpenAI de dynamiser sa formation de modèles comme ChatGPT. Ray est à l'origine de tous les récents modèles de langage à grande échelle d'OpenAI – et il pourrait également être le cadre derrière le très attendu GPT-4 d'OpenAI. Avec la mise en œuvre continue de technologies de modélisation à grande échelle, les initiés de l'industrie estiment qu'une industrie valant des milliards de dollars est en train de se former en générant un contenu proche des humains.
Dans ce domaine, Ray est le cadre le plus influent. Avant son avènement, OpenAI utilisait une collection personnalisée d’outils pour développer de grands modèles. Mais le président d'OpenAI, Greg Brockman, a déclaré lors du Ray Summit plus tôt cette année que l'entreprise s'était tournée vers Ray à mesure que les défis auxquels elle était confrontée augmentaient.
Lukas Biewald, PDG de la société de logiciels Weights & Biases, estime que Ray est déjà une étoile montante dans le monde de l'IA. "Grâce aux nouveaux outils, vous pouvez exécuter le même code sur un ordinateur portable et sur un grand serveur distribué. C'est un changement énorme, et cela va gagner en importance à mesure que les modèles grandissent", a déclaré Biewald.
À mesure que la technologie mûrit, Ray a attiré l'attention du marché des capitaux. Les actions d'Anyscale sont devenues une denrée rare, Business Insider rapportant que son dernier cycle de financement, une extension de sa série C, s'est clôturé en quelques jours pour une valorisation de plus d'un milliard de dollars, selon des sources proches du dossier.
Certains investisseurs ont décrit Anyscale comme le « prochain Databricks » plein d’espoir d’Horowitz – une description qui a du sens, étant donné que le co-fondateur de la startup, Ion Stoica, est un géant des données de 31 milliards de dollars.
« L'intelligence artificielle se développe à un rythme incroyable et les gens essaient constamment de nouvelles approches », a déclaré Robert Nishihara, PDG d'Anyscale. "ChatGPT combine de nombreux travaux antérieurs sur de grands modèles de langage. En plus de cela, vous devez disposer d'une infrastructure qui permet la flexibilité, l'innovation rapide et l'expansion de différents algorithmes et méthodes
En raison de la popularité de ChatGPT." Derrière les nouveaux outils se cachent des modèles de plus en plus grands, et les entreprises technologiques doivent repenser entièrement la manière dont elles développent l’IA. Ray est né pour faciliter la formation de ces modèles massifs et peut contenir des centaines de milliards de points de données, donnant à chaque réponse une sensation quasi réaliste.
Ray est un cadre informatique distribué basé sur le partage de mémoire, adapté au calcul parallèle à granularité fine et au calcul hétérogène, qui fournit une infrastructure sous-jacente pour gérer l'allocation. La tâche complexe de former des modèles d’apprentissage automatique.
En 2017, des chercheurs de l'UC Berkeley ont soumis pour la première fois l'article de Ray « Ray : A Distributed Framework for Emerging AI Applications » :
Dans ce travail, des chercheurs prédisez à quoi ressemblera la prochaine génération d’applications d’IA : une application qui interagit en permanence avec l’environnement et apprend des actions interactives. Ces applications doivent de plus en plus effectuer des tâches dans des environnements dynamiques, réagir aux changements de l'environnement et effectuer une série d'actions pour atteindre des objectifs à long terme. Ces fonctionnalités ont mis en avant des exigences système nouvelles et exigeantes en termes de performances et de flexibilité de l'environnement d'exploitation, c'est pourquoi les chercheurs ont proposé un cadre Ray distribué.
Ray implémente une interface unifiée capable d'exprimer le parallélisme des tâches et le calcul basé sur les acteurs, pris en charge par un seul moteur d'exécution dynamique. Pour répondre aux exigences de performances, Ray utilise un planificateur distribué et un stockage distribué tolérant aux pannes pour gérer l'état de contrôle du système. Il s'agit du premier framework informatique distribué qui unifie la formation, la simulation et les services. Il unifie les calculs parallèles de rôles (acteurs) et de tâches (tâches) basés sur un moteur d'exécution de tâches dynamique, et garantit la haute évolutivité et les hautes performances du framework. tolérance.
L'architecture de Ray.
Sur la base de ce travail, en décembre 2019, Robert Nishihara, Philipp Moritz et Ion Stoica de l'UC Berkeley, ainsi que le professeur Michael I. Jordan de Berkeley, ont fondé Anyscale, qui a levé 260 millions de dollars à ce jour.
Les praticiens de l'apprentissage automatique peuvent souvent exécuter de petits modèles en utilisant des ensembles de données limités sur leurs ordinateurs portables, tels que des modèles simples qui prédisent les produits que les utilisateurs achèteront. Cependant, les ordinateurs portables ne sont pas réalisables pour les très gros modèles comme ChatGPT, qui nécessitent d’énormes serveurs pour s’entraîner.
La formation d'un modèle utilisant un grand nombre d'appareils est confrontée à un défi important : coordonner la formation sur différents matériels. Ray résout simplement ce problème. Il fournit aux praticiens un mécanisme permettant de gérer différents matériels en tant qu'unité afin de déterminer quelles données vont où, gérer les pannes, etc. Les types de matériel couvrent Google Cloud, AWS et d'autres. Un portefeuille de produits qui résolvent le même problème. . En outre, Ray a également étendu le terme « acteur », un concept de programmation clé dans d'autres langages, à Python, connu pour être le langage de choix pour les programmes d'apprentissage automatique.
En tant que cadre informatique distribué, Ray présente deux avantages clés, à savoir la localisation (Locality-aware) et le placement de tâches (placement de tâches). Comme le montre la figure ci-dessous, Ray est capable de faire évoluer le système pour prendre en charge des tâches à haut débit et à granularité fine tout en conservant la tolérance aux pannes et la planification des tâches à faible latence.
Ray supprime une complexité significative liée à la formation de grands modèles pour OpenAI, permettant ainsi à l'entreprise de se concentrer sur les capacités critiques du modèle.
Une nouvelle génération d'IA nécessite de nouveaux outils de développement, et Ray n'est que l'un des nombreux outils d'apprentissage automatique de nouvelle génération qui émergent rapidement et qui bouleversent rapidement la façon dont l'IA est développée. Par exemple, le framework JAX de Google a également reçu une grande attention. JAX devrait devenir l'épine dorsale des principaux outils d'apprentissage automatique de Google et a été largement adopté dans DeepMind et Google Brain.
De même, Coiled, une startup soutenue par FirstMark Capital et Bessemer Venture Partners, a développé un framework informatique parallèle appelé Dask.
Les modèles linguistiques à grande échelle libèrent davantage de potentiel de nos jours, et ces nouveaux outils d'apprentissage automatique construiront des modèles linguistiques plus puissants pour les géants de la technologie et les startups du secteur.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Introduction au framework utilisé par vscode
utilisation de la fonction js
Une liste complète des DNS publics couramment utilisés
virus informatique
Introduction au théorème de Kirchhoff
que signifie pm
Comment ouvrir les autorisations de portée
Que se passe-t-il lorsque je n'arrive pas à me connecter au réseau ?
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
