Rassemblant des modèles à grande échelle à portée de main, la plateforme de développement et de calcul Yanxi AI est officiellement lancée

Au cours d'une année où les grands modèles sont devenus populaires, le goulot d'étranglement de développement le plus important dans l'industrie de l'IA générative est apparu du côté de la puissance de calcul. Le 20 septembre, Sequoia America a mentionné dans l'article « The Second Act of Generative AI » que de nombreuses entreprises d'IA générative ont rapidement découvert au cours de l'année écoulée que leur goulot d'étranglement en matière de développement n'était pas la demande des clients, mais la tension des GPU. Les longs temps d'attente pour les GPU sont devenus la norme, à tel point qu'un modèle économique simple a émergé : payer des frais d'abonnement pour éviter la file d'attente et obtenir de meilleurs modèles.

Dans la formation de grands modèles, l'augmentation exponentielle de la taille des paramètres a entraîné une forte augmentation des coûts de formation. Pour les ressources GPU limitées, il est devenu plus important de maximiser les performances du matériel et d'améliorer l'efficacité de la formation.

La plate-forme informatique de développement d'IA est une solution importante. Grâce à la plate-forme informatique de développement d'IA, un grand développeur de modèles peut réaliser l'intégralité du processus de développement d'IA, couvrant la préparation des données, le développement de modèles, la formation de modèles et le déploiement de modèles en un seul arrêt. En plus d'abaisser le seuil de développement de grands modèles, la plate-forme informatique d'IA rend les ressources informatiques plus efficaces en fournissant des services d'optimisation de la formation et de gestion des inférences.

Le 26 septembre, selon l'introduction par JD Cloud de la plate-forme de développement et de calcul Yanxi AI lors de la conférence de la ville de Xi'an, en utilisant la plate-forme de développement et de calcul Yanxi AI lancée par JD Cloud, elle peut être achevée en moins de par semaine. L'ensemble du processus de préparation des données, de formation du modèle et de déploiement du modèle, qui nécessitait auparavant une équipe de plus de 10 scientifiques, ne nécessite désormais que 1 à 2 employés algorithmiques grâce à l'optimisation de l'outil d'accélération du modèle de plate-forme, l'équipe peut économiser 90 % ; des coûts d’inférence.

Plus important encore, à une époque où les grands modèles entrent rapidement dans des milliers d'industries, la plate-forme informatique de développement Yanxi AI permet à la fois aux développeurs d'algorithmes de grands modèles et aux développeurs d'applications, et peut également être utilisée par les développeurs d'applications. développement de produits à grande échelle dans un format low-code. Le seuil de développement de grands modèles industriels est devenu plus bas et il sera plus facile d'utiliser et de transformer de grands modèles.

L'ère des grands modèles nécessite une nouvelle infrastructure numérique

Pour un développeur de grands modèles, s'il n'y a pas de plate-forme informatique de développement d'IA, cela signifie : pendant le processus de développement d'algorithmes et d'applications, vous devez construire le sous-jacent superposez-vous Pour une série de systèmes tels que la planification des ressources informatiques GPU, le réseau de stockage et la gestion et le contrôle des modèles, le processus de développement global sera très primitif et le seuil est très élevé.

Pour une entreprise qui promeut en interne des applications industrielles de grande envergure, cela signifie une augmentation rapide des coûts et une difficulté à assurer l'efficacité de la formation.

Une année s'est écoulée et des secteurs tels que la finance, le marketing, l'automobile, le contenu, le droit et le bureau s'intègrent activement aux grands modèles. Le puissant potentiel des grands modèles est devenu un facteur important dans la restructuration du paysage concurrentiel dans de nombreux secteurs. Trouver plus rapidement des scénarios combinant votre entreprise avec de grands modèles et les mettre en œuvre efficacement est devenu la clé de la concurrence.

Mais développer des modèles industriels n'est pas une chose facile. Aujourd'hui, nous sommes toujours confrontés à une série de défis et d'opportunités :

En termes de données, les données de différentes industries montrent différentes concentrations et états de décentralisation. le temps de cycle et la difficulté de traitement sont différents ; comment charger efficacement des données multimodales massives pendant la formation est un problème qui doit être résolu.

Deuxièmement, la stabilité de l'environnement lors de la formation de grands modèles, le traitement de la récupération des points d'arrêt sur panne et la formation continue ont un grand impact sur l'efficacité de la formation dans le processus de formation et de déploiement, sur la manière de planifier efficacement la puissance de calcul et d'améliorer le calcul ; pouvoir L'utilisation des ressources humaines est également une question de coût que les entreprises doivent prendre en compte.

JD Cloud a partagé lors de la conférence de la ville de Xi'an qu'au cours de la dernière période de pratique, JD Cloud a découvert que le défi des grands modèles industriels n'est pas seulement la technologie elle-même, mais aussi la manière de combiner la technologie avec les applications industrielles. Comment équilibrer les coûts, l'efficacité et l'expérience est le véritable défi de la mise en œuvre de la grande industrie du modélisme.

Revenir au niveau de développement le plus élémentaire et équilibrer les coûts, l'efficacité et l'expérience signifie que certains problèmes doivent être résolus et optimisés.

Gong Yicheng, chef du département de recherche et développement de produits IaaS de Jingdong Cloud, a en outre expliqué dans l'interview que les exigences en matière d'infrastructure de développement à l'ère des grands modèles étaient extrêmement différentes des exigences traditionnelles. En termes d'efficacité, dans le passé, même les GPU relativement peu coûteux pouvaient effectuer de nombreux travaux connexes. Cependant, dans les scénarios de grands modèles, le développement de l'IA s'est fortement appuyé sur des GPU coûteux tels que l'A100 et l'A800. Les exigences en matière de puissance et de performances sont de plus en plus élevées et les coûts augmentent rapidement.

"Par conséquent, compte tenu du coût élevé, la manière de pousser les performances de ces matériels à l'extrême est devenue particulièrement importante pour la rentabilité du développement de grands modèles

Dans le développement passé de l'IA, données La simultanéité du débit n'est pas aussi élevée que celle des grands modèles, car elle nécessite le fonctionnement de plusieurs GPU en même temps. Par conséquent, même si la quantité de données elle-même n'est pas importante, la lecture simultanée des grands modèles et le retard possible. Ces problèmes posent des défis au stockage hautes performances. Les nouveaux besoins ne sont souvent pas satisfaits par les anciens mécanismes de stockage.

Gong Yicheng a également mentionné que si le délai est inférieur pendant le processus d'accès aux données, l'efficacité de l'ensemble du modèle sera plus élevée. Si vous utilisez des puces intelligentes auto-développées, vous pouvez utiliser pleinement les réseaux à faible latence, ce qui peut contribuer à améliorer l'efficacité de l'ensemble de la formation du modèle.

De plus, à l'échelle, l'entraînement de grands modèles avec plus de 100 milliards de paramètres nécessite essentiellement plus de 1 000 calories pour l'entraînement. Gong Yicheng a partagé que cela était extrêmement rare dans le développement précédent de l'IA, il a donc mis en avant des exigences d'expérience élevées et nouvelles pour le développement, et l'infrastructure de développement correspondante était complètement différente.

Pour les entreprises qui souhaitent améliorer l'efficacité du développement de grands modèles et aider les grands modèles à mieux être mis en œuvre dans l'industrie, un nouvel ensemble d'infrastructures est devenu nécessaire.

JD Cloud lance la plate-forme informatique Yanxi AI

Le 26 septembre, JD.com a officiellement lancé la plate-forme informatique de développement Yanxi AI lors de la conférence de la ville de Xi'an. Le produit couvre la préparation des données et le développement de modèles. , des capacités de développement d'IA de processus complet de formation et de déploiement de modèles, de grands modèles open source grand public prédéfinis et certains grands modèles commerciaux, ainsi que plus de 100 outils et cadres d'inférence, qui peuvent réduire efficacement le seuil et le coût du développement de grands modèles.

En termes d'amélioration des performances, la plate-forme informatique de développement Yanxi AI a réalisé de nombreuses avancées technologiques en matière de puissance de calcul et de stockage. Au niveau inférieur, la plateforme peut planifier davantage et coordonner la puissance de calcul du GPU, améliorant ainsi l'efficacité de la planification de l'utilisation des ressources sous-jacentes de la plateforme.

Selon le partage de JD Cloud, en termes de puissance de calcul, JD Cloud fournira des hôtes cloud de cinquième génération et diverses formes de produits hautes performances dans la plate-forme Peut fournir une puissance de calcul maximale pouvant prendre en charge des centaines de milliers de personnes. Taille du nœud GPU. Au niveau du réseau, l'algorithme de congestion RDMA auto-développé est utilisé pour contrôler globalement le chemin du trafic réseau RDMA. Différents nœuds GPU prennent en charge un maximum de 3,2 Tb/s de bande passante réseau RDMA, et le délai de transmission est aussi faible qu'environ 2 us comme base. prise en charge des capacités.

En termes de stockage, pour un débit de données d'entraînement de grands modèles, le stockage distribué Yunhai de JD Cloud peut prendre en charge des données massives de grands modèles et des exigences de cluster à forte concurrence, et peut atteindre des dizaines de millions d'IOPS, avec une latence aussi faible que des centaines de microsecondes. Grâce à la nouvelle architecture de séparation du stockage et du calcul, Yunhai peut faire économiser aux clients plus de 30 % du coût global de l'infrastructure. Elle est désormais largement utilisée dans des scénarios émergents tels que le calcul haute performance et la formation en IA, ainsi que dans des scénarios traditionnels tels que l'audio. et le stockage vidéo et le reporting des données.

En plus d'optimiser les ressources sous-jacentes, la plate-forme informatique Yanxi AI peut aider les développeurs de grands modèles à améliorer l'efficacité de l'ensemble du lien et à mettre en œuvre efficacement le traitement des données, le développement de modèles, la formation, le déploiement, l'évaluation et l'optimisation de l'inférence de formation et sécurité des modèles.Autres travaux :

• Dans le processus de gestion des données, Yanxi peut aider les développeurs de modèles à mettre en œuvre l'importation, le nettoyage, l'annotation et l'amélioration des données grâce à des modèles d'annotation intelligents, des modèles d'amélioration des données et des ensembles d'outils de conversion de données. l'importation de données et l'analyse intelligente de plusieurs formats de fichiers, et fournit des capacités d'annotation de données automatiques et semi-automatiques. Aidez à résoudre des problèmes tels que le stockage de données dispersées, les différents formats de données, la qualité inégale des données et la faible efficacité de l'annotation manuelle des données.
• Dans le processus de formation distribué, La plate-forme Yanxi s'adapte au matériel domestique, prend en charge le HPC et intègre des systèmes de fichiers hautes performances ; fournit des stratégies d'allocation et de planification des ressources pour garantir que les ressources matérielles sont pleinement utilisées ; pour simplifier la gestion des tâches de formation. Aider à résoudre le problème de la croissance rapide de la complexité des réseaux et des algorithmes, entraînant la rareté et le gaspillage des ressources informatiques ; les difficultés d'utilisation et d'adaptation du HPC, du calcul haute performance, des systèmes de fichiers hautes performances et de la diversité matérielle hétérogène de la formation des modèles ; coûts de formation et d’apprentissage Amélioration et autres problèmes.
• En termes de capacités de développement sans code, simplifie encore le processus de développement de modèles à grande échelle. Les utilisateurs peuvent sélectionner directement le grand modèle intégré à la plate-forme, télécharger des données, puis continuer à sélectionner une méthode de formation. Après avoir spécifié l'une des deux méthodes de formation sans code des hyperparamètres et d'AutoML, un modèle ou une application affiné sera obtenu.
• Au niveau de la couche application, la plate-forme Yanxi dispose d'outils de développement sans code intégrés pour les scénarios d'application courants tels que le développement de questions et réponses, le développement d'analyses de documents et le développement de plug-ins. Après avoir sélectionné le modèle, la base de connaissances, le modèle d'invite et la plateforme de développement, déployez-les en un seul clic. Et peut prendre en charge la surveillance, le suivi des tests et l’évaluation des tests.

Dans l'ensemble, la plate-forme de développement et de calcul Yanxi AI peut répondre aux besoins d'utilisateurs de différents niveaux professionnels. Pour les développeurs d'algorithmes de grands modèles, il peut prendre en charge l'ensemble du processus depuis la préparation des données, la sélection du modèle, le réglage du code, le déploiement et la publication, etc. Les développeurs de la couche application peuvent utiliser une approche sans code pour sélectionner visuellement des modèles, télécharger des données et configurer des paramètres. Ils peuvent déclencher des tâches sans écrire de code et démarrer des tâches de modèle de formation, abaissant ainsi le seuil.

En termes d'introduction de modèles, la plate-forme dispose actuellement de modèles commerciaux intégrés tels que Yanxi, Spark et LLama2, ainsi que de modèles open source. Gong Yicheng a déclaré que l'approche de Yanxi en matière de sélection de modèles tend à se concentrer davantage sur la qualité que sur la quantité : elle choisit des modèles commerciaux relativement remarquables dans divers domaines techniques, ainsi que certains modèles industriels construits autour de modèles de base, pour éviter que les utilisateurs ne tombent dans l'angoisse du choix.

De plus, Yanxi se concentrera plus tard sur l'introduction d'applications de modèles industriels construites par JD.com sur la base de modèles de base, tels que la vente au détail, les scénarios de santé et les modèles d'applications industrielles qui ont en fait été mises en œuvre à grande échelle sur la plate-forme pour aider le développement de la plateforme pour favoriser la mise en œuvre d’entreprises connexes.

Actuellement, Yanxi dispose de trois méthodes de livraison : l'une est le formulaire de service MaaS, les développeurs peuvent explorer et utiliser de grands modèles via l'API de manière rentable et payante ; version cloud SaaS, les utilisateurs peuvent utiliser les capacités de développement, de formation et de déploiement de modèles à guichet unique fournies par la plate-forme et, sur la base des avantages de l'offre élastique de ressources de cloud public, commencer le développement et le déploiement de grands modèles industriels à des coûts minimisés. La troisième est une version de livraison privatisée pour répondre aux clients ayant des exigences plus particulières en matière de sécurité des données, et les données sont entièrement localisées.

À l'avenir, Yanxi continuera à mettre à niveau les capacités de sa plate-forme, à améliorer la couverture matérielle nationale, à modéliser la coopération écologique, le développement de plug-ins, les services d'évaluation d'applications, la livraison de machines tout-en-un et les services de développement d'agents. , etc., et aident systématiquement à résoudre les problèmes de l'industrie. Les problèmes incluent des difficultés de développement et de mise en œuvre de grands modèles, des difficultés de développement d'applications de grands modèles, des coûts coûteux de formation et d'inférence de modèles, des difficultés d'obtention de modèles et d'applications, et des difficultés d'utilisation et d'adaptation de hautes performances. informatique, fichiers hautes performances et matériel hétérogène.

Promouvoir la mise en œuvre de grands modèles dans des milliers d'industries

Lors de la conférence de la ville de Xi'an, Cao Peng, président du comité technique du groupe JD et président de la division JD Cloud, a mentionné dans son Disons que dans l'industrie du grand modèle, les grands modèles deviennent progressivement de plus en plus populaires dans le processus de mise en œuvre industrielle, nous espérons améliorer une meilleure efficacité industrielle, générer une plus grande valeur industrielle et pouvoir être reproduits dans davantage de scénarios. met en avant des exigences plus élevées pour le processus et l'infrastructure de formation des modèles : les modèles doivent être plus faciles à utiliser, avoir des seuils et des coûts inférieurs, et pouvoir utiliser la puissance de calcul de manière flexible.

La plate-forme informatique de développement de l'IA est l'une des solutions importantes pour résoudre ces problèmes. Une plate-forme informatique de développement de l'IA hautes performances et facile à utiliser peut permettre à davantage d'acteurs de l'industrie de participer à la construction d'industries modèles à grande échelle. à faible coût et inspirer davantage L'émergence de grands modèles multisectoriels a accéléré la mise en œuvre de grands modèles dans des milliers d'industries.

Sur le marché actuel, Gong Yicheng a déclaré : Les principaux points forts que les clients de l'industrie prendront en compte lors du choix d'une plate-forme informatique d'IA sont : la compréhension du secteur et l'efficacité de la plate-forme. Par rapport à d'autres plates-formes informatiques d'IA, la plate-forme informatique de développement Yanxi AI peut non seulement améliorer les performances ultimes, mais également combiner l'expérience à long terme de JD.com dans des scénarios avantageux tels que la vente au détail, la finance, la logistique, la santé, etc., pour avoir un sélection plus professionnelle de grands modèles industriels.

Dans l'écosystème de modèles de la plate-forme informatique Yanxi AI, en plus des excellents modèles commerciaux et modèles open source intégrés, afin d'abaisser encore le seuil, La plate-forme informatique Yanxi AI ajoutera également des capacités d'amélioration supplémentaires à ces les grands modèles, tels que la capacité en chinois, en mathématiques, etc., permettent aux utilisateurs de choisir de grands modèles plus faciles à utiliser et professionnels.

Plus important encore, puisque la plate-forme de développement et de calcul Yanxi AI s'adresse également aux développeurs d'applications de grands modèles et prend en charge la construction de modèles propriétaires sans code, En plus des modèles de base ci-dessus, la plate-forme Yanxi sera également fournir aux utilisateurs des modèles plus propriétaires pour les scénarios d'application que les utilisateurs peuvent mettre en œuvre rapidement dans leurs propres secteurs.

Actuellement, les modèles spécifiques aux scénarios d'application fournis par la plateforme Yanxi incluent principalement des scénarios matures à haute fréquence tels que le développement de questions et réponses et l'analyse et le développement de documents. Ces applications Jingdong ont été vérifiées à plusieurs reprises dans ses propres domaines avantageux et, combinées à de grands modèles, elles peuvent rapidement améliorer l'efficacité.

Prenons l'exemple de l'outil de conversation. À partir de 2021, Miniso et JD Cloud ont conclu une coopération pour appliquer la série de produits technologiques de service client Yanxi de JD Cloud à Miniso, couvrant l'équipe de service client Miniso Pinmen, l'équipe d'exploitation des utilisateurs, Équipe d'exploitation et de maintenance des services informatiques. En avril 2022, la série de produits Yanxi a été lancée les unes après les autres, y compris une série de produits intelligents tels que des robots de service client en ligne, des robots de réponse vocale, des robots d'appels vocaux sortants, une inspection de qualité intelligente et des bases de connaissances intelligentes, qui ont apporté d'importants résultats.

Les données de rétroaction montrent que le volume quotidien moyen actuel du service de consultation des produits de la série Yanxi est près de 10 000 fois, parmi lesquels le taux de précision de réponse du robot du service client en ligne dépasse 97 %, le taux de réception indépendant dépasse 70 % et le service le coût est réduit de 40 % ; réponse vocale Le taux de précision de réponse du robot dépasse 93 % et gère de manière indépendante 46,1 % des problèmes des clients ; des inspections de qualité intelligentes ont été effectuées des centaines de milliers de fois, près de 3 000 problèmes de risque de service ont été découverts et traités, et la satisfaction des utilisateurs a augmenté de 20 % ; le contenu de la base de connaissances intelligente couvre environ 8 800 SKU de base sous la marque « MINISO » et environ 4 600 SKU sous la marque « TOP TOY ».

Le processus pratique de mise en œuvre des grands modèles a atteint le stade de la propagation d'un point unique vers l'extérieur. Dans l'industrie, il existe de nombreuses entreprises industrielles similaires à Miniso, et le scénario du robot de conversation peut leur apporter une plus grande valeur. En ce qui concerne le lancement de la plate-forme de développement et de calcul Xi AI, elle permettra aux entreprises industrielles d'accéder à la puissance de calcul de bas niveau, à la gestion des données, aux applications sans code et à d'autres liens complets, et fournira à ces entreprises un seuil plus bas, plus bas. coût et un cycle de formation plus court. Il est prévisible que des cas similaires à Miniso se produiront plus fréquemment à l’avenir.

De plus, JD Cloud a souligné que par rapport à d'autres produits concurrents, l'aspect low-code adopté par la plate-forme informatique JD Yanxi AI abaisse encore le seuil de développement pour les développeurs d'applications, et le stockage haute performance est complètement indépendant et le Le système technique global présente un degré élevé d'adaptabilité complète et une efficacité de haute performance.

Avec la popularisation des nouvelles infrastructures numériques, la mise en œuvre de grands modèles dans des milliers d'industries deviendra plus rapide, et le triangle impossible entre rentabilité et innovation aura un espace d'imagination plus large.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!