Tencent dévoile la dernière méthode de formation de grands modèles qui permet d'économiser 50 % sur les coûts de puissance de calcul

Dans le contexte d'une pénurie de puissance de calcul, la manière d'améliorer l'efficacité de la formation et de l'inférence de grands modèles et de réduire les coûts est devenue la priorité de l'industrie.

Le 23 novembre, Tencent a révélé qu'Angel, le cadre d'apprentissage automatique auto-développé derrière le grand modèle Hunyuan de Tencent, a de nouveau été mis à niveau. L'efficacité de la formation des grands modèles a été augmentée à 2,6 fois celle des cadres open source grand public, et des centaines de milliards de formations sur de grands modèles peuvent permettre d'économiser 50 % sur les coûts de puissance de calcul. L'Angel mis à niveau prend en charge la formation à très grande échelle au niveau 10 000 ka en une seule tâche, améliorant encore les performances et l'efficacité du cluster informatique dédié à grand modèle HCC de Tencent Cloud.

Dans le même temps, Angel fournit également une plate-forme unique allant du développement de modèles à la mise en œuvre d'applications, aidant les utilisateurs à appeler rapidement les capacités de grands modèles de Tencent Hunyuan via des interfaces API ou un réglage fin, accélérant ainsi la construction d'applications de grands modèles, Conférences Tencent, Plus de 300 produits et scénarios Tencent, dont Tencent News et Tencent Video, ont été connectés aux tests internes de Tencent Hunyuan.

Actuellement, les capacités pertinentes ont été ouvertes au monde extérieur via Tencent Cloud. Basée sur le cadre d'apprentissage automatique Angel mis à niveau, la plate-forme Tencent Cloud TI peut fournir de meilleures capacités de formation et d'accélération d'inférence, et aider les clients à utiliser leurs propres données pour une formation et un réglage précis à guichet unique, et à créer des applications intelligentes exclusives basées sur le grand Hunyuan de Tencent. modèle.

Le cadre d'apprentissage automatique auto-développé a été mis à niveau et l'efficacité de la formation et de l'inférence de grands modèles a été encore améliorée

Avec l'avènement de l'ère des grands modèles, les paramètres du modèle ont augmenté de façon exponentielle, atteignant le niveau de mille milliards. Les grands modèles évoluent progressivement, passant de la prise en charge d'une seule modalité et d'une seule tâche à la prise en charge de plusieurs tâches dans plusieurs modalités. Dans le cadre de cette tendance, la formation de grands modèles nécessite une puissance de calcul énorme, dépassant de loin la vitesse de traitement d'une seule puce, et les pertes de communication de formation distribuée sur plusieurs cartes sont énormes. Comment améliorer le taux d'utilisation des ressources matérielles est devenu une condition préalable importante au développement et à la praticité de la technologie nationale des grands modèles.

Afin de former de grands modèles, Tencent a développé un cadre de formation d'apprentissage automatique appelé AngelPTM, qui accélère et optimise l'ensemble du processus de pré-formation, de réglage fin du modèle et d'apprentissage par renforcement. AngelPTM adopte la dernière technologie d'entraînement de précision mixte FP8, combine le parallélisme 4D profondément optimisé et le mécanisme ZeROCache pour optimiser le stockage. Il peut être compatible avec une variété de matériel domestique et peut s'entraîner avec moins de ressources et des modèles plus grands

In. En avril 2023, Tencent Cloud a lancé une nouvelle génération de clusters de calcul hautes performances HCC pour les grands modèles, avec des performances multipliées par trois par rapport à la génération précédente. Outre les mises à niveau matérielles, HCC a également effectué des optimisations au niveau du système sur les protocoles réseau, les stratégies de communication, les cadres d'IA et la compilation de modèles, réduisant ainsi considérablement les coûts de formation, de réglage et de puissance de calcul. AngelPTM a déjà fourni des services via HCC.Cette mise à niveau du cadre d'apprentissage automatique Angel améliorera encore les performances du cluster informatique dédié de HCC pour les grands modèles, aidant les entreprises à accélérer l'application pratique des grands modèles

Afin de résoudre le problème de Paramètres du modèle Afin de résoudre les problèmes liés aux défis croissants de formation et à l'augmentation des coûts de raisonnement, le cadre de raisonnement à grand modèle auto-développé par Tencent, AngelHCF, a amélioré les performances en élargissant les capacités parallèles et en adoptant plusieurs stratégies d'optimisation de l'attention. Dans le même temps, le framework est également adapté à une variété d'algorithmes de compression pour améliorer le débit, obtenant ainsi des performances d'inférence plus rapides et des coûts réduits, prenant en charge les services d'inférence de grands modèles

Par rapport aux frameworks traditionnels du secteur, la vitesse d'inférence d'AngelHCF est amélioré de 1,3 fois. Dans l'application du grand modèle Hunyuan Wenshengtu de Tencent, le temps d'inférence a été raccourci de 10 secondes d'origine à 3 à 4 secondes. De plus, AngelHCF prend également en charge une variété de stratégies flexibles de compression et de quantification de grands modèles, prend en charge la compression automatique

Construction d'applications à guichet unique, permettant d'utiliser de grands modèles "prêts à l'emploi"

En tant que solution pratique- niveau grand modèle, Tencent Hybrid Le modèle Yuanda a été orienté vers des scénarios d'application depuis le début de la recherche et du développement et a résolu les difficultés de mise en œuvre de grands modèles dans la pratique. Tencent propose de nombreux types de produits et d'applications et un trafic important, ce qui rend très difficile « l'utilisation » réelle du modèle. Basé sur Angel, Tencent a construit une plate-forme unique pour l'accès aux grands modèles et le développement d'applications, comprenant des services tels que le traitement des données, le réglage fin, l'évaluation des modèles, le déploiement en un clic et l'optimisation des mots rapides, permettant d'utiliser de grands modèles. « hors des sentiers battus » devient possible.

En termes d'accès aux modèles, Tencent Hunyuan Large Model fournit des modèles d'une taille de centaines de milliards, de dizaines de milliards et de milliards, s'adaptant pleinement aux besoins de divers scénarios d'application. Grâce à un simple réglage fin, vous pouvez répondre aux besoins de votre entreprise et réduire les coûts en ressources pour la formation de modèles et les services d'inférence. Dans les scénarios d'application courants tels que les questions et réponses et la classification de contenu, c'est plus rentable

Au niveau du développement d'applications, plus de 300 entreprises et scénarios d'application au sein de Tencent ont été connectés au grand modèle Tencent Hunyuan pour des tests internes. avec le mois dernier, le nombre a doublé, couvrant plusieurs domaines tels que le résumé de texte, le résumé, la création, la traduction et le codage.

En septembre 2023, Tencent Hunyuan, un modèle pratique à grande échelle développé indépendamment par Tencent, a été officiellement dévoilé et ouvert via Tencent Cloud. Tencent Hunyuan a une échelle de paramètres de plus de 100 milliards et le corpus de pré-formation contient plus de 2 000 milliards de jetons. Il intègre l'accumulation technologique indépendante de Tencent dans les algorithmes de pré-formation, les plates-formes d'apprentissage automatique et les ressources informatiques sous-jacentes, et continue d'itérer dans les applications pour optimiser en permanence les capacités des modèles à grande échelle. À l'heure actuelle, des clients de plusieurs secteurs tels que la vente au détail, l'éducation, la finance, les soins médicaux, les médias, les transports, les affaires gouvernementales, etc. ont accédé au modèle à grande échelle de Tencent Hunyuan via Tencent Cloud

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!