Cartes graphiques grand public disponibles ! Li Kaifu a publié et open source le modèle Yi à 9 milliards de paramètres, qui possède la capacité mathématique de code la plus forte de l'histoire.

La société d'IA de Kai-Fu Lee, Zero One, a un autre grand acteur modèle sur la scène :

9 milliards de paramètres Yi-9B.

Il est connu comme le "Champion scientifique" dans la série Yi. Il "compense" les mathématiques codées sans prendre de retard en termes de capacité globale.

Fonctionne le mieux parmi une série de modèles open source d'échelle similaire (notamment Mistral-7B, SOLAR-10.7B, Gemma-7B, DeepSeek-Coder-7B-Base-v1.5, etc.) .

Ancienne règle, la version est open source, particulièrement conviviale pour les développeurs :

Yi-9B (BF 16) et sa version quantifiée Yi-9B (Int8) peuvent être déployées sur des cartes graphiques grand public.

Une RTX 4090 ou une RTX 3090 suffisent.

Amplification profonde + entraînement incrémentiel en plusieurs étapes

La famille Yi de Zero One Thousand Things a déjà publié les séries Yi-6B et Yi-34B.

Tous deux ont été pré-entraînés sur les données chinoises et anglaises du jeton 3,1T, et Yi-9B a été formé sur cette base en ajoutant le jeton 0,8T.

La date limite pour les données est le juin 2023.

Il a été mentionné au début que la plus grande amélioration du Yi-9B réside dans les mathématiques et le codage, alors comment améliorer ces deux capacités ?

Introduction à Zéro Mille Choses :

Le simple fait d'augmenter la quantité de données ne peut pas répondre aux attentes.

repose sur d'abord en augmentant la taille du modèle à 9B sur la base de Yi-6B, puis en effectuant un entraînement incrémentiel de données en plusieurs étapes .

Tout d'abord, comment augmenter la taille du modèle ?

Une prémisse est que l'équipe a découvert grâce à l'analyse :

Yi-6B a été entièrement entraîné, et l'effet d'entraînement peut ne pas être amélioré, quel que soit le nombre de jetons ajoutés, il est donc envisagé d'augmenter sa taille. (L'unité sur la photo ci-dessous n'est pas TB mais B)

Comment l'augmenter ? La réponse est amplification profonde.

Introduction à Zero One Thousand Things :

L'expansion de la largeur du modèle d'origine entraînera davantage de pertes de performances. Après l'amplification en profondeur du modèle en sélectionnant une couche appropriée, le cosinus d'entrée/sortie de la nouvelle couche sera plus proche de 1,0. , c'est-à-dire que plus les performances du modèle amplifié peuvent maintenir les performances du modèle d'origine, plus la perte de performances du modèle sera faible.

Selon cette idée, Zero Yiwu a choisi de copier les 16 couches relativement arrière (couches 12-28) du Yi-6B pour former le Yi-9B à 48 couches.

Les expériences montrent que cette méthode a de meilleures performances que l'utilisation du modèle Solar-10.7B pour copier les 16 couches centrales (8-24 couches) .

Deuxièmement, quelle est la méthode de formation en plusieurs étapes ?

La réponse est d'ajouter d'abord des données 0,4T contenant du texte et du code, mais le rapport de données est le même que celui de Yi-6B.

Ajoutez ensuite 0,4 T supplémentaire de données, qui incluent également du texte et du code, mais se concentrent sur l'augmentation de la proportion de code et de données mathématiques.

(Entendu, c'est la même chose que notre astuce « penser étape par étape » pour poser des questions sur les grands modèles)

Une fois ces deux étapes terminées, l'équipe se réfère toujours à deux articles (An Empirical Model of Large- Formation par lots et ne diminuez pas le taux d'apprentissage, augmentez la taille du lot) et optimisation de la méthode d'ajustement des paramètres.

C'est-à-dire qu'à partir d'un taux d'apprentissage fixe, chaque fois que la perte du modèle cesse de diminuer, la taille du lot augmente afin que le déclin soit ininterrompu et que le modèle apprenne plus complètement.

Au final, Yi-9B contenait en réalité un total de 8,8 milliards de paramètres, atteignant une longueur de contexte de 4k.

La série Yi possède les capacités de codage et mathématiques les plus puissantes

Dans les tests réels, Zero Yiwu a utilisé la méthode de génération de décodage gourmande (c'est-à-dire en sélectionnant le mot avec la valeur de probabilité la plus élevée à chaque fois) pour les tests.

Les modèles participants sont DeepSeek-Coder, DeepSeek-Math, Mistral-7B, SOLAR-10.7B et Gemma-7B :

(1)DeepSeek-Coder, d'une société nationale de recherche approfondie, ses instructions 33B L'évaluation humaine de la version optimisée dépasse GPT-3.5-turbo, et les performances de la version 7B peuvent atteindre les performances de CodeLlama-34B.

DeepSeek-Math s'appuie sur des paramètres 7B pour renverser GPT-4, choquant toute la communauté open source.

(2)SOLAR-10.7BUpstage AI de Corée du Sud, née en décembre 2023, surpasse Mixtral-8x7B-Instruct en performances.

(3)Mistral-7B est le premier grand modèle open source MoE, atteignant voire dépassant le niveau de Llama 2 70B et GPT-3.5.

(4)Gemma-7BDe Google, Zero One Wanwu a souligné :

La quantité de paramètres efficaces est en fait au même niveau que Yi-9B.

(Les normes de dénomination des deux sont différentes. Le premier utilise uniquement des paramètres de non-intégration, tandis que le second utilise tous les paramètres et les arrondit)

Les résultats sont les suivants.

Tout d'abord, en termes de tâches de codage, les performances de Yi-9B sont juste derrière DeepSeek-Coder-7B, et les quatre autres sont tous KO.

En termes de capacité mathématique, les performances de Yi-9B sont juste derrière DeepSeek-Math-7B, surpassant les quatre autres.

La capacité globale n'est pas mauvaise non plus.

Ses performances sont les meilleures parmi les modèles open source de taille similaire, surpassant les cinq autres joueurs.

Enfin, le bon sens et la capacité de raisonnement ont été testés :

Le résultat est que Yi-9B est à égalité avec Mistral-7B, SOLAR-10.7B et Gemma-7B.

En plus des compétences linguistiques, non seulement l'anglais est bon, mais le chinois est également largement apprécié :

Enfin, après avoir lu ces lignes, certains internautes ont dit : J'ai hâte de l'essayer.

Certaines personnes s'inquiètent de DeepSeek :

Dépêchez-vous et renforcez votre "jeu". La domination totale a disparu ==

Le portail est ici : https://huggingface.co/01-ai/Yi-9B

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!