Table des matières
Performances comparables à GPT3.5
Maison Périphériques technologiques IA Le plus grand modèle open source en Chine est disponible pour une utilisation commerciale gratuite et inconditionnelle ! 65 milliards de paramètres, formation basée sur 2,6 billions de jetons

Le plus grand modèle open source en Chine est disponible pour une utilisation commerciale gratuite et inconditionnelle ! 65 milliards de paramètres, formation basée sur 2,6 billions de jetons

Nov 06, 2023 pm 02:29 PM
模型 开源

Le plus grand modèle open source en Chine est ici :

65 milliards de paramètres, formés sur la base de 2,6 à 3,2 billions de jetons.

Classé deuxième derrière "Falcon" et "Alpaca", ses performances sont comparables à GPT3.5, et il peut désormais être utilisé pour

un usage commercial gratuit et inconditionnel.

Le plus grand modèle open source en Chine est disponible pour une utilisation commerciale gratuite et inconditionnelle ! 65 milliards de paramètres, formation basée sur 2,6 billions de jetons

C'est XVERSE de la société Shenzhen Yuanxiang.

Nous pouvons librement le modifier ou le distiller en fonction de différentes puissances de calcul, contraintes de ressources et exigences spécifiques des tâches.

En plus de sa grande échelle, il dispose également d'un contexte 16k, prend en charge plus de 40 langues et est disponible en versions 7B et 13B.

Quelle est l'origine spécifique ?

Le plus grand modèle disponible dans le commerce en Chine est ici

La recherche montre que plus le nombre de paramètres est élevé et plus les données d'entraînement sont de haute qualité, plus les performances du grand modèle peuvent être continuellement améliorées.

Le consensus général dans l'industrie est que ce n'est que lorsque le seuil de paramètres de 50 à 60 milliards est atteint que les grands modèles peuvent « émerger intelligemment » et démontrer de puissantes performances multitâches.

Cependant, la formation d'un modèle de cette ampleur coûte cher et nécessite des compétences techniques élevées. Actuellement, elle est principalement proposée sous forme de modèle payant fermé.

Dans l'écosystème open source étranger, les modèles de référence tels que Llama2-70B et Falcon-180B sont "conditionnellement" open source, avec des limites commerciales supérieures sur les utilisateurs actifs mensuels ou les revenus, et présentent des lacunes évidentes dans les capacités en langue chinoise en raison du manque de données de formation.

Ici, afin de promouvoir le développement de l'écologie et des applications industrielles open source nationales à grand modèle, la société Yuanxiang XVERSE a annoncé le grand modèle général open source XVERSE-65B haute performance de 65 milliards de paramètres pour une utilisation commerciale gratuite et inconditionnelle. Le modèle 13B a ​​été entièrement mis à niveau pour augmenter la limite supérieure des capacités du « petit » modèle.

Yao Xing, fondateur du modèle Yuanxiang '65B. "

Le modèle de base XVERSE-65B est formé à partir de zéro sur des données de haute qualité de 2,6 billions de jetons, la fenêtre contextuelle est étendue à 16K et prend en charge plus de 40 langues ​​​tels que le chinois, l'anglais, le russe et le français.

Trois capacités

considérablement améliorées : 1. Capacités de base telles que la compréhension, la génération, le raisonnement et la mémoire, jusqu'à la diversité, la créativité et la précision du modèle, d'excellent à puissant ;

2. , l'explication du code, la réflexion et la correction ainsi que d'autres capacités posent une base technique pour la création d'agents intelligents

(AI Agent)

et améliorent le caractère pratique du modèle ;

Troisièmement, atténuer considérablement les problèmes d'hallucinations courants et potentiellement graves dans 7B et 13B, et réduisez les « conneries » des grands modèles pour une précision et un professionnalisme améliorés.

Les grandes séries de modèles Yuanxiang sont toutes auto-développées, couvrant un certain nombre de technologies clés et d'innovations R&D :

1. Conception de systèmes distribués complexes :

Apprenez de l'équipe pour développer Tencent Go AI "Peer Art" et King of Glory AI " Forts d'une riche expérience dans les grands systèmes tels que "Juewu", nous avons auto-développé des technologies clés telles que des opérateurs efficaces, l'optimisation de la mémoire, les stratégies de planification parallèle, le chevauchement données-informatique-communication et la collaboration entre plates-formes et cadres pour créer un système de formation efficace et stable. La valeur maximale du cluster de kilocalories. Le taux d'utilisation de la puissance de calcul atteint 58,5 %, se classant parmi les meilleurs de l'industrie.

2. Amélioration complète des performances :

FlashAttention2 est utilisé pour accélérer les calculs dans la formation 65B, et la technologie de pipeline virtuel(pipeline virtuel)

est utilisée sur la base du parallélisme 3D pour réduire le taux de bulles excessif généré par les longs pipelines. et améliorer l'efficacité du raisonnement informatique ; l'appel d'outils, l'explication du code et les capacités de réflexion et de correction, lui permettant de mieux développer l'intelligence Body

(AI Agent). 3. Améliorer considérablement la stabilité de l'entraînement :

En raison de l'énorme quantité de calculs, la congestion des communications, la surchauffe de la puce ou la défaillance du nœud informatique sont devenues la norme pour l'entraînement 65B. Au début, il y avait jusqu'à huit échecs par an. semaine.

Grâce à l'optimisation continue du fonctionnement de l'infrastructure du cluster, de la planification des ressources, du cadre de formation et de la collaboration entre les plateformes de planification, Yuanxiang a créé un système de formation avec une stabilité élevée, une faible interruption et une forte tolérance aux pannes, augmentant le taux de formation effectif hebdomadaire à 98,6 %.

De plus, au milieu de la formation du modèle avec près de 1,6 billion de jetons, la fonction de perte a produit des valeurs NaN, ce qui peut entraîner l'interruption de la formation.

Normalement, l'industrie supprime généralement les intervalles de données pertinents après analyse.

L'équipe a déterminé, sur la base de son expérience, qu'il s'agissait de l'évolution naturelle du modèle. Elle a choisi de ne pas supprimer les données et a directement ignoré les mises à jour des paramètres pertinents. Enfin, le problème de la valeur NaN a été résolu.

Une analyse plus approfondie des états intermédiaires tels que les valeurs des paramètres, les valeurs d'activation et les valeurs de gradient a montré plus tard que ce problème peut être lié au changement de la valeur maximale de la valeur d'activation du bloc transformateur dans la dernière couche du modèle , et sera résolu de lui-même à mesure que la valeur maximale diminue progressivement.

Performances comparables à GPT3.5

Afin de garantir que l'industrie puisse avoir une compréhension complète, objective et à long terme des performances du grand modèle Yuanxiang, les chercheurs se sont référés à une série d'évaluations universitaires faisant autorité et ont développé un système couvrant les questions et réponses, la compréhension, les connaissances, le raisonnement, les mathématiques, les 11 normes d'évaluation faisant autorité dans six dimensions, y compris le code, continueront d'être utilisées et itérées.

XVERSE-65B n'a pas de modèle du même niveau en Chine qui puisse être comparé. Dans l'évaluation comparative avec les références étrangères, certains indicateurs ont dépassé et la performance globale était comparable à GPT3.5, elle a largement dépassé les références open source ; Llama2-70B et Falcon-180B ; et GPT4 a encore un écart.

Le plus grand modèle open source en Chine est disponible pour une utilisation commerciale gratuite et inconditionnelle ! 65 milliards de paramètres, formation basée sur 2,6 billions de jetons

Le XVERSE-13B-2 entièrement mis à niveau ajoute une grande quantité de données de haute qualité par rapport aux modèles de même taille, avec des données d'entraînement jusqu'à 3,2 billions, ce qui améliore considérablement la limite supérieure des capacités des « petits " modèles.

Il étudie à la fois les arts et les sciences, conservant ses avantages dans les arts libéraux, les questions et réponses se sont améliorées de 18 %, la science a fait de grands progrès, le codage s'est amélioré de 149 % et les mathématiques se sont améliorées de 198 %. a complètement dépassé les références open source nationales et étrangères telles que Llama2 et Baichuan2.

Le plus grand modèle open source en Chine est disponible pour une utilisation commerciale gratuite et inconditionnelle ! 65 milliards de paramètres, formation basée sur 2,6 billions de jetons

Maintenant, le grand modèle Yuanxiang peut être téléchargé en recherchant "XVERSE" sur Github, Hugging Face, ModelScope et d'autres plateformes Après une simple inscription, il peut être utilisé pour un usage commercial gratuit et inconditionnel, ce qui. peut satisfaire les petites et moyennes entreprises et les instituts de recherche scientifique ainsi que la plupart des besoins d'application et d'itération des développeurs individuels.

Yuanxiang fournit également une gamme complète de services techniques tels que la formation de modèles, l'inférence, le déploiement et le réglage fin, permettant à diverses industries telles que le divertissement, la finance et les soins médicaux, et aidant à créer des services de pointe dans de multiples scénarios tels que comme un service client intelligent, une rédaction créative et des recommandations précises.

En octobre 2023, Tencent Music a pris l'initiative d'annoncer une coopération stratégique avec Yuanxiang Model, a lancé conjointement le modèle accéléré lyraXVERSE, a complètement mis à niveau son assistant musical « AI Xiaoqin » et continuera d'explorer les technologies de pointe en matière d'IA et de 3D. l'avenir.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Où trouver la courte de la grue à atomide atomique
1 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Recommandé : Excellent projet de détection et de reconnaissance des visages open source JS Recommandé : Excellent projet de détection et de reconnaissance des visages open source JS Apr 03, 2024 am 11:55 AM

La technologie de détection et de reconnaissance des visages est déjà une technologie relativement mature et largement utilisée. Actuellement, le langage d'application Internet le plus utilisé est JS. La mise en œuvre de la détection et de la reconnaissance faciale sur le front-end Web présente des avantages et des inconvénients par rapport à la reconnaissance faciale back-end. Les avantages incluent la réduction de l'interaction réseau et de la reconnaissance en temps réel, ce qui réduit considérablement le temps d'attente des utilisateurs et améliore l'expérience utilisateur. Les inconvénients sont les suivants : il est limité par la taille du modèle et la précision est également limitée ; Comment utiliser js pour implémenter la détection de visage sur le web ? Afin de mettre en œuvre la reconnaissance faciale sur le Web, vous devez être familier avec les langages et technologies de programmation associés, tels que JavaScript, HTML, CSS, WebRTC, etc. Dans le même temps, vous devez également maîtriser les technologies pertinentes de vision par ordinateur et d’intelligence artificielle. Il convient de noter qu'en raison de la conception du côté Web

Le document multimodal Alibaba 7B comprenant le grand modèle remporte le nouveau SOTA Le document multimodal Alibaba 7B comprenant le grand modèle remporte le nouveau SOTA Apr 02, 2024 am 11:31 AM

Nouveau SOTA pour des capacités de compréhension de documents multimodaux ! L'équipe Alibaba mPLUG a publié le dernier travail open source mPLUG-DocOwl1.5, qui propose une série de solutions pour relever les quatre défis majeurs que sont la reconnaissance de texte d'image haute résolution, la compréhension générale de la structure des documents, le suivi des instructions et l'introduction de connaissances externes. Sans plus tarder, examinons d’abord les effets. Reconnaissance et conversion en un clic de graphiques aux structures complexes au format Markdown : Des graphiques de différents styles sont disponibles : Une reconnaissance et un positionnement de texte plus détaillés peuvent également être facilement traités : Des explications détaillées sur la compréhension du document peuvent également être données : Vous savez, « Compréhension du document " est actuellement un scénario important pour la mise en œuvre de grands modèles linguistiques. Il existe de nombreux produits sur le marché pour aider à la lecture de documents. Certains d'entre eux utilisent principalement des systèmes OCR pour la reconnaissance de texte et coopèrent avec LLM pour le traitement de texte.

Fraichement publié! Un modèle open source pour générer des images de style anime en un seul clic Fraichement publié! Un modèle open source pour générer des images de style anime en un seul clic Apr 08, 2024 pm 06:01 PM

Permettez-moi de vous présenter le dernier projet open source AIGC-AnimagineXL3.1. Ce projet est la dernière itération du modèle texte-image sur le thème de l'anime, visant à offrir aux utilisateurs une expérience de génération d'images d'anime plus optimisée et plus puissante. Dans AnimagineXL3.1, l'équipe de développement s'est concentrée sur l'optimisation de plusieurs aspects clés pour garantir que le modèle atteigne de nouveaux sommets en termes de performances et de fonctionnalités. Premièrement, ils ont élargi les données d’entraînement pour inclure non seulement les données des personnages du jeu des versions précédentes, mais également les données de nombreuses autres séries animées bien connues dans l’ensemble d’entraînement. Cette décision enrichit la base de connaissances du modèle, lui permettant de mieux comprendre les différents styles et personnages d'anime. AnimagineXL3.1 introduit un nouvel ensemble de balises et d'esthétiques spéciales

See all articles