Périphériques technologiques
IA
3140 paramètres Inférence Grok-1 accélérée de 3,8 fois, la version PyTorch+HuggingFace est ici
3140 paramètres Inférence Grok-1 accélérée de 3,8 fois, la version PyTorch+HuggingFace est ici
Musk a fait ce qu'il a dit et a open source Grok-1, et la communauté open source était ravie.
Cependant, il existe encore quelques difficultés pour apporter des modifications ou une commercialisation basées sur Grok-1 :
Grok-1 est construit en utilisant Rust+JAX, qui a un seuil élevé pour les utilisateurs habitués aux écosystèmes logiciels grand public tels que Python+PyTorch+HuggingFace.
△Illustration : Grok se classe premier au monde sur la liste chaude de GitHub
Les dernières réalisations de l'équipe Colossal-AI répondent aux besoins urgents de chacun Fournir Python+PyTorch+HuggingFace Grok pratique et facile à utiliser. -1, qui peut mettre en œuvre le raisonnement. La latence est accélérée de près de 4 fois !
Maintenant, le modèle a été publié sur HuggingFace et ModelScope.
Lien de téléchargement HuggingFace :
https://www.php.cn/link/335396ce0d3f6e808c26132f91916eae
Lien de téléchargement ModelScope
https://www.php.cn/link/7ae7778c9ae86d2ded1 33e8 91995dc9e
Optimisation des performances
Combiné avec la riche accumulation de Colossal-AI dans le domaine de l'optimisation des systèmes d'IA à grands modèles, il a rapidement pris en charge le parallélisme tensoriel pour Grok-1.
Sur un seul serveur 8H800 80 Go, les performances d'inférence sont comparées à JAX, à la carte automatique des appareils de HuggingFace et à d'autres méthodes, La latence d'inférence est accélérée de près de 4 fois.
Tutoriel d'utilisation
Après avoir téléchargé et installé Colossal-AI, démarrez simplement le script d'inférence.
./run_inference_fast.sh hpcaitech/grok-1
Les poids du modèle seront automatiquement téléchargés et chargés, et les résultats d'inférence resteront alignés. Comme le montre la figure ci-dessous, le test en cours de la recherche gourmande Grok-1.
Pour plus de détails, veuillez vous référer au cas d'utilisation de grok-1 :
https://www.php.cn/link/e2575ed7d2c481c414c10e688bcbc4cf
Le géant Grok-1
Cette open source, xAI publiée Grok-1 Les poids du modèle de base et l'architecture du réseau.
Plus précisément, le modèle de base original de la phase de pré-formation d'octobre 2023, qui n'a été affiné pour aucune application spécifique (comme le dialogue).
Structurellement, Grok-1 adopte une architecture d'experts mixtes (MoE), contient 8 experts, et le montant total des paramètres est de 314B (314 milliards). Lors du traitement du jeton, deux des experts seront activés, ainsi que le paramètre d'activation. le montant est de 86B.
En regardant uniquement la quantité de paramètres activés, elle a dépassé les 70B du modèle dense Llama 2. Pour l'architecture MoE, il n'est pas exagéré de qualifier cette quantité de paramètres de monstre.
Plus d'informations sur les paramètres sont les suivantes :
- La longueur de la fenêtre est de 8192 jetons, la précision est de bf16
- La taille du vocabulaire du tokenizer est de 131072 (2^17), ce qui est proche de GPT-4
- la taille d'intégration est de 6144 ; (48 × 128);
- Le nombre de couches de transformateur est de 64, et chaque couche a une couche de décodeur, comprenant des blocs d'attention multi-têtes et des blocs denses
- La taille de la valeur clé est de 128 ; bloc, 48 têtes sont utilisées pour la requête, 8 sont utilisées pour le KV, la taille du KV est de 128 ; le facteur d'expansion du bloc dense (bloc à action directe dense) est de 8 et la taille de la couche cachée est de 32768
L'efficacité de la mise en œuvre de la couche MoE ici n'est pas élevée. Cette méthode de mise en œuvre a été choisie pour éviter d'avoir à personnaliser le noyau lors de la vérification de l'exactitude du modèle.
Le fichier de poids du modèle est fourni sous la forme d'un
lien magnétique, et la taille du fichier est proche de 300 Go.
Il convient de mentionner que Grok-1 utilise la licence Apache 2.0,
commercial friendly
.
Actuellement, le nombre d'étoiles de Grok-1 sur GitHub a atteint 43,9k étoiles. Qubit comprend que Colossal-AI lancera prochainement des optimisations pour Grok-1, telles que l'accélération parallèle et la réduction quantitative des coûts de mémoire graphique. Bienvenue pour continuer à y prêter attention.
Adresse open source Colossal-AI :Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js?
Apr 07, 2025 pm 09:39 PM
Lors de la conversion des chaînes en objets dans vue.js, JSON.Parse () est préféré pour les chaînes JSON standard. Pour les chaînes JSON non standard, la chaîne peut être traitée en utilisant des expressions régulières et réduisez les méthodes en fonction du format ou du codé décodé par URL. Sélectionnez la méthode appropriée en fonction du format de chaîne et faites attention aux problèmes de sécurité et d'encodage pour éviter les bogues.
Comment optimiser les performances de la base de données après l'installation de MySQL
Apr 08, 2025 am 11:36 AM
L'optimisation des performances MySQL doit commencer à partir de trois aspects: configuration d'installation, indexation et optimisation des requêtes, surveillance et réglage. 1. Après l'installation, vous devez ajuster le fichier my.cnf en fonction de la configuration du serveur, tel que le paramètre innodb_buffer_pool_size, et fermer query_cache_size; 2. Créez un index approprié pour éviter les index excessifs et optimiser les instructions de requête, telles que l'utilisation de la commande Explication pour analyser le plan d'exécution; 3. Utilisez le propre outil de surveillance de MySQL (ShowProcessList, Showstatus) pour surveiller la santé de la base de données, et sauvegarde régulièrement et organisez la base de données. Ce n'est qu'en optimisant en continu ces étapes que les performances de la base de données MySQL peuvent être améliorées.
Comment utiliser MySQL après l'installation
Apr 08, 2025 am 11:48 AM
L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.
Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données
Apr 08, 2025 pm 12:24 PM
Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives avec la technologie géospatiale. Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives. Exigences initiales du projet de défi: extraire des informations précieuses en utilisant 7 millions d'enregistrements dans la base de données MySQL. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante? Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. Recherche de cartes basée sur la ville
Comment résoudre MySQL ne peut pas être démarré
Apr 08, 2025 pm 02:21 PM
Il existe de nombreuses raisons pour lesquelles la startup MySQL échoue, et elle peut être diagnostiquée en vérifiant le journal des erreurs. Les causes courantes incluent les conflits de port (vérifier l'occupation du port et la configuration de modification), les problèmes d'autorisation (vérifier le service exécutant les autorisations des utilisateurs), les erreurs de fichier de configuration (vérifier les paramètres des paramètres), la corruption du répertoire de données (restaurer les données ou reconstruire l'espace de la table), les problèmes d'espace de la table InNODB (vérifier les fichiers IBDATA1), la défaillance du chargement du plug-in (vérification du journal des erreurs). Lors de la résolution de problèmes, vous devez les analyser en fonction du journal d'erreur, trouver la cause profonde du problème et développer l'habitude de sauvegarder régulièrement les données pour prévenir et résoudre des problèmes.
La clé principale de MySQL peut être nul
Apr 08, 2025 pm 03:03 PM
La clé primaire MySQL ne peut pas être vide car la clé principale est un attribut de clé qui identifie de manière unique chaque ligne dans la base de données. Si la clé primaire peut être vide, l'enregistrement ne peut pas être identifié de manière unique, ce qui entraînera une confusion des données. Lorsque vous utilisez des colonnes entières ou des UUIdes auto-incrémentales comme clés principales, vous devez considérer des facteurs tels que l'efficacité et l'occupation de l'espace et choisir une solution appropriée.
Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles
Apr 08, 2025 pm 12:27 PM
Ingénieur backend à distance Emploi Vacant Société: Emplacement du cercle: Bureau à distance Type d'emploi: Salaire à temps plein: 130 000 $ - 140 000 $ Description du poste Participez à la recherche et au développement des applications mobiles Circle et des fonctionnalités publiques liées à l'API couvrant l'intégralité du cycle de vie de développement logiciel. Les principales responsabilités complètent indépendamment les travaux de développement basés sur RubyOnRails et collaborent avec l'équipe frontale React / Redux / Relay. Créez les fonctionnalités de base et les améliorations des applications Web et travaillez en étroite collaboration avec les concepteurs et le leadership tout au long du processus de conception fonctionnelle. Promouvoir les processus de développement positifs et hiérarchiser la vitesse d'itération. Nécessite plus de 6 ans de backend d'applications Web complexe
Solutions au service qui ne peuvent pas être démarrées après l'installation de MySQL
Apr 08, 2025 am 11:18 AM
MySQL a refusé de commencer? Ne paniquez pas, vérifions-le! De nombreux amis ont découvert que le service ne pouvait pas être démarré après avoir installé MySQL, et ils étaient si anxieux! Ne vous inquiétez pas, cet article vous emmènera pour le faire face calmement et découvrez le cerveau derrière! Après l'avoir lu, vous pouvez non seulement résoudre ce problème, mais aussi améliorer votre compréhension des services MySQL et vos idées de problèmes de dépannage, et devenir un administrateur de base de données plus puissant! Le service MySQL n'a pas réussi et il y a de nombreuses raisons, allant des erreurs de configuration simples aux problèmes système complexes. Commençons par les aspects les plus courants. Connaissances de base: une brève description du processus de démarrage du service MySQL Service Startup. Autrement dit, le système d'exploitation charge les fichiers liés à MySQL, puis démarre le démon mysql. Cela implique la configuration
