Modèle de génération de code 3B open source Stability AI : peut être complété et débogué

Ce lundi, Stability AI a open source le modèle de pré-formation en petit volume Stable Code Instruct 3B.

Stable Code Instruct 3B est un modèle de langage de codage adapté aux instructions (Code LM) basé sur Stable Code 3B. En fournissant des invites en langage naturel, le modèle peut être appliqué à diverses tâches, notamment la génération de code, des problèmes mathématiques et d'autres tâches liées au génie logiciel.

Stability AI affirme que son modèle présente des performances de pointe à l'échelle 3B, surpassant les modèles à plus grande échelle comme le 7B Instruct de CodeLlama et correspondant même au modèle 15B de StarChat dans les tâches liées au génie logiciel. Les performances sont comparables.

• Modèle : https://huggingface.co/stabilityai/stable-code-instruct-3b
• HuggingFace Trial : https://huggingface.co/spaces/ Stabilityai/stable-code-instruct-3b
• Rapport technique sur le code stable : https://static1.squarespace.com/static/6213c340453c3f502425776e/t/6601c5713150412edcd56f8e/1711392114564/Stable _Code _TechReport_release.pdf

Stable Code Instruct 3B a mis à niveau sa fonction de complétion de code et prend en charge l'interaction en langage naturel, dans le but d'améliorer l'efficacité et l'intuitivité des tâches de programmation et de développement de logiciels. Les résultats expérimentaux montrent que ce modèle fonctionne bien dans diverses tâches liées au codage, surpassant les modèles concurrents tels que Codellama 7B Instruct et DeepSeek-Coder Instruct 1.3B.

Introduction à la méthode

Stable Code est basé sur Stable LM 3B. Stable Code est un transformateur de décodeur pur causal, similaire à l'architecture LLaMA. Les principales différences par rapport à LLaMA sont les suivantes :

• L'intégration de position, l'intégration de position pivotée est appliquée aux premiers 25 % de la dimension d'intégration de la tête pour améliorer le débit.
• Standardisation, LayerNorm avec termes de biais appris ;
• Biais, à l'exception des biais pour les projections de clés, de requêtes et de valeurs, Stable Code supprime tous les termes de biais des réseaux de rétroaction et des couches d'auto-attention multi-têtes.

Le tableau suivant montre le poids d'échantillonnage, l'époque, la catégorie et d'autres informations de l'ensemble de données du corpus de pré-formation.

Selon le rapport d'enquête auprès des développeurs Stack Overflow 2023, Stable Code Instruct 3B se concentre sur des langages comme Python, Javascript, Java, C, C++ et Go qui sont utiles pour une variété de développeurs C'est le plus populaire et le plus influent. Bien que ces langages aient été sélectionnés comme objet de formation, le modèle a également été formé sur d'autres langages largement adoptés tels que SQL, PHP et Rust.

Stable Code Instruct 3B offre de solides performances de test même pour les langages qui n'étaient pas initialement inclus dans l'ensemble de formation (comme Lua). Cette compétence découle probablement d'une compréhension des principes de codage sous-jacents et de la capacité d'adapter les concepts dans différents environnements de programmation en tirant parti de la prévisibilité inhérente aux tâches de codage.

Stable Code Instruct 3B maîtrise non seulement la génération de code, mais également les tâches FIM (Fill in the Middle), les requêtes de base de données, la traduction, l'interprétation et la création de code. Ses instructions sont adaptées pour lui permettre de comprendre et d'agir sur des instructions nuancées, facilitant ainsi un large éventail de tâches de codage au-delà de la simple complétion de code, notamment la compréhension mathématique, le raisonnement logique et le traitement de descriptions techniques complexes entourant le développement de logiciels.

Évaluation des performances

Comparé aux modèles leaders tels que Codellama 7B Instruct et DeepSeek-Coder Instruct 1.3B, Stable Code Instruct 3B démontre des performances supérieures dans une gamme de tâches de codage.

L'équipe de recherche a également comparé les trois modèles sur le benchmark Multi-PL. Malgré moins de paramètres, Stable Code Instruct 3B surpasse considérablement CodeLlama Instruct dans tous les langages.

Le tableau 8 ci-dessous montre les performances de plusieurs modèles sur la tâche FIM :

Les tests expérimentaux montrent que Stable Code Instruct 3B a de meilleures performances en termes de précision de complétion du code et de langage naturel. traitement Comparable, voire surpassé, d'autres modèles en termes de compréhension des instructions et de capacité à couvrir différents langages de programmation.

La taille des paramètres de Stable Code Instruct 3B et la faible configuration matérielle requise le rendent accessible à un large public, permettant aux développeurs de travailler plus efficacement. Il convient de mentionner que Stable Code Instruct 3B est désormais disponible à des fins commerciales avec un abonnement Stability AI.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!