Xiao Zha a officiellement annoncé la mise à jour lourde de Code Llama, ajoutant une version 70B, mais il existe toujours des restrictions de capacité-IA-php.cn

Xiao Zha a officiellement annoncé la mise à jour lourde de Code Llama, ajoutant une version 70B, mais il existe toujours des restrictions de capacité

WBOY

Libérer： 2024-01-31 22:48:12

avant

568 Les gens l'ont consulté

Le modèle Code Llama 70B, plus puissant, est là.

Aujourd'hui, Meta lance officiellement le Code Llama 70B, le modèle le plus grand et le plus performant jamais conçu de la série Code Llama.

小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制

Nous mettons en open source une version améliorée de Code Llama, qui comprend un modèle de paramètres 70B plus grand. L’écriture et l’édition de code sont devenues l’une des utilisations les plus importantes des modèles d’intelligence artificielle modernes. Il s’avère que pour les modèles d’IA, la capacité à écrire du code est essentielle pour traiter les informations dans d’autres domaines de manière plus rigoureuse et rationnelle. Je suis très fier de ce développement et j'ai hâte de l'intégrer dans Llama 3 et les futurs modèles.

Code Llama 70B est disponible dans les trois mêmes versions que les modèles Code Llama précédemment publiés :

CodeLlama - 70B, modèle de code de base
CodeLlama - 7 0B ; -Python, 70B spécialisé pour Python ;
Code Llama - 70B - Instruct 70B, qui est affiné pour comprendre les instructions en langage naturel.

Code Llama était à l'origine un outil lancé par Meta en août 2023 et est gratuit pour la recherche et l'utilisation commerciale.

Selon un article du blog Meta AI, Code Llama 70B peut gérer plus de requêtes que les autres versions, ce qui signifie que les développeurs peuvent lui donner plus d'indices lors de la programmation et qu'il peut être plus précis.

Dans le benchmark HumanEval, Code Llama 70B a atteint une précision de 53 %, meilleure que les 48,1 % de GPT-3,5, et plus proche des 67 % de GPT-4 rapportés dans l'article OpenAI.

小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制

Code Llama est construit sur Llama 2 et aide les développeurs à créer du code basé sur des invites et à déboguer le code écrit par l'homme. Au début de la publication, Meta a déclaré que la licence open source de Code Llama est la même que celle de Llama 2 et qu'elle est gratuite à des fins de recherche et commerciales, tout comme Code Llama 70B.

À cette époque, il existait trois versions des modèles de la série Code Llama, avec des quantités de paramètres de 7B, 13B et 34B respectivement. Et prend en charge plusieurs langages de programmation, notamment Python, C++, Java, PHP, Typescript (Javascript), C# et Bash.

Meta fournit des versions de Code Llama comprenant :

Code Llama, modèle de code de base
Code Llama-Python, version peaufinée de Python
Code L ; je suis un-Instruire , naturel Une version affinée de la commande de langage.

Parmi eux, ces deux derniers modèles se concentrent sur des langages de codage spécifiques. Désormais, Code Llama 70B a été ajouté à cette famille de modèles, portant les tâches de codage à un autre niveau.

小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制

Code Llama 70B est formé sur 1 To de code et de données liées au code, hébergés sur le référentiel de code Hugging Face.

Meta affirme que ses modèles plus grands, les modèles 34B et 70B, renvoient les meilleurs résultats et offrent une meilleure assistance au codage.

Mais d'après l'expérience du développeur, Code Llama 70B présente encore des défauts évidents.

Par exemple, quelqu'un a découvert que Code Llama 70B ne peut pas répondre à la demande de génération de nombres premiers :

小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制

Certaines personnes disent également que cette limitation vise à éviter certaines mauvaises utilisations, comme Générer des nombres premiers illégaux. Les primes illégales peuvent être utilisées pour représenter du matériel dont la propriété ou la distribution est interdite, et la distribution de tels programmes est illégale en vertu du Digital Millennium Copyright Act des États-Unis.

小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制