Maison Périphériques technologiques IA Meta lance le modèle de langage IA LLaMA, un modèle de langage à grande échelle avec 65 milliards de paramètres

Meta lance le modèle de langage IA LLaMA, un modèle de langage à grande échelle avec 65 milliards de paramètres

Apr 14, 2023 pm 06:58 PM
ai 语言模型 meta

Meta lance le modèle de langage IA LLaMA, un modèle de langage à grande échelle avec 65 milliards de paramètres

25 février, Meta a annoncé vendredi, heure locale, qu'elle lancerait un nouveau modèle de langage à grande échelle basé sur l'intelligence artificielle (IA) pour la communauté des chercheurs, rejoignant Microsoft, Google et d'autres entreprises stimulées par ChatGPT. rejoindre ensemble la course à l’intelligence artificielle.

LLaMA de Meta est l'abréviation de « Large Language Model Meta AI » (Large Language Model Meta AI), qui est disponible sous une licence non commerciale pour les chercheurs et les entités du gouvernement, de la communauté et du monde universitaire.

La société fournira le code sous-jacent aux utilisateurs, afin qu'ils puissent modifier eux-mêmes le modèle et l'utiliser pour des cas d'utilisation liés à la recherche. Meta a déclaré que les besoins en puissance de calcul du modèle sont « beaucoup plus faibles ».

Selon les rapports, la société développe LLaMA avec plusieurs paramètres (7B, 13B, 33B et 65B). Parmi eux, LLaMA 65B et LLaMA 33B ont été formés sur 1 400 milliards de jetons, et le plus petit modèle LLaMA 7B a également été formé sur 1 000 milliards de jetons.

Comme d'autres grands modèles de langage, LLaMA fonctionne en prenant une séquence de mots comme « entrée » et en prédisant le mot suivant pour générer du texte de manière récursive. Pour cet ensemble de modèles, Meta a sélectionné du texte parmi les 20 langues les plus parlées pour la formation, en se concentrant sur le latin et le cyrillique.

Bien sûr, comme d'autres modèles, LLaMA est également confrontée aux défis des préjugés, des commentaires toxiques et des hallucinations, et Meta doit faire davantage de recherches pour combler les lacunes de ce type de modèle de langage.

Meta indique que LLaMA, en tant que modèle de base, est conçu pour être polyvalent et peut être appliqué à de nombreux cas d'utilisation différents, plutôt qu'un modèle affiné conçu pour une tâche spécifique. En open source le code de LLaMA, d'autres chercheurs peuvent plus facilement trouver de nouvelles façons de limiter ou d'éliminer ces problèmes. Meta fournit également dans cet article un ensemble de critères d'évaluation de référence pour évaluer le biais et la toxicité du modèle afin de montrer les limites du modèle et de soutenir les chercheurs dans leurs recherches ultérieures dans ce domaine critique.

Il convient de mentionner que Meta a également lancé le grand modèle linguistique OPT-175B en mai de l'année dernière. Le projet s’adresse également aux chercheurs, ce qui constitue la base d’une nouvelle itération de son chatbot blenderbot.

Plus tard, la société a également lancé un modèle appelé Galactica, qui, selon elle, pouvait écrire des articles scientifiques et résoudre des problèmes mathématiques, mais sa version de démonstration a ensuite été supprimée car elle générait à plusieurs reprises du contenu « cela semble faire autorité ».

IT Home avec lien officiel :

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Les derniers classements des dix principaux échanges d'applications de monnaie virtuelle dans le cercle de devises 2025 Les derniers classements des dix principaux échanges d'applications de monnaie virtuelle dans le cercle de devises 2025 Mar 27, 2025 pm 07:27 PM

Les dix principales applications de trading de devises virtuelles en 2025 sont les suivantes: 1. Okx, 2. Binance, 3. Gate.io, 4. Bybit, 5. Kraken, 6. Kucoin, 7. Bitget, 8. Htx, 9. Mexc, 10. Coinbase. Ce classement est basé sur des évaluations complètes telles que la sécurité, la liquidité, l'expérience utilisateur et la richesse des fonctionnalités.

Un résumé des dix principaux applications d'applications d'échange de devises virtuelles numériques en 2025 Un résumé des dix principaux applications d'applications d'échange de devises virtuelles numériques en 2025 Mar 27, 2025 pm 07:18 PM

Les dix principales applications de trading de devises virtuelles numériques en 2025 sont les suivantes: 1. Okx, 2. Binance, 3. Gate.io, 4. Bybit, 5. Kraken, 6. Kucoin, 7. Bitget, 8. Htx, 9. Mexc, 10. Coinbase. Ce classement est basé sur des évaluations complètes telles que la sécurité, la liquidité, l'expérience utilisateur et la richesse des fonctionnalités.

Quels échanges publient des nouvelles pi Quels échanges publient des nouvelles pi Mar 28, 2025 pm 03:33 PM

PI Network n'a pas encore officiellement lancé le commerce sur les bourses grand public. En 2024, PI est toujours au stade de la fermeture du réseau principal, et seuls certains échanges de petite et moyenne taille fournissent des transactions IOU. Le fonctionnaire n'autorise aucune transaction. Il est recommandé d'exploiter les canaux officiels et d'attendre que le réseau principal s'ouvre et échange sur des échanges conformes.

Que les échanges prennent en charge HECO Que les échanges prennent en charge HECO Mar 28, 2025 pm 03:36 PM

Depuis 2024, les principaux échanges qui soutiennent toujours la chaîne HECO ou les jetons HECO: 1. HTX (anciennement Huobi Huobi), soutient officiellement la chaîne HECO USDT et le trading de jetons; 2. MDEX, basé sur HECO DEX, prend en charge le trading de jetons de chaîne HECO; 3. Gate.io, soutient la réapprovisionnement et le retrait de certains jetons de chaîne HECO; 4. Kucoin, certains jetons de chaîne HECO peuvent encore être échangés; 5. Les échanges décentralisés tels que Pancakeswap et UNISWAP doivent réprimer les transactions, faire attention à la faible liquidité de la chaîne HECO et la migration du projet.

Comment résoudre le problème de l'interface tiers renvoyant 403 dans l'environnement Node.js? Comment résoudre le problème de l'interface tiers renvoyant 403 dans l'environnement Node.js? Mar 31, 2025 pm 11:27 PM

Résolvez le problème de l'interface tiers renvoyant 403 dans l'environnement Node.js. Lorsque nous utilisons Node.js pour appeler des interfaces tierces, nous rencontrons parfois une erreur de 403 à partir de l'interface renvoyant 403 ...

Dans Laravel, comment gérer la situation où les codes de vérification ne sont pas envoyés par e-mail? Dans Laravel, comment gérer la situation où les codes de vérification ne sont pas envoyés par e-mail? Mar 31, 2025 pm 11:48 PM

La méthode de traitement de l'échec de l'e-mail de Laravel à envoyer le code de vérification est d'utiliser Laravel ...

Comment définir automatiquement les autorisations d'UnixSocket après le redémarrage du système? Comment définir automatiquement les autorisations d'UnixSocket après le redémarrage du système? Mar 31, 2025 pm 11:54 PM

Comment définir automatiquement les autorisations d'UnixSocket après le redémarrage du système. Chaque fois que le système redémarre, nous devons exécuter la commande suivante pour modifier les autorisations d'UnixSocket: sudo ...

Combien augmentera Dogecoin en 2025 Combien augmentera Dogecoin en 2025 Mar 28, 2025 pm 03:48 PM

Dogecoin (DOGE) peut être évalué entre 0,1 et 1 à 2025, selon les cycles et les urgences du marché: 1. Le marché haussier et la poussée des muscs peuvent entraîner une augmentation de 0,5 à 0,5 $; 2. Les hausses modérées et les points positifs locaux peuvent provoquer des DOGE à 0,2 et 0,5 $; 3. Les marchés des ours et les coups réglementaires peuvent entraîner une chute de Doge à 0,05 à 0,1 $.

See all articles