Le projet LLaMA contient un ensemble de modèles de langage de base avec des tailles allant de 7 milliards à 65 milliards de paramètres. Ces modèles sont formés sur des millions de jetons et sont entièrement formés sur des ensembles de données accessibles au public. En conséquence, le LLaMA-13B a surpassé le GPT-3 (175B), tandis que le LLaMA-65B a eu des performances similaires aux meilleurs modèles tels que le Chinchilla-70B et le PaLM-540B.
Image de LLaMA
Alpaca de l'Université de Stanford affirme qu'il peut rivaliser avec ChatGPT et que n'importe qui peut le copier pour moins de 600 $. Alpaca 7B est affiné à partir du modèle LLaMA 7B sur une démonstration de suivi d'instructions de 52K.
Contenu de la formation｜Photos du CRFM de l'Université de Stanford
Vicuna est collectés auprès de ShareGPT Affinez le modèle LLaMA en fonction des conversations utilisateur partagées. Le modèle Vicuna-13B a atteint plus de 90 % de la qualité d'OpenAI ChatGPT et de Google Bard. Il a également surpassé les modèles LLaMA et Stanford Alpaca dans 90 % des cas. Le coût de formation d’une vigogne est d’environ 300 $.
Image de Vicuna
OpenChatKit : Alternative open source à ChatGPT, c'est une boîte à outils complète pour créer des chatbots. Il fournit de grands modèles de langage pour former les utilisateurs aux propres ajustements des instructions, des modèles affinés, un système de récupération évolutif pour mettre à jour les réponses des robots et des instructions pour filtrer l'examen des questions par les robots.
Photos de TOGETHER
On peut voir que le modèle GPT-NeoXT-Chat-Base-20B est plus performant que le modèle de base GPT-NoeX dans les tâches de questions et réponses, d'extraction et de classification.
GPT4ALL est un projet piloté par la communauté et formé sur un corpus d'interactions auxiliaires à grande échelle, comprenant du code, des histoires, des descriptions et des dialogues à plusieurs tours. L'équipe a fourni l'ensemble de données, les pondérations du modèle, le processus de gestion des données et le code de formation pour faciliter l'open source. De plus, ils ont publié une version quantifiée 4 bits du modèle qui peut être exécutée sur un ordinateur portable. Vous pouvez même utiliser un client Python pour exécuter l'inférence de modèle.
Photos de GPT4ALL
Source :
Raven RWKV 7B est un chatbot open source piloté par le modèle de langage RWKV et génère des résultats similaires à ChatGPT. Ce modèle utilise RNN, qui peut égaler le transformateur en termes de qualité et d'évolutivité, tout en étant plus rapide et en économisant de la VRAM. Raven est affiné sur Stanford Alpaca, code-alpaca et d'autres ensembles de données.
Image de Raven RWKV 7B
OPT : Le modèle de langage Open Pre-trained Transformer n'est pas aussi puissant que ChatGPT, mais il montre d'excellentes capacités en matière d'apprentissage zéro et peu de tirs et d'analyse des biais stéréotypés. Il peut également être intégré à Alpa, Colossal-AI, CTranslate2 et FasterTransformer pour de meilleurs résultats. REMARQUE : La raison pour laquelle il figure sur la liste est sa popularité, car il compte 624 710 téléchargements par mois dans la catégorie génération de texte.
Image de (arxiv.org)
Flan-T5-XXL Le T5 Le modèle est affiné sur l’ensemble de données exprimé sous forme d’instructions. Le réglage fin des instructions améliore considérablement les performances de diverses classes de modèles, telles que PaLM, T5 et U-PaLM. Le modèle Flan-T5-XXL est affiné sur plus de 1000 tâches supplémentaires, couvrant davantage de langues.
Image de Flan-T5-XXL
Il existe de nombreux grands modèles open source parmi lesquels choisir.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
