Grands modèles de petits lamas pouvant être exécutés avec un minimum de ressources de calcul et de mémoire-IA-php.cn

Grands modèles de petits lamas pouvant être exécutés avec un minimum de ressources de calcul et de mémoire

PHPz

Libérer： 2024-03-04 14:30:04

avant

804 Les gens l'ont consulté

Introduction au contexte

Dans l'ère actuelle d'information explosive, la formation de modèles linguistiques devient de plus en plus complexe et difficile. Afin de former un modèle de langage efficace, nous avons besoin de beaucoup de ressources informatiques et de temps, ce qui est peu pratique pour de nombreuses personnes. Dans le même temps, nous sommes également confrontés au défi de savoir comment appliquer de grands modèles de langage avec des ressources de mémoire et de calcul limitées, en particulier sur les appareils de pointe.

Aujourd'hui, j'aimerais vous recommander un projet open source GitHub, jzhang38/TinyLlama, qui compte plus de 4,3 000 étoiles sur GitHub. Pour présenter le projet en une phrase, voici : "Le projet TinyLlama est un effort ouvert. pré-entraîner un modèle de 1,1 milliard de lamas sur 3 000 milliards de jetons.

只需少量计算和内存资源即可运行的小型 Llama 大模型

Introduction au projet

L'objectif de TinyLlama est de pré-entraîner un modèle de lama de 1,1 milliard sur 3 000 milliards de jetons. Avec une optimisation appropriée, nous pouvons y parvenir en seulement 90 jours en utilisant 16 GPU A100-40G. Le projet utilise exactement la même architecture et le même tokenizer que Llama 2, ce qui signifie que TinyLlama peut être facilement intégré et utilisé dans de nombreux projets open source basés sur Llama. De plus, TinyLlama est très compact, avec seulement 1,1 milliard de paramètres. Cette compacité le rend adapté à de nombreux scénarios d’application nécessitant un encombrement informatique et mémoire limité.

只需少量计算和内存资源即可运行的小型 Llama 大模型

Comment utiliser

Vous pouvez directement télécharger le modèle et l'utiliser, ou utiliser la démo via huggingface.

只需少量计算和内存资源即可运行的小型 Llama 大模型

Si vous souhaitez vous entraîner seul, merci de vous référer aux détails de la formation ci-dessous.

只需少量计算和内存资源即可运行的小型 Llama 大模型

Promotion du projet

TinyLlama est un projet open source passionnant qui résout activement certains problèmes clés et a reçu une large attention dans la communauté open source.

只需少量计算和内存资源即可运行的小型 Llama 大模型