Le « Grass Mud Horse » de Stanford est populaire : 100 $ peuvent correspondre à GPT-3.5 ! Le genre qui peut fonctionner sur les téléphones mobiles

Du jour au lendemain, une autre grande nouvelle a éclaté dans le monde du grand mannequin !

Stanford a publié Alpaca (Alpaca, comme l'appellent les internautes) :

Pour seulement 100 $, tout le monde peut affiner le grand modèle LLaMA de 7 milliards de paramètres de Meta, et l'effet est comparable au GPT-3.5 de 175 milliards de paramètres (texte -davinci-003).

Et il peut fonctionner avec une seule carte, même un Raspberry Pi et un téléphone portable peuvent le contenir !

Il existe également une "opération sexy" encore plus étonnante.

L'ensemble de données impliqué dans l'étude a été généré par l'équipe de Stanford à l'aide de l'API d'OpenAI pour moins de 500 $.

L'ensemble du processus est donc équivalent à GPT-3.5 enseignant une IA adversaire comparable.

Ensuite, l'équipe a également déclaré que le coût d'utilisation de la plupart des plates-formes de cloud computing pour affiner un modèle entraîné est inférieur à 100 $ :

Copier une IA avec l'effet GPT-3.5 est très bon marché, facile et très petit.

Et l'équipe a également rendu l'ensemble de données (économisant 500 $ par seconde) et le code entièrement open source. Désormais, tout le monde peut peaufiner une IA conversationnelle aux effets explosifs :

Cela ne fait qu'une demi-journée depuis le début. Le projet a été publié sur GitHub. Il a déjà reçu plus de 1 800 étoiles, ce qui montre sa popularité.

Le co-développeur de Django a même décrit la nouvelle recherche de Stanford comme « un événement choquant » :

De plus, l'équipe de Stanford a également réalisé une démo qui peut être jouée en ligne.

Sans plus tard, jetons un coup d’œil à l’effet de ce « Grass Mud Horse ».

Aplaca, un cheval d'herbe-boue comparable à davinci-003

Lors de la démonstration officielle de Stanford, ils ont d'abord posé une question :

Qu'est-ce qu'un alpaga ? Quelle est la différence entre lui et un lama ?

La réponse donnée par le cheval de boue d'herbe Aplaca est plus concise :

L'alpaga est un petit camélidé, originaire du Pérou, de la Bolivie, de l'Équateur et du Chili, il est plus petit que le lama, a une laine plus fine, et non ; bosse.

Puis il a brièvement présenté les différences entre les deux vivant en groupe.

Si la même question est posée à ChatGPT (GPT3.5-turbo), la réponse ne sera pas aussi concise que le cheval de boue d'herbe Aplace :

À cet égard, l'explication donnée par l'équipe est :

La réponse d'Alpaca est généralement plus courte que ChatGPT, reflétant la sortie plus courte de text-davinci-003.

Ensuite, l'équipe a fait la démonstration en laissant Alpaca écrire un e-mail :

Écrivez un e-mail pour féliciter les étudiants de première année qui ont été admis à l'Université de Stanford et mentionnez que vous êtes heureux de les rencontrer en personne.

Alpaca connaît également très bien cette tâche et a directement donné un modèle d'e-mail décent :

Le niveau de difficulté a encore augmenté. Cette fois, l'équipe a proposé à Alpaca de rédiger un résumé papier :

. Rédigez un résumé bien pensé d'un article sur l'apprentissage automatique démontrant que 42 est la graine optimale pour la formation des réseaux de neurones.

La réponse donnée par Alpaca est très cohérente avec la forme abstraite de la plupart des articles en termes de contenu : à quelle question tente-t-il de répondre, quelle méthode est utilisée, quels sont les résultats et les perspectives d'avenir.

Bien sûr, il y a aussi des internautes qui ont hâte de le tester par eux-mêmes et qui découvrent qu'il est facile d'écrire du code avec Alpaca.

Mais même si l'Alpaga peut supporter la plupart des problèmes, cela ne veut pas dire qu'il est sans défauts.

Par exemple, l'équipe a démontré un exemple. En répondant à la question « Quelle est la capitale de la Tanzanie ? », la réponse donnée par Alpaca était « Dar es Salaam ».

Mais il fut effectivement remplacé par « Dodoma » dès 1975.

De plus, si vous avez personnellement expérimenté l'Alpaga, vous constaterez qu'il est... extrêmement lent :

À cet égard, certains internautes pensent que c'est peut-être parce que trop de gens l'utilisent il.

Les ordinateurs portables, les téléphones mobiles et le Raspberry Pi peuvent tous l'exécuter

Le grand modèle open source LLaMA de Meta a été organisé et compris quelques semaines seulement après sa sortie, et il peut être exécuté sur une seule carte.

Donc, en théorie, Alpaca basé sur le réglage fin de LLaMA peut également être facilement déployé localement.

Peu importe si vous n'avez pas de carte graphique, vous pouvez y jouer sur un ordinateur portable Apple, même un Raspberry Pi ou un téléphone portable.

La méthode de déploiement de LLaMA sur les notebooks Apple provient du projet GitHub llama.cpp, qui utilise du C/C++ pur pour le raisonnement et est spécialement optimisé pour les puces ARM.

Selon les tests réels effectués par l'auteur, il peut fonctionner sur MacBook Pro avec la puce M1, et il prend également en charge les systèmes Windows et Linux.

Toujours dans cette version portée en C++, quelqu'un a exécuté avec succès la version à 7 milliards de paramètres de LLaMA sur un Raspberry Pi 4 avec 4 Go de mémoire.

Bien que la vitesse soit très lente, il faut environ 10 secondes pour générer un jeton (c'est-à-dire que 4,5 mots apparaissent en une minute).

Ce qui est encore plus scandaleux, c'est que seulement 2 jours plus tard, quelqu'un a quantifié et compressé le modèle LLaMA (convertissant les poids dans un format de données de moindre précision) et l'a exécuté avec succès sur un téléphone Android Pixel 6 (un jeton sur 26 secondes).

Le Pixel 6 utilise le processeur Google Tensor développé par Google et ses scores vont de Snapdragon 865+ à 888, ce qui signifie que les téléphones mobiles les plus récents peuvent théoriquement faire le travail.

L'ensemble de données de réglage fin est également open source

La méthode de réglage fin de LLaMA par l'équipe de Stanford vient de l'auto-instruction proposée par Yizhong Wang et d'autres à l'Université de Washington à la fin de l'année dernière .

Utilisez 175 questions comme tâches de départ, laissez l'IA combiner de nouvelles questions et générer des exemples de réponses correspondantes, filtrer manuellement celles de mauvaise qualité, puis ajouter de nouvelles tâches au pool de tâches.

Pour toutes ces tâches, la méthode InstructGPT peut être utilisée ultérieurement pour permettre à l'IA d'apprendre à suivre les instructions humaines.

Après quelques tours de poupée gigogne, cela équivaut à laisser l'IA se guider.

La version Stanford d'Alpaca a été créée à l'aide de l'API OpenAI pour générer 52 000 exemples de ce type pour moins de 500 $.

Ces données sont également open source et sont plus diverses que les données de l'article original.

En même temps, le code pour générer ces données est également fourni, ce qui signifie que si quelqu'un estime que cela ne suffit toujours pas, il peut étendre et affiner lui-même les données pour continuer à améliorer les performances du modèle.

Le code de réglage fin sera également publié après que HuggingFace aura officiellement pris en charge LLaMA.

Cependant, les poids finaux du modèle Alpaca nécessitent une licence Meta pour être publiés, et il hérite de l'accord open source non commercial de LLaMA, interdisant toute utilisation commerciale.

Et comme les données de réglage fin utilisent l'API d'OpenAI, il est également interdit de l'utiliser pour développer des modèles qui concurrencent OpenAI selon les conditions d'utilisation.

One More Thing

Vous souvenez-vous encore de l'histoire du développement de la peinture IA ?

Au premier semestre 2022, le sujet était encore d'actualité. La sortie open source de Stable Diffusion en août a ramené le coût à un niveau utilisable et a abouti à une innovation explosive en matière d'outils, permettant à la peinture IA de véritablement entrer dans divers flux de travail.

Le coût des modèles linguistiques est désormais tombé au niveau où les appareils électroniques personnels sont disponibles.

Enfin, Simon Willison, le fondateur du framework Django, a crié :

L'heure de la diffusion stable de grands modèles de langage est arrivée.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!