Pour rendre hommage à TempleOS, un développeur a créé un système d'exploitation pour lancer Llama 2. Internaute : un vieil ordinateur avec 8 Go de mémoire peut l'exécuter

Je dois dire que les projets de « création secondaire » de Llama 2 deviennent de plus en plus hardcore et intéressants.

Depuis que Meta a publié le grand modèle open source Llama 2, il y a eu davantage de projets « secondaires » autour de ce modèle.

En juillet, Andrej Karpathy, l'ancien directeur de l'IA de Tesla et de retour à OpenAI, a utilisé son week-end pour réaliser un projet intéressant llama2.c sur Llama 2, permettant aux utilisateurs de former un baby Llama 2 dans le modèle PyTorch. , puis utilisez près de 500 lignes de fichiers C pur sans aucune dépendance pour l'inférence.

Aujourd'hui, sur la base du projet Karpathy llama2.c, un autre développeur a créé un système d'exploitation de démonstration qui démarre Llama 2 et un module noyau qui appelle l'assistant en mode utilisateur pour l'inférence de Llama 2. Le projet s'appelle Llama 2 Everywhere, ou L2E en abrégé.

Cependant, l'auteur a également déclaré que la configuration système actuelle requise est de 512 Mo de RAM et un PC x86_64 (64 bits), et que la convivialité doit être améliorée.

En même temps, ce projet cache aussi des œufs de Pâques, comme le jeu "Doom", mais il faut résoudre des énigmes pour le trouver.

Adresse du projet : https://github.com/trholding/llama2.c

Andrej Karpathy a également fait part de ce nouveau projet, affirmant qu'il présente les caractéristiques d'un "fonctionnement indépendant, binaire, portable et bootable". Il espère que son projet llama2.c sera un succès, et ce nouveau projet élargit l'imagination.

L2E a été reconnue par les internautes de tous horizons, et certaines personnes ont dit que c'était vraiment génial. Fondamentalement, il peut être démarré sur n’importe quel ancien ordinateur portable et peut être exécuté uniquement sur le processeur, 8 Go de RAM suffisent, 16 Go c’est mieux.

Certaines personnes pensent que le projet est très similaire à TempleOS, le système d'exploitation développé pour Dieu (il a été développé seul par le regretté programmeur de génie Terry Davis), mais l'auteur du projet a déclaré qu'il n'était qu'un hommage à Terry et TempleOS.

L2E a construit un système d'exploitation en utilisant uniquement le noyau Linux et quelques connaissances, un monde de différence par rapport à celui que Terry a construit à partir de zéro.

Ensuite, découvrons l'intention originale, la démo et les fonctionnalités du projet L2E.

Présentation du projet L2E

L'auteur du projet a déclaré que L2E vise à assurer sa compatibilité sur divers appareils, comme le lancement sur les Chromebooks et le déploiement sur les noyaux uniques haute densité d'entreprise.

À l'avenir, ce projet a le potentiel de libérer l'intelligence des foules au-delà d'un seul LLM à grande échelle en tirant parti d'un grand nombre de LLM spécialisés à petite échelle en réseau, distribués et auto-coordonnés avec des exigences matérielles modestes.

Actuellement, un cas d'utilisation notable de L2E consiste à former des modèles à petite échelle sur différentes sources de texte, notamment des manuels scolaires, des livres ouverts et le corpus SlimPajama. Ces modèles formés sont déployés à l'aide de L2E pour s'exécuter en tant qu'instances amorçables sur des ordinateurs scolaires plus anciens et obsolètes. Cette option de déploiement peut être utile dans les bibliothèques scolaires ou les salles de classe où la connectivité Internet est limitée ou indisponible.

Le but ultime du projet est de créer un écosystème d'IA inclusif capable de s'adapter à divers environnements et d'autonomiser les individus et les communautés à l'échelle mondiale.

De plus, en s'entraînant avec diverses données de télémétrie matérielle, on espère que le modèle apprendra à interpréter les entrées des capteurs et à contrôler les actionneurs en fonction des informations recueillies à partir des entrées des capteurs. Cette direction de recherche est susceptible de jouer un rôle dans des domaines tels que l’automatisation, l’espace, la robotique et l’Internet des objets, et le L2E jouera un rôle clé en comblant le fossé entre l’IA et les systèmes physiques.

L2E Demo Showcase

L'auteur du projet montre quelques exemples de démarrage de Llama 2.

Ce qui suit est le système d'exploitation L2E du noyau Linux. Vous pouvez maintenant réellement démarrer et déduire le modèle Llama 2 sur l'ordinateur.

Vous pouvez également exécuter des commandes cat /dev/llama et echo telles que "Sudo, fais-moi un sandwich !" > /dev/llama, ou passer un paramètre du noyau l2e.quest="Quelle est la signification de la vie?".

Enfin, il est également possible de lancer et de déduire un ensemble de 1000 modèles Virtual Baby Llama 2 sur un serveur de grande entreprise.

L2E est hautement portable et peut exécuter un seul fichier exécutable sur n'importe quel système d'exploitation x86_64, tel que Windows, GNU Linux, GNU/Systemd, NetBSD, OpenBSD, etc. L'indépendance se reflète dans la possibilité d'intégrer des modèles et des tokenizers via ZipOS (cosmocc), INCBIN, strliteral. L2E peut fonctionner sur CPU/GPU.

Veuillez vous référer au projet original pour plus de détails.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!