Tutoriel llama.cpp: un guide complet de l'inférence et de la mise en œuvre de LLM efficaces

llama.cpp: une alternative légère et portable pour l'inférence du modèle de langage grand

Les modèles de langage grand (LLMS) transforment les industries, alimentant les applications des chatbots du service client aux outils avancés d'analyse des données. Cependant, leur adoption généralisée est souvent entravée par la nécessité de matériel puissant et de temps de réponse rapide. Ces modèles exigent généralement du matériel sophistiqué et des dépendances étendues, ce qui les rend difficiles à se déployer dans des environnements liés aux ressources. Lama.cpp (ou lama c) propose une solution, fournissant une alternative plus légère et plus portable aux cadres plus lourds.

llama.cpp logo (source)

développé par Georgi Gerganov, Llama.cpp implémente efficacement l'architecture de Llama de Meta en c / c. Il possède une communauté open source dynamique avec plus de 900 contributeurs, 69 000 étoiles GitHub et 2 600 versions.

Avantages clés de Llama.cpp pour l'inférence LLM

• Compatibilité universelle: sa conception CPU-First simplifie l'intégration dans divers environnements et plateformes de programmation.
• La richesse de traits: Tout en se concentrant sur les fonctionnalités de bas niveau du cœur, il reflète les capacités de haut niveau de Langchain, rationalisant le développement (bien que l'évolutivité puisse être une considération future).
• Optimisation ciblée: se concentrer sur l'architecture de lama (en utilisant des formats comme GGML et GGUF) entraîne des gains d'efficacité significatifs.

Ce tutoriel vous guide à travers un exemple de génération de texte à l'aide de lama.cpp, en commençant par les bases, le flux de travail et les applications de l'industrie.

llama.cpp architecture

LLAMA.CPP's Foundation est les modèles LLAMA originaux, basés sur l'architecture du transformateur. Les développeurs ont incorporé plusieurs améliorations à partir de modèles comme Palm:

Différences architecturales entre Transformers et Llama (par Umar Jamil)

Les distinctions architecturales clés comprennent:

• pré-normalisation (gpt3): améliore la stabilité de la formation en utilisant rmsnorm.
• Fonction d'activation de Swiglu (PALM): remplace le relu pour les améliorations des performances.
• Les incorporations rotatives (GPT-NEO): ajoutent une corde après avoir supprimé les incorporations de position absolues.

Configuration de l'environnement

Prérequis:

• python (pour pip)
• llama-cpp-python (liaison python pour llama.cpp)

Création d'un environnement virtuel

Pour éviter les conflits d'installation, créez un environnement virtuel à l'aide de conda:

conda create --name llama-cpp-env
conda activate llama-cpp-env

Installez la bibliothèque:

pip install llama-cpp-python  # or pip install llama-cpp-python==0.1.48

Vérifiez l'installation en créant un simple script python (llama_cpp_script.py) avec: from llama_cpp import Llama et en l'exécutant. Une erreur d'importation indique un problème.

Comprendre les bases de lama.cpp

La classe Core Llama prend plusieurs paramètres (voir la documentation officielle d'une liste complète):

• model_path: chemin vers le fichier du modèle.
• prompt: invite d'entrée.
• device: CPU ou GPU.
• max_tokens: jetons maximaux générés.
• stop: Liste des chaînes pour arrêter la génération.
• temperature: contrôle le caractère aléatoire (0-1).
• top_p: contrôle la diversité des prédictions.
• echo: Inclure l'invite dans la sortie (true / false).

Exemple d'instanciation:

from llama_cpp import Llama

my_llama_model = Llama(model_path="./MY_AWESOME_MODEL")

# ... (rest of the parameter definitions and model call) ...

Votre premier projet LLAMA.CPP

Ce projet utilise la version GGUF de Zephyr-7B-Beta de l'étreinte Face.

Modèle Zephyr de l'étreinte Face (Source)

Structure du projet: [Image montrant la structure du projet]

Chargement du modèle:

from llama_cpp import Llama

my_model_path = "./model/zephyr-7b-beta.Q4_0.gguf"
CONTEXT_SIZE = 512

zephyr_model = Llama(model_path=my_model_path, n_ctx=CONTEXT_SIZE)

Fonction de génération de texte:

def generate_text_from_prompt(user_prompt, max_tokens=100, temperature=0.3, top_p=0.1, echo=True, stop=["Q", "\n"]):
    # ... (model call and response handling) ...

Exécution principale:

if __name__ == "__main__":
    my_prompt = "What do you think about the inclusion policies in Tech companies?"
    response = generate_text_from_prompt(my_prompt)
    print(response) # or print(response["choices"][0]["text"].strip()) for just the text

llama.cpp applications du monde réel

Exemple: Etp4africa utilise Llama.cpp pour son application éducative, bénéficiant de la portabilité et de la vitesse, permettant une assistance de codage en temps réel.

Conclusion

Ce didacticiel a fourni un guide complet pour configurer et utiliser LLAMA.cpp pour l'inférence LLM. Il a couvert la configuration de l'environnement, l'utilisation de base, un exemple de génération de texte et un scénario d'application du monde réel. Une exploration plus approfondie de Langchain et Pytorch est encouragée.

FAQS

(les FAQ restent les mêmes que dans l'entrée d'origine, juste formatée pour une meilleure lisibilité)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!