Le cours de modèle grand langage

Ce cours complet explore les modèles de grands langues (LLM), offrant deux chemins d'apprentissage distincts: la piste scientifique LLM pour la construction de LLMs optimaux et la piste de l'ingénieur LLM pour le développement et le déploiement d'applications basées sur LLM. Une version interactive est disponible via HuggingChat (recommandé) ou Chatgpt.

LLM Scientist Track: Ce chemin se concentre sur la construction de la construction de LLM à l'aide de techniques de pointe.

1. Architecture LLM: Bien que les connaissances en architecture des transformateurs profondes ne soient pas obligatoires, la compréhension des processus centraux est cruciale: conversion de texte à nombre (tokenisation), traitement de jetons à travers des mécanismes d'attention et génération de texte via diverses stratégies d'échantillonnage. Les domaines clés comprennent la compréhension de l'évolution architecturale, des stratégies de tokenisation, des mécanismes d'attention (auto-attention et variantes) et des techniques d'échantillonnage de génération de texte.

2. Modèles de pré-formation: bien que gourmands par calcul, la pré-formation de saisie est vitale. Cela implique la préparation des données (conservation, le nettoyage, la déduplication), la formation distribuée (données, pipeline et parallélisme du tenseur), l'optimisation de la formation (taux d'apprentissage adaptatif, coupure de gradient) et le suivi méticuleux des mesures clés.

3. Les ensembles de données post-formation: Les ensembles de données post-formation, structurés avec des instructions et des réponses (réglage fin supervisé) ou des paires de préférences (alignement de préférence), sont cruciaux. Cette section couvre les formats de stockage, la génération de données synthétiques, les techniques d'amélioration des données et les méthodes de filtrage de qualité robuste.

4. Affinage supervisé (SFT): SFT transforme les modèles de base en assistants utiles. Cela implique de comprendre les techniques de formation (complets fines par rapport aux méthodes économes par les paramètres comme Lora et Qlora), les paramètres de formation clés, les stratégies de formation distribuées et les techniques de surveillance efficaces.

5. Alignement des préférences: Cette étape aligne les résultats du modèle avec les préférences humaines, l'atténuation de la toxicité et des hallucinations. Il se concentre sur l'échantillonnage de rejet, l'optimisation directe des préférences (DPO), l'optimisation de la politique proximale (PPO) et la surveillance des performances.

6. Évaluation: L'évaluation LLM fiable est cruciale. Cette section explore les références automatisées, l'évaluation humaine, l'évaluation basée sur le modèle et l'importance d'analyser les signaux de rétroaction pour améliorer les performances du modèle.

7. Quantification: Cette section plonge dans les techniques de réduction des coûts de calcul et de mémoire des LLMS par le paramètre et la quantification de l'activation, couvrant divers niveaux de précision, des outils comme Llama.cpp et GGUF, et des techniques avancées comme GPTQ, AWQ, lisse et zéroquant .

8. Tendances émergentes: Cette section explore des sujets avancés comme la fusion de modèles, les modèles multimodaux, les techniques d'interprétation (y compris l'abmission) et la mise à l'échelle de calcul du temps de test.

LLM Engineer Track: Ce chemin se concentre sur la construction d'applications LLM prêtes à la production, mettant l'accent sur l'augmentation et le déploiement du modèle.

1. Exécution de LLMS: Cette section couvre les LLM de l'exécution via des API (à la fois privées et open-source), en utilisant des LLM open-source à partir du centre de face étreint, en maîtrisant les techniques d'ingénierie rapide et en structurant des sorties pour des applications spécifiques.

2. Construire un stockage vectoriel: Cette section détaille la création d'un stockage vectoriel pour la récupération des pipelines de génération augmentée (RAG), y compris l'ingestion de document, la division, les modèles d'intégration et les bases de données vectorielles.

3. Génération augmentée (RAG) de récupération: Cette section explique comment construire des pipelines de chiffon, en se concentrant sur les orchestrateurs, les retrievers, la gestion de la mémoire et les métriques d'évaluation.

4. Rag avancé: Cette section couvre des techniques de chiffon avancées comme la construction de requête pour les bases de données structurées, les systèmes basés sur des agents, les méthodes de post-traitement et l'optimisation de LLM programmatique à l'aide de cadres comme DSPY.

5. Optimisation de l'inférence: Cette section explore les techniques d'optimisation de l'inférence LLM, y compris l'attention du flash, la mise en cache de valeur clé et le décodage spéculatif.

6. Déploiement de LLMS: Cette section couvre les options de déploiement locales, la création de démos à l'aide de frameworks comme Gradio et Streamlit, Stratégies de déploiement côté serveur et déploiement de bord pour les environnements contraints.

7. Sécurisation LLMS: Cette section traite des défis de sécurité uniques posés par les LLM, y compris le piratage rapide, les déambulations et les mesures défensives.

Conclusion: Le cours encourage l'apprentissage et l'exploration pratique, suggérant l'expérimentation avec divers outils et techniques pour développer une expertise dans un domaine choisi dans le vaste paysage LLM.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!