Le cheminement vers la création de modèles linguistiques à grande échelle en 2024

2024 verra un bond en avant technologique dans les grands modèles de langage (LLM), alors que les chercheurs et les ingénieurs continuent de repousser les limites du traitement du langage naturel. Ces LLM riches en paramètres révolutionnent la façon dont nous interagissons avec les machines, permettant des conversations, une génération de code et un raisonnement plus complexes. Cependant, la création de ces géants n’est pas une tâche facile, car elle implique la complexité de la préparation des données, des techniques de formation avancées et une inférence évolutive. Cette revue approfondit les détails techniques nécessaires à la création de LLM, couvrant les avancées récentes depuis l'approvisionnement en données jusqu'aux innovations en matière de formation et aux stratégies d'alignement.

2024 s'annonce comme une ère marquante pour les grands modèles de langage (LLM), alors que les chercheurs et les ingénieurs repoussent les limites de ce qui est possible en matière de traitement du langage naturel. Ces réseaux neuronaux à grande échelle dotés de milliards, voire de milliards de paramètres, révolutionneront la façon dont nous interagissons avec les machines, permettant des conversations, une génération de code et un raisonnement multimodal plus naturels et plus ouverts.

Cependant, construire un LL.M d’une telle envergure n’est pas une mince affaire. Cela nécessite un pipeline soigneusement organisé, depuis la recherche et la préparation des données jusqu'aux techniques de formation avancées et à l'inférence évolutive. Dans cet article, nous approfondirons les complexités techniques impliquées dans la création de ces modèles de langage de pointe, en explorant les dernières innovations et défis de la pile.

Préparation des données

1. Sources de données

La base de tout LLM réside dans les données sur lesquelles il est formé, et les modèles modernes ingèrent des quantités stupéfiantes de texte (souvent plus d'un billion de jetons), ces textes proviennent du Web. robots d'exploration, référentiels de code, livres, etc. Les sources de données courantes incluent :

Corporamas Web fréquemment explorés

Référentiels de codes tels que GitHub et Software Heritage

Ensembles de données sélectionnés (domaine public ou protégé par le droit d'auteur) tels que Wikipédia et les livres

Données générées synthétiquement

2.

Obtenir simplement toutes les données disponibles n'est généralement pas optimal car cela peut introduire du bruit et des biais. Par conséquent, des techniques de filtrage de données minutieuses sont utilisées :

Filtrage de qualité

Filtrage heuristique basé sur les propriétés du document telles que la longueur et la langue

Filtrage basé sur un classificateur utilisant des exemples de bonnes et de mauvaises données

Perplexité du modèle de langage Seuils

Spécifiques au domaine filtrage

Vérifiez l'impact sur des sous-ensembles spécifiques au domaine

Développez des règles et des seuils personnalisés

Stratégie de sélection

Seuils durs déterministes

Échantillonnage aléatoire probabiliste

Déduplication

Les grands corpus Web contiennent des chevauchements importants et des redondances. les documents peuvent amener le modèle à « mémoriser » trop de régions. Utilisez des algorithmes efficaces de détection de quasi-doublons tels que MinHash pour réduire ce biais de redondance.

4. Tokenisation

Une fois que nous disposons d'un corpus de texte dédupliqué de haute qualité, nous devons le tokeniser : le convertir en une séquence de jetons que le réseau neuronal peut ingérer pendant l'entraînement. Le codage BPE omniprésent au niveau des octets est préféré et gère le code, la notation mathématique et d’autres contextes avec élégance. Un échantillonnage minutieux de l'ensemble des données est nécessaire pour éviter un surajustement du tokenizer lui-même.

5. Évaluation de la qualité des données

Évaluer la qualité des données est une tâche difficile mais cruciale, surtout à une si grande échelle. Les techniques utilisées comprennent :

Surveillance de références à signal élevé telles que Commonsense QA, HellaSwag et OpenBook QA pendant la formation de sous-ensembles

Inspection manuelle des domaines/URL et inspection des exemples conservés/supprimés

Outils de regroupement et de visualisation de données

Aides à la formation Tokenizer pour analyser les jetons

Formation

1. Parallélisme des modèles

L'ampleur des LLM modernes (souvent trop volumineux pour tenir sur un seul GPU ou même une seule machine) nécessite des schémas de parallélisation avancés qui peuvent être combinés de différentes manières. Modèle réparti sur plusieurs appareils et machines :

Parallélisme des données : répartir les lots sur plusieurs appareils

Parallélisme tensoriel : diviser les poids et les activations du modèle entre les appareils

Parallélisme du pipeline : traiter le modèle comme une séquence d'étapes et pipeliner entre les appareils

Séquence parallélisme : divisez les séquences d'entrée individuelles pour évoluer davantage

La combinaison de ces stratégies parallèles 4D peut s'adapter à des modèles avec des milliards de paramètres.

2. Attention efficace

Le principal goulot d'étranglement informatique réside dans l'opération d'auto-attention au cœur de l'architecture Transformer. Des méthodes telles que Flash Attention et Factorized Kernels fournissent des implémentations d'attention hautement optimisées qui évitent d'implémenter inutilement la matrice d'attention complète.

3. Formation stable

Atteindre une convergence stable à une échelle aussi extrême est un défi majeur. Les innovations dans ce domaine comprennent :

Schémas d'initialisation améliorés

Méthodes de transfert d'hyperparamètres telles que MuTransfer

Plans de taux d'apprentissage optimisés tels que le recuit cosinus

Innovation architecturale

Les percées récentes dans l'architecture des modèles ont considérablement amélioré les compétences du. LLM :

Mixture-of-Experts (MoE) : chaque exemple active uniquement un sous-ensemble des paramètres du modèle, activé par le réseau de routage

Mamba : une implémentation efficace d'une couche de mélange d'experts basée sur le hachage

Alliance

Bien que la compétence soit cruciale, nous avons également besoin de LLM sûrs, authentiques, cohérents avec les valeurs et les conseils humains. C'est l'objectif de ce domaine émergent de l'alignement de l'intelligence artificielle :

Apprentissage par renforcement à partir de la rétroaction humaine (RLHF) : utiliser des signaux de récompense dérivés des préférences humaines pour la sortie du modèle afin d'affiner les méthodes telles que PPO, DPO, etc. activement exploré.

IA constitutionnelle : l'IA constitutionnelle code les règles et les instructions dans le modèle pendant le processus de formation, inculquant les comportements souhaités à partir de la base.

Inférence

Une fois notre LLM formé, nous devons l'optimiser pour une inférence efficace - en fournissant une sortie de modèle à l'utilisateur avec une latence minimale :

Quantisation : compresser les poids de grands modèles dans un format de faible précision, par exemple, int8 est moins cher à calculer et consomme beaucoup de mémoire ; les technologies couramment utilisées incluent GPTQ, GGML et NF4.

Décodage spéculatif : accélérez l'inférence en utilisant un petit modèle pour lancer un modèle plus grand, comme la méthode Medusa

Optimisation du système : la compilation juste à temps, la fusion du noyau et l'optimisation graphique CUDA peuvent encore augmenter la vitesse.

Conclusion

La création de modèles linguistiques à grande échelle en 2024 nécessite une architecture et une innovation minutieuses sur l'ensemble de la pile, de l'approvisionnement et du nettoyage des données aux systèmes de formation évolutifs et au déploiement efficace d'inférences. Nous n'avons évoqué que quelques-uns des points forts, mais le domaine évolue à un rythme incroyable, avec l'émergence constante de nouvelles technologies et de découvertes. Les défis liés à l’évaluation de la qualité des données, à la convergence stable à grande échelle, à la cohérence avec les valeurs humaines et à un déploiement robuste dans le monde réel restent des domaines ouverts. Mais le potentiel d’un LL.M. est énorme – restez à l’écoute alors que nous repoussons les limites de ce qui est possible avec l’IA linguistique en 2024 et au-delà !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!