Introduction à Falcon 40b: architecture, données de formation et fonctionnalités

Cet article explore Falcon 40b, un puissant modèle de grande langue open source (LLM) développé par le Technology Innovation Institute (TII). Avant de plonger, une compréhension de base de l'apprentissage automatique et du traitement du langage naturel (PNL) est recommandée. Considérez notre piste de compétences fondamentales de l'IA pour une introduction complète à des concepts clés comme le chatppt, les LLM et l'IA génératrice

Comprendre Falcon 40b

Falcon 40B appartient à la famille Falcon de Tii, aux côtés de Falcon 7b et Falcon 180b. En tant que modèle de décodeur causal uniquement, il excelle dans diverses tâches de génération de langage naturel. Ses capacités multilingues incluent l'anglais, l'allemand, l'espagnol et le français, avec un soutien partiel pour plusieurs autres langues.

Architecture et formation du modèle

L'architecture de Falcon 40b, une version modifiée de GPT-3, utilise des incorporations de position rotatives et des mécanismes d'attention améliorés (attention multi-requier et Flashattention). Le bloc de décodeur utilise une attention parallèle et des structures MLP avec un schéma de normalisation à deux couches pour l'efficacité. La formation impliquait 1 billion de jetons de raffinedweb, un corpus Internet de haute qualité et déducteur, et a utilisé 384 GPU A100 40 Go sur AWS Sagemaker.

Image du blog Falcon

Caractéristiques et avantages clés

Le mécanisme d'attention multi-requête

Falcon 40b améliore l'évolutivité de l'inférence sans avoir un impact significatif sur la pré-entraînement. Des versions instructées (Falcon-7B-Istruct et Falcon-40B-Istruct) sont également disponibles, affinées pour améliorer les performances sur les tâches de style assistant. Sa licence Apache 2.0 permet une utilisation commerciale sans restrictions. L'analyse comparative sur le classement Openllm montre Falcon 40B surperformant d'autres modèles open source comme Llama, Stablelm, Redpajama et Mpt.

Image de Open LLM Leadboard

Début: inférence et réglage fin

L'exécution de Falcon 40B nécessite des ressources GPU importantes. Alors que la quantification 4 bits permet l'exécution sur les GPU A100 40 Go, le plus petit Falcon 7B est plus adapté au matériel grand public, y compris Google Colab. Les exemples de code fournis démontrent l'inférence en utilisant la quantification 4 bits pour Falcon 7B sur Colab. Le réglage fin avec Qlora et l'entraîneur SFT est également discuté, en tirant parti de la bibliothèque TRL pour une adaptation efficace aux nouveaux ensembles de données. L'exemple utilise l'ensemble de données Guanaco.

FALCON-180B: Un saut géant

Falcon-180b, formé sur 3,5 billions de jetons, dépasse même Falcon 40B en performance. Cependant, ses 180 milliards de paramètres nécessitent des ressources de calcul substantielles (environ 8xa100 80 Go) pour l'inférence. La sortie de Falcon-180b-chat, affinée pour les tâches conversationnelles, offre une alternative plus accessible.

Image de la démo FALCON-180B

Conclusion

FALCON 40B offre une option LLM open source convaincante, équilibrant les performances et l'accessibilité. Bien que le modèle complet exige des ressources importantes, ses plus petites variantes et ses capacités de réglage fin en font un outil précieux pour les chercheurs et les développeurs. Pour ceux qui souhaitent construire leur propre LLMS, le spécialiste de l'apprentissage automatique avec Python Career Track est une considération valable.

Ressources officielles:

• Page de visage de câlin officiel: Tiiuae (Technology Innovation Institute)
• Blog: Le Falcon a atterri dans l'écosystème des étreintes
• LEADCEBOED: Open LLM LABALBOOD
• Carte modèle: Tiiuae / Falcon-40b · Face étreinte
• Ensemble de données: Tiiuae / Falcon-RefinedWeb

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!