Système de chiffon pour le raisonnement de l'IA avec un modèle distillé Deepseek R1

Deepseek R1: un modèle de langue open source révolutionnaire

Deepseek, une startup de l'IA chinoise, a lancé Deepseek R1 en janvier 2025, un modèle de langue open-source révolutionnaire contestant les principaux modèles comme O1 d'Openai. Son mélange unique d'architecture de mélange de mélange (MOE), d'apprentissage par renforcement et de l'accent mis sur le raisonnement le distingue. Bénéficiant de 671 milliards de paramètres, il n'active intelligemment que 37 milliards par demande, optimisant l'efficacité informatique. Le raisonnement avancé de Deepseek R1 est distillé en modèles open-source plus petits et accessibles tels que LLAMA et QWEN, affinés en utilisant des données générées par le modèle R1 Deepseek primaire.

Ce tutoriel détaille la construction d'un système de génération augmentée (RAG) de récupération utilisant le modèle Deepseek-R1-Distill-Llama-8b - un modèle LLAMA 3.1 8B affiné avec des données générées par des R1 profondes.

Objectifs d'apprentissage clés:

• saisir l'architecture, les innovations et les techniques d'apprentissage du renforcement de Deepseek.
Comprendre le rôle de l'optimisation relative de la politique du groupe (GRPO) dans l'amélioration du raisonnement.
Analyser les performances et l'efficacité de référence de Deepseek R1 par rapport aux concurrents.
Implémentez un système de chiffon à l'aide de modèles distillés et Qwen de Deepseek R1.

(Cet article fait partie du blogathon de la science des données.)

Table des matières:

Présentation de Deepseek R1
caractéristiques distinctives de Deepseek R1
Apprentissage du renforcement dans Deepseek R1
grpo dans Deepseek R1
Performance de référence de Deepseek R1
Modèles distillés R1 Deepseek
Construire un système de chiffon avec Deepseek-R1-Distill-QWEN-1.5B
Conclusion
Les questions fréquemment posées

Présentation de Deepseek R1:

Deepseek R1 et son prédécesseur, Deepseek R1-Zero, sont des modèles de raisonnement pionnier. Deepseek R1-Zero, formé uniquement par l'apprentissage par renforcement à grande échelle (RL) sans réglage fin supervisé (SFT), a présenté des capacités de raisonnement impressionnantes. Cependant, il a souffert de problèmes de lisibilité et de mélange de langues. Deepseek R1 aborde ces limites en incorporant les données "de démarrage à froid" avant RL, fournissant une base robuste pour les tâches de raisonnement et de non-renforcement.

Caractéristiques distinctives de Deepseek R1:

L'architecture avancée et l'efficacité de Deepseek R1 redéfinissent les performances de l'IA.

Les innovations clés incluent:

• Architecture MOE: Contrairement aux modèles de transformateurs standard, l'architecture MOE de Deepseek R1 active seulement 37 milliards de ses 671 milliards de paramètres par demande, augmentant l'efficacité et réduisant les coûts.
• Apprentissage du renforcement: RL améliore les capacités de raisonnement, éliminant le besoin d'un modèle de fonction de valeur séparé, rationalisant le réglage fin.
• Effectif: Formé en utilisant moins de ressources (2 000 GPU NVIDIA, ~ 5,6 millions de dollars) que les projets comparables, il offre des coûts d'API considérablement inférieurs.
• Performance de référence supérieure: Deepseek R1 surpasse constamment les concurrents sur les tests de précision et de centile (par exemple, 79,8% sur AIME 2024, 96,3% sur les forces de code).
• Évolutivité: versions "distillées" (paramètres de 1,5b à 70b) Assurent l'accessibilité sur divers matériel.
• Manipulation du contexte long: prend en charge efficacement les jetons de 128K, gérant efficacement les tâches complexes et riches en contexte.

Apprentissage du renforcement dans Deepseek R1:

L'utilisation innovante de RL par Deepseek R1 représente un changement de paradigme par rapport aux méthodes traditionnelles. Il exploite:

• rl pur: repose principalement sur RL, en contournant le réglage fin supervisé habituel.
• Auto-évolution: affine les performances par des essais et erreurs itératifs.
• Récompense de précision et de format: Récompense des prédictions précises et des réponses bien structurées.
• Raisonnement de la chaîne de réflexion (COT): articule son processus de raisonnement étape par étape.
• Efficacité: Préorise la qualité des données sur la quantité pure.
• RL et SFT combinés: combine des données "de démarrage à froid de haute qualité avec RL et SFT pour les sorties cohérentes.

Grpo dans Deepseek R1:

GRPO (optimisation de la politique relative du groupe) améliore le raisonnement LLM. Il améliore PPO en éliminant le besoin d'un modèle de fonction de valeur.

Les étapes de GRPO comprennent: les sorties d'échantillonnage, la notation des récompenses, le calcul de l'avantage (par rapport à la moyenne du groupe) et l'optimisation des politiques.

Performance de référence de Deepseek R1:

Les résultats de référence impressionnants de Deepseek R1 incluent:

• MATH-500: 97,3% (dépassant O1-1217 d'OpenAI).
• SWE-BENCH Vérifié: 49,2%.
• AIME 2024: comparable à l'Openai-O1-1217 d'Openai.

Modèles distillés profonds R1:

Les connaissances de Deepseek R1 sont distillées en modèles plus petits à l'aide d'un ensemble de données de 800 000 exemples générés par R1 Deepseek. Cela permet un transfert efficace des capacités de raisonnement à des modèles comme Llama et Qwen.

Construire un système de chiffon avec Deepseek-R1-Distill-Qwen-1.5b:

(Cette section contiendrait des exemples de code détaillés pour configurer le système de chiffon à l'aide du modèle et des bibliothèques spécifiés. En raison des contraintes de longueur, cette partie est omise mais inclurait des étapes pour installer des bibliothèques, le chargement du PDF, la création de l'intégration, la définition du Retriever, le chargement du modèle, la création du pipeline de rag et le modèle avec des exemples de questions et de sorties.)

Conclusion:

Deepseek R1 signifie une progression significative du raisonnement du modèle linguistique, en utilisant un RL pur et des techniques innovantes pour les performances et l'efficacité supérieures. Ses modèles distillés rendent le raisonnement avancé accessible à une gamme plus large d'applications.

Questions fréquemment posées:

(Cette section contiendrait des réponses aux questions fréquemment posées sur Deepseek R1, similaire au texte d'origine.)

(Remarque: Les URL de l'image restent inchangées.)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!