Dix lignes de code sont comparables à RLHF et utilisent les données de jeux sociaux pour former des modèles d'alignement social

Rendre le comportement des modèles de langage cohérent avec les valeurs sociales humaines est une partie importante du développement actuel des modèles de langage. La formation correspondante est également appelée alignement des valeurs.

La solution dominante actuelle est le RLHF (Reinforcenment Learning from Human Feedback) utilisé par ChatGPT, qui est un apprentissage par renforcement basé sur le feedback humain. Cette solution forme d'abord un modèle de récompense (modèle de valeur) comme proxy du jugement humain. Le modèle d'agent fournit des récompenses sous forme de signaux de supervision au modèle de langage génératif pendant la phase d'apprentissage par renforcement.

Cette méthode présente les problèmes suivants :

1 Les récompenses générées par le modèle proxy peuvent facilement être brisées ou falsifiées.

2. Pendant le processus de formation, le modèle d'agent doit interagir en permanence avec le modèle génératif, et ce processus peut être très long et inefficace. Afin de garantir des signaux de supervision de haute qualité, le modèle d'agent ne doit pas être plus petit que le modèle génératif, ce qui signifie que pendant le processus d'optimisation de l'apprentissage par renforcement, au moins deux modèles plus grands doivent effectuer alternativement l'inférence (jugement des récompenses) et les paramètres. Mise à jour (optimisation des paramètres du modèle génératif). Un tel paramètre peut s’avérer très gênant dans le cadre d’une formation distribuée à grande échelle.

3. Le modèle de valeur lui-même n'a pas de correspondance évidente avec le modèle de pensée humaine. Nous n’avons pas en tête un modèle de notation distinct et, en fait, il est très difficile de maintenir une norme de notation fixe pendant une longue période. Au lieu de cela, une grande partie du jugement de valeur que nous formons à mesure que nous grandissons provient des interactions sociales quotidiennes : en analysant différentes réponses sociales à des situations similaires, nous réalisons ce qui est encouragé et ce qui ne l’est pas. Ces expériences et consensus progressivement accumulés grâce à une grande quantité de « socialisation-rétroaction-amélioration » sont devenus les jugements de valeur communs de la société humaine.

Une étude récente de Dartmouth, Stanford, Google DeepMind et d'autres institutions montre que l'utilisation de données de haute qualité construites par des jeux sociaux et des algorithmes d'alignement simples et efficaces peut être la clé pour parvenir à l'alignement.

• Adresse de l'article : https://arxiv.org/pdf/2305.16960.pdf
• Adresse du code : https://github.com/agi-templar/Stable- Alignement
• téléchargement du modèle (incluant la base, SFT et le modèle d'alignement) : https://huggingface.co/agi-css

L'auteur propose une méthode multi-agent Alignement méthodes formées sur les données du jeu. L'idée de base peut être comprise comme le transfert de l'interaction en ligne du modèle de récompense et du modèle génératif dans la phase de formation à l'interaction hors ligne entre un grand nombre d'agents autonomes dans le jeu (taux d'échantillonnage élevé, prévisualisation du jeu à l'avance). L'environnement de jeu fonctionne indépendamment de la formation et peut être massivement parallélisé. Les signaux de supervision passent de la dépendance à la performance du modèle de récompense de l'agent à la dépendance à l'intelligence collective d'un grand nombre d'agents autonomes.

Pour cela, l'auteur a conçu un modèle social virtuel appelé Sandbox. Le bac à sable est un monde composé de points de grille, et chaque point de grille est un agent social. Le corps social dispose d'un système de mémoire qui sert à stocker diverses informations telles que des questions, des réponses, des commentaires, etc. pour chaque interaction. Chaque fois que le groupe social répond à une question, il doit d'abord récupérer et renvoyer les N questions et réponses historiques les plus pertinentes pour la question à partir du système de mémoire comme référence contextuelle pour cette réponse. Grâce à cette conception, la position du corps social peut être continuellement mise à jour au cours de plusieurs cycles d'interaction, et la position mise à jour peut maintenir une certaine continuité avec le passé. Chaque groupe social a une position par défaut différente dans la phase d'initialisation.

Convertir les données de jeu en données d'alignement

Dans l'expérience, l'auteur a utilisé un bac à sable de grille 10x10 (un total de 100 entités sociales) pour la simulation sociale et a formulé une règle sociale (la soi-disant règle du bac à sable) : toutes les entités sociales doivent rendre leurs réponses aux questions plus sociales. aligné (alignement social) pour laisser une bonne impression aux autres groupes sociaux. De plus, le bac à sable déploie également des observateurs sans mémoire pour noter les réponses des groupes sociaux avant et après chaque interaction sociale. La notation est basée sur deux dimensions : l’alignement et l’engagement.

Utiliser différents modèles pour simuler la société humaine dans le bac à sable

L'auteur a utilisé le bac à sable Sandbox pour tester des modèles de langage de différentes tailles et différentes étapes de formation. Dans l’ensemble, les modèles formés avec alignement (appelés « modèles alignés »), tels que davinci-003, GPT-4 et ChatGPT, peuvent générer des réponses socialement normatives en moins de cycles d’interaction. En d’autres termes, l’importance de la formation à l’alignement est de rendre le modèle plus sûr dans des scénarios « prêts à l’emploi » sans nécessiter de séries spéciales de conseils de dialogue. Le modèle sans formation à l'alignement nécessite non seulement plus d'interactions pour obtenir la réponse globale optimale d'alignement et d'engagement, mais également la limite supérieure de cet optimal global est nettement inférieure à celle du modèle aligné.

L'auteur propose également un algorithme d'alignement simple et facile appelé Stable Alignment (alignement stable), qui est utilisé pour apprendre l'alignement à partir des données historiques dans le bac à sable. L'algorithme d'alignement stable effectue un apprentissage contrastif modulé par score dans chaque mini-lot - plus le score de la réponse est faible, plus la valeur limite de l'apprentissage contrastif sera définie - en d'autres termes, un alignement stable en échantillonnant continuellement de petits lots de données. , le modèle est encouragé à générer des réponses plus proches des réponses à score élevé et moins proches des réponses à score faible. Un alignement stable finit par converger vers la perte SFT. Les auteurs discutent également des différences entre l'alignement stable et SFT, RLHF.

L'auteur met particulièrement l'accent sur les données des jeux sandbox En raison du paramétrage du mécanisme, une grande quantité de données a été révisée pour devenir cohérente avec les valeurs sociales. L'auteur prouve à travers des expériences d'ablation que cette grande quantité de données améliorées étape par étape est la clé d'un entraînement stable.

L'auteur a également comparé les performances et la stabilité de l'entraînement des algorithmes d'alignement traditionnels actuels, prouvant que l'alignement stable est non seulement plus stable que la modélisation des récompenses, mais a également de meilleures performances et alignements généraux. les performances sont comparables à celles du RLHF (étant donné que ChatGPT utilise des modèles, des données et des algorithmes non divulgués, il n'est utilisé qu'à titre de référence).

Résultats de la génération d'instance :

Veuillez vous référer au document pour plus de détails.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!