


La « flatterie » est courante dans les modèles RLHF, et personne n'est à l'abri de Claude contre le GPT-4
Que vous soyez dans le cercle de l'IA ou dans d'autres domaines, vous avez plus ou moins utilisé les grands modèles de langage (LLM). Alors que tout le monde vante les différents changements apportés par le LLM, certaines lacunes des grands modèles apparaissent progressivement. dehors.
Par exemple, il y a quelque temps, Google DeepMind a découvert que LLM présente généralement un comportement humain « flagorneur », c'est-à-dire que parfois les points de vue de l'utilisateur humain sont objectivement incorrects et que le modèle ajustera sa réponse pour suivre les points de vue de l'utilisateur. Comme le montre la figure ci-dessous, l'utilisateur indique au modèle 1+1=956446, et le modèle suit les instructions humaines et pense que cette réponse est correcte.
Source de l'image https://arxiv.org/abs/2308.03958
En fait, ce phénomène se produit couramment dans de nombreux modèles d'IA. Quelle en est la raison ? Les chercheurs de la startup d'IA Anthropic ont analysé ce phénomène. Ils pensent que la « flatterie » est un comportement courant des modèles RLHF, en partie dû à la préférence humaine pour les réponses « flatteuses ».
Adresse papier : https://arxiv.org/pdf/2310.13548.pdf
Jetons ensuite un coup d'œil au processus de recherche spécifique.
Les assistants IA tels que GPT-4 sont formés pour produire des réponses plus précises, et la grande majorité d'entre eux utilisent RLHF. Le réglage fin d'un modèle de langage à l'aide de RLHF améliore la qualité de la sortie du modèle, qui est évaluée par des humains. Cependant, certaines recherches estiment que les méthodes de formation basées sur les jugements de préférences humaines ne sont pas souhaitables. Même si le modèle peut produire des résultats attrayants pour les évaluateurs humains, il est en réalité imparfait ou incorrect. Dans le même temps, des travaux récents ont également montré que les modèles formés sur RLHF ont tendance à fournir des réponses cohérentes avec les utilisateurs.
Afin de mieux comprendre ce phénomène, cette étude a d'abord exploré si les assistants IA dotés de performances SOTA fourniraient des réponses modèles de « flatterie » dans divers environnements du monde réel. Il a été constaté que 5 IA SOTA formées avec RLHF Les assistants ont montré un. modèle cohérent de « flatterie » dans les tâches de génération de texte de forme libre. Puisque la flatterie semble être un comportement courant chez les modèles formés au RLHF, cet article explore également le rôle des préférences humaines dans ce type de comportement.
Cet article explore également si la « flatterie » présente dans les données de préférences conduira à la « flatterie » dans le modèle RLHF, et constate qu'une optimisation accrue augmentera certaines formes de « flatterie » mais réduira d'autres formes « plus plates ».
Le degré et l'impact de la « flatterie » des grands modèles
Afin d'évaluer le degré de « flatterie » des grands modèles et d'analyser l'impact sur la génération de réalité, cette étude a analysé le « flatteur » des grands modèles publié par Anthropic, OpenAI et Meta. Les niveaux de flatterie ont été comparés.
Plus précisément, l'étude propose le référentiel d'évaluation SycophancyEval. SycophancyEval étend le référentiel d'évaluation de « flatterie » des grands modèles existant. En termes de modèles, cette étude a spécifiquement testé 5 modèles, dont : claude-1.3 (Anthropic, 2023), claude-2.0 (Anthropic, 2023), GPT-3.5-turbo (OpenAI, 2022), GPT-4 (OpenAI, 2023). ), lama-2-70b-chat (Touvron et al., 2023).
Préférences flatteuses des utilisateurs
Lorsque les utilisateurs demandent à de grands modèles de fournir des commentaires de forme libre sur un morceau de texte de débat, en théorie, la qualité de l'argument dépend uniquement du contenu de l'argument, mais le L'étude a révélé que le grand modèle fournira des commentaires plus positifs pour les arguments que l'utilisateur aime et des commentaires plus négatifs pour les arguments que l'utilisateur n'aime pas.
Comme le montre la figure 1 ci-dessous, les commentaires du grand modèle sur les paragraphes de texte dépendent non seulement du contenu du texte, mais sont également affectés par les préférences de l'utilisateur.
Il est facile de se laisser influencer
L'étude a révélé que même lorsque les grands modèles fournissent des réponses précises et déclarent avoir confiance dans ces réponses, ils modifient souvent leurs réponses lorsqu'ils sont interrogés par les utilisateurs, fournissant ainsi des erreurs. information. Par conséquent, la « flatterie » peut nuire à la crédibilité et à la fiabilité des réponses des grands modèles.
Fournir des réponses conformes aux croyances des utilisateurs
L'étude a révélé que pour les tâches de questions et réponses ouvertes, les grands modèles ont tendance à fournir des réponses conformes aux croyances des utilisateurs. Par exemple, dans la figure 3 ci-dessous, ce comportement de « flatterie » a réduit la précision de LLaMA 2 jusqu'à 27 %.
imitation des erreurs des utilisateurs
Pour tester si les grands modèles répètent les erreurs des utilisateurs, l'étude a exploré si les grands modèles donnaient incorrectement l'auteur d'un poème. Comme le montre la figure 4 ci-dessous, même si le grand modèle peut répondre au bon auteur du poème, il répondra de manière incorrecte car l'utilisateur donne des informations erronées.
Comprendre la flatterie dans les modèles linguistiques
L'étude a révélé que plusieurs grands modèles ont montré un comportement de « flatterie » cohérent dans différents environnements du monde réel, on suppose donc que cela peut être dû au réglage fin du RLHF . Par conséquent, cette étude analyse les données de préférences humaines utilisées pour former un modèle de préférence (PM).
Comme le montre la figure 5 ci-dessous, cette étude a analysé les données sur les préférences humaines et exploré les fonctionnalités qui peuvent prédire les préférences des utilisateurs.
Les résultats expérimentaux montrent que, toutes choses étant égales par ailleurs, un comportement de « flatterie » dans une réponse modèle augmente la probabilité que les humains préféreront cette réponse. L'influence du modèle de préférence (PM) utilisé pour entraîner le grand modèle sur le comportement de « flatterie » du grand modèle est complexe, comme le montre la figure 6 ci-dessous.
Enfin, les chercheurs ont exploré à quelle fréquence les humains et les modèles PM (MODÈLES DE PRÉFÉRENCE) ont tendance à répondre honnêtement ? Il a été constaté que les humains et les modèles PM préféraient les réponses flatteuses aux réponses correctes.
Résultats PM : Dans 95 % des cas, les réponses flatteuses ont été préférées aux vraies réponses (Figure 7a). L'étude a également révélé que les PM préféraient les réponses flatteuses près de la moitié du temps (45 %).
Résultats du feedback humain : bien que les humains aient tendance à répondre de manière plus honnête que flatteuse, leur probabilité de choisir une réponse fiable diminue à mesure que la difficulté (idée fausse) augmente (Figure 7b). Bien que le regroupement des préférences de plusieurs personnes puisse améliorer la qualité du feedback, ces résultats suggèrent qu’il peut être difficile d’éliminer complètement la flatterie en utilisant simplement le feedback humain non expert.
La figure 7c montre que bien que l'optimisation pour Claude 14h réduit la flatterie, l'effet n'est pas significatif.
Pour plus d'informations, veuillez consulter l'article original.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

0. À quoi sert cet article ? Nous proposons DepthFM : un modèle d'estimation de profondeur monoculaire génératif de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur. DepthFM est efficace et peut synthétiser des cartes de profondeur en quelques étapes d'inférence. Lisons ce travail ensemble ~ 1. Titre des informations sur l'article : DepthFM : FastMonocularDepthEstimationwithFlowMatching Auteur : MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Vous êtes confronté à un décalage et à une connexion de données mobile lente sur iPhone ? En règle générale, la puissance de l'Internet cellulaire sur votre téléphone dépend de plusieurs facteurs tels que la région, le type de réseau cellulaire, le type d'itinérance, etc. Vous pouvez prendre certaines mesures pour obtenir une connexion Internet cellulaire plus rapide et plus fiable. Correctif 1 – Forcer le redémarrage de l'iPhone Parfois, le redémarrage forcé de votre appareil réinitialise simplement beaucoup de choses, y compris la connexion cellulaire. Étape 1 – Appuyez simplement une fois sur la touche d’augmentation du volume et relâchez-la. Ensuite, appuyez sur la touche de réduction du volume et relâchez-la à nouveau. Étape 2 – La partie suivante du processus consiste à maintenir le bouton sur le côté droit. Laissez l'iPhone finir de redémarrer. Activez les données cellulaires et vérifiez la vitesse du réseau. Vérifiez à nouveau Correctif 2 – Changer le mode de données Bien que la 5G offre de meilleures vitesses de réseau, elle fonctionne mieux lorsque le signal est plus faible

Je pleure à mort. Le monde construit à la folie de grands modèles. Les données sur Internet ne suffisent pas du tout. Le modèle de formation ressemble à « The Hunger Games », et les chercheurs en IA du monde entier se demandent comment nourrir ces personnes avides de données. Ce problème est particulièrement important dans les tâches multimodales. À une époque où rien ne pouvait être fait, une équipe de start-up du département de l'Université Renmin de Chine a utilisé son propre nouveau modèle pour devenir la première en Chine à faire de « l'auto-alimentation des données générées par le modèle » une réalité. De plus, il s’agit d’une approche à deux volets, du côté compréhension et du côté génération, les deux côtés peuvent générer de nouvelles données multimodales de haute qualité et fournir un retour de données au modèle lui-même. Qu'est-ce qu'un modèle ? Awaker 1.0, un grand modèle multimodal qui vient d'apparaître sur le Forum Zhongguancun. Qui est l'équipe ? Moteur Sophon. Fondé par Gao Yizhao, doctorant à la Hillhouse School of Artificial Intelligence de l’Université Renmin.

Récemment, le milieu militaire a été submergé par la nouvelle : les avions de combat militaires américains peuvent désormais mener des combats aériens entièrement automatiques grâce à l'IA. Oui, tout récemment, l’avion de combat IA de l’armée américaine a été rendu public pour la première fois, dévoilant ainsi son mystère. Le nom complet de ce chasseur est Variable Stability Simulator Test Aircraft (VISTA). Il a été personnellement piloté par le secrétaire de l'US Air Force pour simuler une bataille aérienne en tête-à-tête. Le 2 mai, le secrétaire de l'US Air Force, Frank Kendall, a décollé à bord d'un X-62AVISTA à la base aérienne d'Edwards. Notez que pendant le vol d'une heure, toutes les actions de vol ont été effectuées de manière autonome par l'IA ! Kendall a déclaré : "Au cours des dernières décennies, nous avons réfléchi au potentiel illimité du combat air-air autonome, mais cela a toujours semblé hors de portée." Mais maintenant,
