Des mots d'invite conçus indépendamment par l'IA, Google DeepMind a découvert que la « respiration profonde » en mathématiques peut augmenter les grands modèles de 8 points !

Ajoutez "respirez profondément" au mot d'invite, et le score mathématique du grand modèle d'IA augmentera de 8,4 points supplémentaires !

La dernière découverte de l'équipe Google DeepMind est que l'utilisation de ce nouveau "sort"(Prenez une profonde respiration) combiné avec le tout le monde connaît déjà "Pensons étape par étape"(Pensons étape par étape ), le grand modèle est en données GSM8K. Le score sur l'ensemble s'est amélioré de 71,8 à 80,2 points.

Et ce mot d'invite le plus efficace a été trouvé par AI elle-même.

Certaines personnes plaisantent en disant que lorsque vous respirez profondément, la vitesse du ventilateur de refroidissement augmente

Certaines personnes pensent que les ingénieurs bien payés nouvellement embauchés devraient également se calmer car leur travail pourrait ne pas durer trop longtemps L'article à long terme

"Le grand modèle de langage est un optimiseur" a encore une fois fait sensation.

Plus précisément, les mots d'invite conçus par le grand modèle lui-même sont améliorés jusqu'à 50 % sur l'ensemble de données Big-Bench Hard.

Certaines personnes se concentrent également sur "Les meilleurs mots d'invite pour différents modèles sont différents".

Dans l'article, non seulement la tâche de conception de mots rapides, mais également la capacité des grands modèles sur des tâches d'optimisation classiques telles que la régression linéaire et le problème du voyageur de commerce ont été testées

Différents modèles ont différents mots d'invite optimaux

Les problèmes d'optimisation sont omniprésents. Les algorithmes basés sur les dérivées et les gradients sont des outils puissants, mais dans les applications réelles, on rencontre souvent des situations où les gradients ne sont pas applicables.

Pour résoudre ce problème, l'équipe a développé une nouvelle méthode OPRO, qui est l'optimisation par mots rapides (Optimisation par PROmpting).

Au lieu de définir formellement les problèmes d'optimisation et de les résoudre avec des programmes, nous décrivons les problèmes d'optimisation en langage naturel et exigeons que de grands modèles génèrent de nouvelles solutions.

Un résumé de flux graphique est un appel récursif à un grand modèle.

À chaque étape de l'optimisation, les solutions et les scores générés précédemment sont utilisés comme entrée, le grand modèle génère de nouvelles solutions et scores, puis les ajoute aux mots d'invite à utiliser dans l'étape suivante de l'optimisation.

L'article utilise principalement la version PaLM 2 de Google et la version text-bison de Bard comme modèles d'évaluation.

En tant qu'optimiseur, nous utiliserons quatre modèles, dont GPT-3.5 et GPT-4

Les résultats de recherche montrent que les styles de mots d'invite et les styles de mots d'invite applicables conçus par différents modèles sont également différents

Précédemment dans Le mot d'invite optimal conçu par l'IA sur la série GPT est "Résolvons cela étape par étape pour être sûr d'avoir la bonne réponse."

Ce mot d'invite a été conçu en utilisant la méthode APE, et le L'article a été publié lors de l'ICLR 2023, surpassant les versions conçues par l'homme sur GPT-3 (text-davinci-002) « Pensons étape par étape ».

Sur PaLM 2 et Bard basés sur Google, la version APE a obtenu de moins bons résultats que la version humaine dans ce test de référence

Parmi les nouveaux mots d'invite conçus par la méthode

OPRO, " respire profondément" et "démonter ce problème" ont le meilleur effet pour PaLM.

Pour la version texte-bison du grand modèle Bard, il est plus enclin à fournir des mots d'invite plus détaillés

De plus, l'article montre également le potentiel des grands modèles dans les optimiseurs mathématiques

Régression linéaire À titre d'exemple de problème d'optimisation continue.

Problème du voyageur de commerce comme exemple de problème d'optimisation discret.

Avec juste des indices, les grands modèles peuvent trouver de bonnes solutions, correspondant parfois ou dépassant les heuristiques conçues à la main.

Cependant, l'équipe estime également que les grands modèles ne peuvent pas encore remplacer les algorithmes d'optimisation traditionnels basés sur le gradient. Lorsque l'échelle du problème est grande, comme le problème du voyageur de commerce avec un grand nombre de nœuds, les performances de la méthode OPRO ne sont pas idéales

L'équipe a proposé des idées d'améliorations futures. Ils pensent que les grands modèles actuels ne peuvent pas utiliser efficacement les cas d'erreur, et que le simple fait de fournir des cas d'erreur ne peut pas permettre aux grands modèles de capturer les causes des erreurs.

Une direction prometteuse consiste à combiner des commentaires plus riches sur les cas d'erreur et à résumer les trajectoires d'optimisation de haut niveau. entre les signaux de génération de qualité et de mauvaise qualité.

Ces informations ont le potentiel d'aider le modèle d'optimisation à améliorer plus efficacement les indices générés précédemment et peuvent réduire davantage le nombre d'échantillons requis pour l'optimisation des indices.

L'article publie un grand nombre de mots d'indices optimaux

L'article provient du fusion de Google et du département DeepMind, mais les auteurs sont principalement issus de l'équipe d'origine de Google Brain, dont Quoc Le, Zhou Dengyong.

Nous sommes tous les deux un ancien élève de Fudan Chengrun Yang qui est diplômé de l'Université de Cornell avec un doctorat, et un ancien élève de l'Université Jiao Tong de Shanghai Chen Xinyan qui est diplômé de l'UC Berkeley avec un doctorat.

L'équipe a également fourni bon nombre des meilleurs mots d'invite obtenus lors d'expériences dans le journal, y compris des scénarios pratiques tels que des recommandations de films et des noms de films usurpés. Si vous en avez besoin, vous pouvez vous y référer vous-même

Adresse papier : https://arxiv.org/abs/2309.03409

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!