


Transformer pourrait être réfléchi, mais ne le fait tout simplement pas
Le modèle linguistique planifiera-t-il les futurs jetons ? Cet article vous donne la réponse.
"Ne laissez pas Yann LeCun le voir."
Yann LeCun a dit que c'était trop tard, il l'avait déjà vu. La question abordée dans l'article « LeCun à lire absolument » que je présenterai aujourd'hui est la suivante : Transformer est-il un modèle de langage réfléchi ? Lorsqu’il effectue une inférence à un certain emplacement, anticipe-t-il les emplacements suivants ?
La conclusion de cette étude est la suivante : Transformer a la capacité de le faire, mais ne le fait pas dans la pratique.
Nous savons tous que les humains réfléchissent avant de parler. Dix années de recherche linguistique montrent que lorsque les humains utilisent le langage, ils prédisent mentalement la saisie linguistique, les mots ou les phrases à venir.
Contrairement aux humains, les modèles de langage actuels allouent une quantité fixe de calcul à chaque jeton lorsqu'il « parle ». Nous ne pouvons donc nous empêcher de nous demander : les modèles linguistiques penseront-ils à l’avance comme les humains ?
Selon certaines recherches récentes, il a été démontré que le prochain jeton peut être prédit en sondant l'état caché du modèle de langage. Il est intéressant de noter qu'en utilisant des sondes linéaires sur les états cachés du modèle, les résultats du modèle sur les futurs jetons peuvent être prédits dans une certaine mesure et les résultats futurs peuvent être modifiés de manière prévisible. Certaines recherches récentes ont montré qu'il est possible de prédire le prochain jeton en sondant les états cachés d'un modèle de langage. Il est intéressant de noter qu'en utilisant des sondes linéaires sur les états cachés du modèle, les résultats du modèle sur les futurs jetons peuvent être prédits dans une certaine mesure et les résultats futurs peuvent être modifiés de manière prévisible.
Ces résultats suggèrent que l’activation du modèle à un pas de temps donné est au moins partiellement prédictif de la production future.
Cependant, nous ne savons pas encore pourquoi : s’agit-il simplement d’une propriété accidentelle des données, ou est-ce parce que le modèle prépare délibérément les informations pour les pas de temps futurs (mais cela affecte les performances du modèle à l’emplacement actuel) ?
Afin de répondre à cette question, trois chercheurs de l'Université du Colorado à Boulder et de l'Université Cornell ont récemment publié un article intitulé « Les modèles linguistiques planifieront-ils les futurs jetons ? "Thèse.
Titre de l'article : Les modèles linguistiques planifient-ils les futurs jetons ?
Adresse de l'article : https://arxiv.org/pdf/2404.00859.pdf
Aperçu de la recherche
Ils ont observé que pendant la formation, le gradient non seulement optimiser le poids pour la perte de la position actuelle du jeton, mais également optimiser les jetons plus tard dans la séquence. Ils ont en outre demandé : dans quelle proportion le poids actuel du transformateur allouera-t-il des ressources au jeton actuel et aux futurs jetons ?
Ils ont envisagé deux possibilités : l'hypothèse de la pré-mise en cache et l'hypothèse du fil d'Ariane.
L'hypothèse de pré-cache signifie que le transformateur calculera des caractéristiques au pas de temps t qui ne sont pas pertinentes pour la tâche d'inférence du pas de temps actuel mais peuvent être utiles pour les pas de temps futurs t + τ, tandis que l'hypothèse du fil d'Ariane signifie que les caractéristiques les plus pertinentes pour le pas de temps t Les caractéristiques de sont déjà équivalentes aux caractéristiques qui seront les plus utiles au pas de temps t + τ.
Pour évaluer quelle hypothèse est correcte, l'équipe a proposé un schéma d'entraînement myope qui ne propage pas le gradient de perte à la position actuelle vers l'état caché à la position précédente.
Veuillez vous référer à l'article original pour la définition mathématique et la description théorique des hypothèses et solutions ci-dessus.
Résultats expérimentaux
Pour comprendre s'il est possible pour les modèles de langage d'implémenter directement la précache, ils ont conçu un scénario synthétique dans lequel la tâche ne peut être accomplie que via une précache explicite. Ils ont configuré une tâche dans laquelle le modèle devait précalculer les informations pour le prochain jeton, sinon il ne serait pas en mesure de calculer avec précision la bonne réponse en un seul passage.的 Définition des jeux de données synthétiques construits par l'équipe.
Ensuite, ils ont exploré si les modèles de langage naturel (variantes GPT-2 pré-entraînées) présenteraient l'hypothèse du fil d'Ariane ou l'hypothèse de la pré-cache. Leurs expériences avec des programmes de formation pour myopes montrent que la pré-cache se produit beaucoup moins souvent dans ce contexte, de sorte que les résultats sont plus biaisés en faveur de l'hypothèse du fil d'Ariane.
La perte d'entropie croisée et la différence entre le GPT-2 original modèle basé sur la position du jeton et le modèle GPT-2 à courte vue.原 GPT-2 Vérification de la perte d'entropie croisée obtenue grâce à une formation primitive et de courte durée.
Ainsi, l'équipe affirme : sur des données linguistiques réelles, les modèles linguistiques ne préparent pas les informations futures dans une mesure significative. Il s’agit plutôt de fonctionnalités informatiques utiles pour prédire le prochain jeton – qui s’avéreront également utiles pour les étapes futures.
L'équipe a déclaré : "Dans les données linguistiques, nous observons qu'il n'y a pas de compromis significatif entre l'optimisation avide de la prochaine perte de jetons et la garantie des performances de prédiction futures Nous pouvons donc probablement voir sortir, la question de savoir si le Transformer peut être prévoyant semble être essentiellement une question de données.
Il est concevable qu'à l'avenir, nous puissions utiliser des méthodes de traitement de données appropriées pour donner aux modèles de langage la capacité de penser à l'avance comme les humains.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Dans la fabrication moderne, une détection précise des défauts est non seulement la clé pour garantir la qualité des produits, mais également la clé de l’amélioration de l’efficacité de la production. Cependant, les ensembles de données de détection de défauts existants manquent souvent de précision et de richesse sémantique requises pour les applications pratiques, ce qui rend les modèles incapables d'identifier des catégories ou des emplacements de défauts spécifiques. Afin de résoudre ce problème, une équipe de recherche de premier plan composée de l'Université des sciences et technologies de Hong Kong, Guangzhou et de Simou Technology a développé de manière innovante l'ensemble de données « DefectSpectrum », qui fournit une annotation à grande échelle détaillée et sémantiquement riche des défauts industriels. Comme le montre le tableau 1, par rapport à d'autres ensembles de données industrielles, l'ensemble de données « DefectSpectrum » fournit le plus grand nombre d'annotations de défauts (5 438 échantillons de défauts) et la classification de défauts la plus détaillée (125 catégories de défauts).

La communauté ouverte LLM est une époque où une centaine de fleurs fleurissent et s'affrontent. Vous pouvez voir Llama-3-70B-Instruct, QWen2-72B-Instruct, Nemotron-4-340B-Instruct, Mixtral-8x22BInstruct-v0.1 et bien d'autres. excellents interprètes. Cependant, par rapport aux grands modèles propriétaires représentés par le GPT-4-Turbo, les modèles ouverts présentent encore des lacunes importantes dans de nombreux domaines. En plus des modèles généraux, certains modèles ouverts spécialisés dans des domaines clés ont été développés, tels que DeepSeek-Coder-V2 pour la programmation et les mathématiques, et InternVL pour les tâches de langage visuel.

Pour l’IA, l’Olympiade mathématique n’est plus un problème. Jeudi, l'intelligence artificielle de Google DeepMind a réalisé un exploit : utiliser l'IA pour résoudre la vraie question de l'Olympiade mathématique internationale de cette année, l'OMI, et elle n'était qu'à un pas de remporter la médaille d'or. Le concours de l'OMI qui vient de se terminer la semaine dernière comportait six questions portant sur l'algèbre, la combinatoire, la géométrie et la théorie des nombres. Le système d'IA hybride proposé par Google a répondu correctement à quatre questions et a marqué 28 points, atteignant le niveau de la médaille d'argent. Plus tôt ce mois-ci, le professeur titulaire de l'UCLA, Terence Tao, venait de promouvoir l'Olympiade mathématique de l'IA (AIMO Progress Award) avec un prix d'un million de dollars. De manière inattendue, le niveau de résolution de problèmes d'IA s'était amélioré à ce niveau avant juillet. Posez les questions simultanément sur l'OMI. La chose la plus difficile à faire correctement est l'OMI, qui a la plus longue histoire, la plus grande échelle et la plus négative.

Editeur | ScienceAI Sur la base de données cliniques limitées, des centaines d'algorithmes médicaux ont été approuvés. Les scientifiques se demandent qui devrait tester les outils et comment le faire au mieux. Devin Singh a vu un patient pédiatrique aux urgences subir un arrêt cardiaque alors qu'il attendait un traitement pendant une longue période, ce qui l'a incité à explorer l'application de l'IA pour réduire les temps d'attente. À l’aide des données de triage des salles d’urgence de SickKids, Singh et ses collègues ont construit une série de modèles d’IA pour fournir des diagnostics potentiels et recommander des tests. Une étude a montré que ces modèles peuvent accélérer les visites chez le médecin de 22,3 %, accélérant ainsi le traitement des résultats de près de 3 heures par patient nécessitant un examen médical. Cependant, le succès des algorithmes d’intelligence artificielle dans la recherche ne fait que le vérifier.

Editeur | KX À ce jour, les détails structurels et la précision déterminés par cristallographie, des métaux simples aux grandes protéines membranaires, sont inégalés par aucune autre méthode. Cependant, le plus grand défi, appelé problème de phase, reste la récupération des informations de phase à partir d'amplitudes déterminées expérimentalement. Des chercheurs de l'Université de Copenhague au Danemark ont développé une méthode d'apprentissage en profondeur appelée PhAI pour résoudre les problèmes de phase cristalline. Un réseau neuronal d'apprentissage en profondeur formé à l'aide de millions de structures cristallines artificielles et de leurs données de diffraction synthétique correspondantes peut générer des cartes précises de densité électronique. L'étude montre que cette méthode de solution structurelle ab initio basée sur l'apprentissage profond peut résoudre le problème de phase avec une résolution de seulement 2 Angströms, ce qui équivaut à seulement 10 à 20 % des données disponibles à la résolution atomique, alors que le calcul ab initio traditionnel

L'ensemble de données ScienceAI Question Answering (QA) joue un rôle essentiel dans la promotion de la recherche sur le traitement du langage naturel (NLP). Des ensembles de données d'assurance qualité de haute qualité peuvent non seulement être utilisés pour affiner les modèles, mais également évaluer efficacement les capacités des grands modèles linguistiques (LLM), en particulier la capacité à comprendre et à raisonner sur les connaissances scientifiques. Bien qu’il existe actuellement de nombreux ensembles de données scientifiques d’assurance qualité couvrant la médecine, la chimie, la biologie et d’autres domaines, ces ensembles de données présentent encore certaines lacunes. Premièrement, le formulaire de données est relativement simple, et la plupart sont des questions à choix multiples. Elles sont faciles à évaluer, mais limitent la plage de sélection des réponses du modèle et ne peuvent pas tester pleinement la capacité du modèle à répondre aux questions scientifiques. En revanche, les questions et réponses ouvertes

Éditeur | L’utilisation de Ziluo AI pour rationaliser la découverte de médicaments explose. Ciblez des milliards de molécules candidates pour détecter celles qui pourraient posséder les propriétés nécessaires au développement de nouveaux médicaments. Il y a tellement de variables à prendre en compte, depuis le prix des matériaux jusqu’au risque d’erreur, qu’évaluer les coûts de synthèse des meilleures molécules candidates n’est pas une tâche facile, même si les scientifiques utilisent l’IA. Ici, les chercheurs du MIT ont développé SPARROW, un cadre d'algorithme de prise de décision quantitative, pour identifier automatiquement les meilleurs candidats moléculaires, minimisant ainsi les coûts de synthèse tout en maximisant la probabilité que les candidats possèdent les propriétés souhaitées. L’algorithme a également identifié les matériaux et les étapes expérimentales nécessaires à la synthèse de ces molécules. SPARROW prend en compte le coût de synthèse d'un lot de molécules à la fois, puisque plusieurs molécules candidates sont souvent disponibles

Editeur | KX Dans le domaine de la recherche et du développement de médicaments, il est crucial de prédire avec précision et efficacité l'affinité de liaison des protéines et des ligands pour le criblage et l'optimisation des médicaments. Cependant, les études actuelles ne prennent pas en compte le rôle important des informations sur la surface moléculaire dans les interactions protéine-ligand. Sur cette base, des chercheurs de l'Université de Xiamen ont proposé un nouveau cadre d'extraction de caractéristiques multimodales (MFE), qui combine pour la première fois des informations sur la surface des protéines, la structure et la séquence 3D, et utilise un mécanisme d'attention croisée pour comparer différentes modalités. alignement. Les résultats expérimentaux démontrent que cette méthode atteint des performances de pointe dans la prédiction des affinités de liaison protéine-ligand. De plus, les études d’ablation démontrent l’efficacité et la nécessité des informations sur la surface des protéines et de l’alignement des caractéristiques multimodales dans ce cadre. Les recherches connexes commencent par "S
