Maison Périphériques technologiques IA Transformer pourrait être réfléchi, mais ne le fait tout simplement pas

Transformer pourrait être réfléchi, mais ne le fait tout simplement pas

Apr 22, 2024 pm 05:22 PM
理论

Le modèle linguistique planifiera-t-il les futurs jetons ? Cet article vous donne la réponse.

"Ne laissez pas Yann LeCun le voir."

Transformer pourrait être réfléchi, mais ne le fait tout simplement pas

Yann LeCun a dit que c'était trop tard, il l'avait déjà vu. La question abordée dans l'article « LeCun à lire absolument » que je présenterai aujourd'hui est la suivante : Transformer est-il un modèle de langage réfléchi ? Lorsqu’il effectue une inférence à un certain emplacement, anticipe-t-il les emplacements suivants ?

La conclusion de cette étude est la suivante : Transformer a la capacité de le faire, mais ne le fait pas dans la pratique.

Nous savons tous que les humains réfléchissent avant de parler. Dix années de recherche linguistique montrent que lorsque les humains utilisent le langage, ils prédisent mentalement la saisie linguistique, les mots ou les phrases à venir.

Contrairement aux humains, les modèles de langage actuels allouent une quantité fixe de calcul à chaque jeton lorsqu'il « parle ». Nous ne pouvons donc nous empêcher de nous demander : les modèles linguistiques penseront-ils à l’avance comme les humains ?

Selon certaines recherches récentes, il a été démontré que le prochain jeton peut être prédit en sondant l'état caché du modèle de langage. Il est intéressant de noter qu'en utilisant des sondes linéaires sur les états cachés du modèle, les résultats du modèle sur les futurs jetons peuvent être prédits dans une certaine mesure et les résultats futurs peuvent être modifiés de manière prévisible. Certaines recherches récentes ont montré qu'il est possible de prédire le prochain jeton en sondant les états cachés d'un modèle de langage. Il est intéressant de noter qu'en utilisant des sondes linéaires sur les états cachés du modèle, les résultats du modèle sur les futurs jetons peuvent être prédits dans une certaine mesure et les résultats futurs peuvent être modifiés de manière prévisible.

Ces résultats suggèrent que l’activation du modèle à un pas de temps donné est au moins partiellement prédictif de la production future.

Cependant, nous ne savons pas encore pourquoi : s’agit-il simplement d’une propriété accidentelle des données, ou est-ce parce que le modèle prépare délibérément les informations pour les pas de temps futurs (mais cela affecte les performances du modèle à l’emplacement actuel) ?

Afin de répondre à cette question, trois chercheurs de l'Université du Colorado à Boulder et de l'Université Cornell ont récemment publié un article intitulé « Les modèles linguistiques planifieront-ils les futurs jetons ? "Thèse.

Transformer pourrait être réfléchi, mais ne le fait tout simplement pas

Titre de l'article : Les modèles linguistiques planifient-ils les futurs jetons ?

Adresse de l'article : https://arxiv.org/pdf/2404.00859.pdf

Aperçu de la recherche

Ils ont observé que pendant la formation, le gradient non seulement optimiser le poids pour la perte de la position actuelle du jeton, mais également optimiser les jetons plus tard dans la séquence. Ils ont en outre demandé : dans quelle proportion le poids actuel du transformateur allouera-t-il des ressources au jeton actuel et aux futurs jetons ?

Ils ont envisagé deux possibilités : l'hypothèse de la pré-mise en cache et l'hypothèse du fil d'Ariane.

Transformer pourrait être réfléchi, mais ne le fait tout simplement pas

L'hypothèse de pré-cache signifie que le transformateur calculera des caractéristiques au pas de temps t qui ne sont pas pertinentes pour la tâche d'inférence du pas de temps actuel mais peuvent être utiles pour les pas de temps futurs t + τ, tandis que l'hypothèse du fil d'Ariane signifie que les caractéristiques les plus pertinentes pour le pas de temps t Les caractéristiques de sont déjà équivalentes aux caractéristiques qui seront les plus utiles au pas de temps t + τ.

Pour évaluer quelle hypothèse est correcte, l'équipe a proposé un schéma d'entraînement myope qui ne propage pas le gradient de perte à la position actuelle vers l'état caché à la position précédente.

Veuillez vous référer à l'article original pour la définition mathématique et la description théorique des hypothèses et solutions ci-dessus.

Résultats expérimentaux

Pour comprendre s'il est possible pour les modèles de langage d'implémenter directement la précache, ils ont conçu un scénario synthétique dans lequel la tâche ne peut être accomplie que via une précache explicite. Ils ont configuré une tâche dans laquelle le modèle devait précalculer les informations pour le prochain jeton, sinon il ne serait pas en mesure de calculer avec précision la bonne réponse en un seul passage.的 Définition des jeux de données synthétiques construits par l'équipe.

Transformer pourrait être réfléchi, mais ne le fait tout simplement pas

Dans cette scène synthétique, l'équipe a trouvé des preuves claires que les transformateurs peuvent apprendre à pré-mettre en cache. Les modèles de séquence basés sur des transformateurs le font lorsqu'ils doivent précalculer des informations pour minimiser les pertes.

Ensuite, ils ont exploré si les modèles de langage naturel (variantes GPT-2 pré-entraînées) présenteraient l'hypothèse du fil d'Ariane ou l'hypothèse de la pré-cache. Leurs expériences avec des programmes de formation pour myopes montrent que la pré-cache se produit beaucoup moins souvent dans ce contexte, de sorte que les résultats sont plus biaisés en faveur de l'hypothèse du fil d'Ariane.

                                                                                                                                                                                                                   La perte d'entropie croisée et la différence entre le GPT-2 original modèle basé sur la position du jeton et le modèle GPT-2 à courte vue.原 GPT-2 Vérification de la perte d'entropie croisée obtenue grâce à une formation primitive et de courte durée.

Ainsi, l'équipe affirme : sur des données linguistiques réelles, les modèles linguistiques ne préparent pas les informations futures dans une mesure significative. Il s’agit plutôt de fonctionnalités informatiques utiles pour prédire le prochain jeton – qui s’avéreront également utiles pour les étapes futures. Transformer pourrait être réfléchi, mais ne le fait tout simplement pas

L'équipe a déclaré : "Dans les données linguistiques, nous observons qu'il n'y a pas de compromis significatif entre l'optimisation avide de la prochaine perte de jetons et la garantie des performances de prédiction futures Nous pouvons donc probablement voir sortir, la question de savoir si le Transformer peut être prévoyant semble être essentiellement une question de données.

Transformer pourrait être réfléchi, mais ne le fait tout simplement pasIl est concevable qu'à l'avenir, nous puissions utiliser des méthodes de traitement de données appropriées pour donner aux modèles de langage la capacité de penser à l'avance comme les humains.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Repoussant les limites de la détection de défauts traditionnelle, « Defect Spectrum » permet pour la première fois une détection de défauts industriels d'une ultra haute précision et d'une sémantique riche. Repoussant les limites de la détection de défauts traditionnelle, « Defect Spectrum » permet pour la première fois une détection de défauts industriels d'une ultra haute précision et d'une sémantique riche. Jul 26, 2024 pm 05:38 PM

Dans la fabrication moderne, une détection précise des défauts est non seulement la clé pour garantir la qualité des produits, mais également la clé de l’amélioration de l’efficacité de la production. Cependant, les ensembles de données de détection de défauts existants manquent souvent de précision et de richesse sémantique requises pour les applications pratiques, ce qui rend les modèles incapables d'identifier des catégories ou des emplacements de défauts spécifiques. Afin de résoudre ce problème, une équipe de recherche de premier plan composée de l'Université des sciences et technologies de Hong Kong, Guangzhou et de Simou Technology a développé de manière innovante l'ensemble de données « DefectSpectrum », qui fournit une annotation à grande échelle détaillée et sémantiquement riche des défauts industriels. Comme le montre le tableau 1, par rapport à d'autres ensembles de données industrielles, l'ensemble de données « DefectSpectrum » fournit le plus grand nombre d'annotations de défauts (5 438 échantillons de défauts) et la classification de défauts la plus détaillée (125 catégories de défauts).

Le modèle de dialogue NVIDIA ChatQA a évolué vers la version 2.0, avec la longueur du contexte mentionnée à 128 Ko Le modèle de dialogue NVIDIA ChatQA a évolué vers la version 2.0, avec la longueur du contexte mentionnée à 128 Ko Jul 26, 2024 am 08:40 AM

La communauté ouverte LLM est une époque où une centaine de fleurs fleurissent et s'affrontent. Vous pouvez voir Llama-3-70B-Instruct, QWen2-72B-Instruct, Nemotron-4-340B-Instruct, Mixtral-8x22BInstruct-v0.1 et bien d'autres. excellents interprètes. Cependant, par rapport aux grands modèles propriétaires représentés par le GPT-4-Turbo, les modèles ouverts présentent encore des lacunes importantes dans de nombreux domaines. En plus des modèles généraux, certains modèles ouverts spécialisés dans des domaines clés ont été développés, tels que DeepSeek-Coder-V2 pour la programmation et les mathématiques, et InternVL pour les tâches de langage visuel.

Google AI a remporté la médaille d'argent de l'Olympiade mathématique de l'OMI, le modèle de raisonnement mathématique AlphaProof a été lancé et l'apprentissage par renforcement est de retour. Google AI a remporté la médaille d'argent de l'Olympiade mathématique de l'OMI, le modèle de raisonnement mathématique AlphaProof a été lancé et l'apprentissage par renforcement est de retour. Jul 26, 2024 pm 02:40 PM

Pour l’IA, l’Olympiade mathématique n’est plus un problème. Jeudi, l'intelligence artificielle de Google DeepMind a réalisé un exploit : utiliser l'IA pour résoudre la vraie question de l'Olympiade mathématique internationale de cette année, l'OMI, et elle n'était qu'à un pas de remporter la médaille d'or. Le concours de l'OMI qui vient de se terminer la semaine dernière comportait six questions portant sur l'algèbre, la combinatoire, la géométrie et la théorie des nombres. Le système d'IA hybride proposé par Google a répondu correctement à quatre questions et a marqué 28 points, atteignant le niveau de la médaille d'argent. Plus tôt ce mois-ci, le professeur titulaire de l'UCLA, Terence Tao, venait de promouvoir l'Olympiade mathématique de l'IA (AIMO Progress Award) avec un prix d'un million de dollars. De manière inattendue, le niveau de résolution de problèmes d'IA s'était amélioré à ce niveau avant juillet. Posez les questions simultanément sur l'OMI. La chose la plus difficile à faire correctement est l'OMI, qui a la plus longue histoire, la plus grande échelle et la plus négative.

Le point de vue de la nature : les tests de l'intelligence artificielle en médecine sont dans le chaos. Que faut-il faire ? Le point de vue de la nature : les tests de l'intelligence artificielle en médecine sont dans le chaos. Que faut-il faire ? Aug 22, 2024 pm 04:37 PM

Editeur | ScienceAI Sur la base de données cliniques limitées, des centaines d'algorithmes médicaux ont été approuvés. Les scientifiques se demandent qui devrait tester les outils et comment le faire au mieux. Devin Singh a vu un patient pédiatrique aux urgences subir un arrêt cardiaque alors qu'il attendait un traitement pendant une longue période, ce qui l'a incité à explorer l'application de l'IA pour réduire les temps d'attente. À l’aide des données de triage des salles d’urgence de SickKids, Singh et ses collègues ont construit une série de modèles d’IA pour fournir des diagnostics potentiels et recommander des tests. Une étude a montré que ces modèles peuvent accélérer les visites chez le médecin de 22,3 %, accélérant ainsi le traitement des résultats de près de 3 heures par patient nécessitant un examen médical. Cependant, le succès des algorithmes d’intelligence artificielle dans la recherche ne fait que le vérifier.

Formation avec des millions de données cristallines pour résoudre le problème de la phase cristallographique, la méthode d'apprentissage profond PhAI est publiée dans Science Formation avec des millions de données cristallines pour résoudre le problème de la phase cristallographique, la méthode d'apprentissage profond PhAI est publiée dans Science Aug 08, 2024 pm 09:22 PM

Editeur | KX À ce jour, les détails structurels et la précision déterminés par cristallographie, des métaux simples aux grandes protéines membranaires, sont inégalés par aucune autre méthode. Cependant, le plus grand défi, appelé problème de phase, reste la récupération des informations de phase à partir d'amplitudes déterminées expérimentalement. Des chercheurs de l'Université de Copenhague au Danemark ont ​​développé une méthode d'apprentissage en profondeur appelée PhAI pour résoudre les problèmes de phase cristalline. Un réseau neuronal d'apprentissage en profondeur formé à l'aide de millions de structures cristallines artificielles et de leurs données de diffraction synthétique correspondantes peut générer des cartes précises de densité électronique. L'étude montre que cette méthode de solution structurelle ab initio basée sur l'apprentissage profond peut résoudre le problème de phase avec une résolution de seulement 2 Angströms, ce qui équivaut à seulement 10 à 20 % des données disponibles à la résolution atomique, alors que le calcul ab initio traditionnel

Afin de fournir un nouveau système de référence et d'évaluation de questions-réponses scientifiques et complexes pour les grands modèles, l'UNSW, Argonne, l'Université de Chicago et d'autres institutions ont lancé conjointement le cadre SciQAG. Afin de fournir un nouveau système de référence et d'évaluation de questions-réponses scientifiques et complexes pour les grands modèles, l'UNSW, Argonne, l'Université de Chicago et d'autres institutions ont lancé conjointement le cadre SciQAG. Jul 25, 2024 am 06:42 AM

L'ensemble de données ScienceAI Question Answering (QA) joue un rôle essentiel dans la promotion de la recherche sur le traitement du langage naturel (NLP). Des ensembles de données d'assurance qualité de haute qualité peuvent non seulement être utilisés pour affiner les modèles, mais également évaluer efficacement les capacités des grands modèles linguistiques (LLM), en particulier la capacité à comprendre et à raisonner sur les connaissances scientifiques. Bien qu’il existe actuellement de nombreux ensembles de données scientifiques d’assurance qualité couvrant la médecine, la chimie, la biologie et d’autres domaines, ces ensembles de données présentent encore certaines lacunes. Premièrement, le formulaire de données est relativement simple, et la plupart sont des questions à choix multiples. Elles sont faciles à évaluer, mais limitent la plage de sélection des réponses du modèle et ne peuvent pas tester pleinement la capacité du modèle à répondre aux questions scientifiques. En revanche, les questions et réponses ouvertes

Identifiez automatiquement les meilleures molécules et réduisez les coûts de synthèse. Le MIT développe un cadre d'algorithme de prise de décision en matière de conception moléculaire. Identifiez automatiquement les meilleures molécules et réduisez les coûts de synthèse. Le MIT développe un cadre d'algorithme de prise de décision en matière de conception moléculaire. Jun 22, 2024 am 06:43 AM

Éditeur | L’utilisation de Ziluo AI pour rationaliser la découverte de médicaments explose. Ciblez des milliards de molécules candidates pour détecter celles qui pourraient posséder les propriétés nécessaires au développement de nouveaux médicaments. Il y a tellement de variables à prendre en compte, depuis le prix des matériaux jusqu’au risque d’erreur, qu’évaluer les coûts de synthèse des meilleures molécules candidates n’est pas une tâche facile, même si les scientifiques utilisent l’IA. Ici, les chercheurs du MIT ont développé SPARROW, un cadre d'algorithme de prise de décision quantitative, pour identifier automatiquement les meilleurs candidats moléculaires, minimisant ainsi les coûts de synthèse tout en maximisant la probabilité que les candidats possèdent les propriétés souhaitées. L’algorithme a également identifié les matériaux et les étapes expérimentales nécessaires à la synthèse de ces molécules. SPARROW prend en compte le coût de synthèse d'un lot de molécules à la fois, puisque plusieurs molécules candidates sont souvent disponibles

Les performances de SOTA, la méthode d'IA de prédiction d'affinité protéine-ligand multimodale de Xiamen, combinent pour la première fois des informations sur la surface moléculaire Les performances de SOTA, la méthode d'IA de prédiction d'affinité protéine-ligand multimodale de Xiamen, combinent pour la première fois des informations sur la surface moléculaire Jul 17, 2024 pm 06:37 PM

Editeur | KX Dans le domaine de la recherche et du développement de médicaments, il est crucial de prédire avec précision et efficacité l'affinité de liaison des protéines et des ligands pour le criblage et l'optimisation des médicaments. Cependant, les études actuelles ne prennent pas en compte le rôle important des informations sur la surface moléculaire dans les interactions protéine-ligand. Sur cette base, des chercheurs de l'Université de Xiamen ont proposé un nouveau cadre d'extraction de caractéristiques multimodales (MFE), qui combine pour la première fois des informations sur la surface des protéines, la structure et la séquence 3D, et utilise un mécanisme d'attention croisée pour comparer différentes modalités. alignement. Les résultats expérimentaux démontrent que cette méthode atteint des performances de pointe dans la prédiction des affinités de liaison protéine-ligand. De plus, les études d’ablation démontrent l’efficacité et la nécessité des informations sur la surface des protéines et de l’alignement des caractéristiques multimodales dans ce cadre. Les recherches connexes commencent par "S

See all articles