La collection de Transformers la plus complète de l'histoire ! LeCun recommande : Créez un catalogue de 60 modèles. Quel papier avez-vous manqué ?

S'il y a quelque chose qui a soutenu le développement de modèles à grande échelle ces dernières années, c'est bien Transformer !

Basé sur Transformer, un grand nombre de modèles surgissent dans divers domaines. Chaque modèle a une architecture différente, des détails différents et un nom difficile à expliquer.

Récemment, un auteur a procédé à une classification et indexation complètes de tous les modèles Transformer populaires sortis ces dernières années et a fourni un catalogue complet mais simple autant que possible. Innovation du transformateur et examen de son historique de développement. Yann LeCun, lauréat du prix Turing, a exprimé son approbation.

L'auteur de l'article, Xavier (Xavi) Amatriain, a obtenu un doctorat de l'Université Pompeu Fabra en Espagne en 2005. Il est actuellement vice-président de l'ingénierie chez LinkedIn, principalement responsable des produits artificiels stratégie de renseignement.

Qu'est-ce que Transformer ?

Transformer est un type de modèle d'apprentissage profond doté de caractéristiques architecturales uniques. Il est apparu pour la première fois dans le célèbre article « Attention is All you Need » publié par les chercheurs de Google en 2017. Cet article a accumulé de nombreuses données en seulement 5 ans. un chiffre stupéfiant de 38 000 citations.

L'architecture du transformateur appartient également au modèle encodeur-décodeur (encodeur-décodeur), mais dans les modèles précédents, l'attention n'était qu'un des mécanismes, dont la plupart étaient basés sur LSTM (mémoire longue à court terme) et autres RNN (Réseau neuronal récurrent).

Un aperçu clé de l'article qui propose Transformer est que, comme le titre l'indique, le mécanisme d'attention peut être utilisé comme le seul mécanisme pour dériver les dépendances entre les entrées et les sorties. Cet article n'a pas l'intention d'entrer dans tous les détails. de l'architecture Transformer. Les amis intéressés peuvent effectuer une recherche sur le blog "The Illustrated Transformer".

Lien du blog : ​https://jalammar.github.io/illustrated-transformer/​

Seuls certains des composants les plus importants sont brièvement décrits ci-dessous.

Architecture codeur-décodeur

​

Une architecture générale d'encodeur/décodeur se compose de deux modèles, l'encodeur prend l'entrée et l'encode dans un vecteur de longueur fixe ; le décodeur reçoit ce vecteur et le décode en une séquence de sortie.

L'encodeur et le décodeur sont formés conjointement pour minimiser la vraisemblance conditionnelle du journal. Une fois entraîné, l'encodeur/décodeur peut générer une sortie basée sur une séquence d'entrée donnée, ou il peut évaluer une paire de séquences d'entrée/sortie.

Sous l'architecture originale du Transformer, l'encodeur et le décodeur ont 6 couches identiques. Dans chacune de ces 6 couches, l'encodeur a deux sous-couches : une couche d'attention multi-têtes et un simple réseau de rétroaction, chaque sous-couche. la couche a une connexion résiduelle et une normalisation de couche.

La taille de sortie de l'encodeur est de 512, et le décodeur ajoute une troisième sous-couche, qui est une autre couche d'attention multi-têtes sur la sortie de l'encodeur. De plus, une autre couche multi-têtes dans le décodeur est masquée pour empêcher les fuites d'informations d'attirer l'attention sur les positions suivantes.

Mécanisme d'attention​

Comme le montre la description ci-dessus, le seul élément « étrange » dans la structure du modèle est l'attention des taureaux, qui est la pleine puissance du emplacement du modèle.

La fonction d'attention est un mappage entre la requête et un ensemble de paires clé-valeur vers la sortie. La sortie est calculée comme une somme pondérée de valeurs, où le poids attribué à chaque valeur est déterminé par la fonction de compatibilité du. requête et la clé correspondante Calculée.

Transformer utilise l'attention multi-têtes, qui est le calcul parallèle d'un ensemble de fonctions d'attention, également connu sous le nom de mise à l'échelle de l'attention du produit scalaire.

Par rapport aux réseaux récurrents et convolutifs, la couche d'attention présente plusieurs avantages, les plus importants étant sa moindre complexité informatique et sa connectivité plus élevée, ce qui est particulièrement utile pour apprendre les dépendances à long terme dans les séquences.

Que peut faire Transformer ? Pourquoi est-il devenu populaire ? ​

Le Transformer original a été conçu pour la traduction de langues, principalement de l'anglais vers l'allemand, mais les résultats expérimentaux de la première version de l'article ont montré que l'architecture peut être bien généralisée à d'autres tâches linguistiques.

Cette tendance particulière a été rapidement remarquée par la communauté des chercheurs.

Dans les prochains mois, le classement de toutes les tâches ML liées au langage sera entièrement occupé par une certaine version de l'architecture Transformer. Par exemple, la tâche de questions et réponses Squad a été rapidement éliminée par divers modèles Transformer.

L'une des principales raisons pour lesquelles Transofrmer peut occuper si rapidement la plupart des classements PNL est : sa capacité à s'adapter rapidement à d'autres tâches, à savoir l'apprentissage par transfert. Les modèles Transformer pré-entraînés peuvent être adaptés très facilement et rapidement s'ils ne sont pas utilisés ; Les tâches entraînées présentent d'énormes avantages par rapport aux autres modèles.

En tant que praticien du ML, vous n'avez plus besoin de former un grand modèle à partir de zéro sur un énorme ensemble de données, vous pouvez simplement réutiliser le modèle pré-entraîné sur la tâche à accomplir, peut-être juste avec des données beaucoup plus petites. Ajustez-le légèrement.

La technique spécifique utilisée pour adapter les modèles pré-entraînés à différentes tâches est ce qu'on appelle le réglage fin.

Il s'avère que les Transformers sont si adaptables à d'autres tâches que, bien qu'ils aient été développés à l'origine pour des tâches liées au langage, ils sont rapidement devenus utiles pour d'autres tâches, depuis les applications visuelles ou audio et musicales jusqu'à jouer aux échecs ou à faire mathématiques.

Bien sûr, toutes ces applications ne seraient pas possibles sans la myriade d’outils facilement accessibles à toute personne capable d’écrire quelques lignes de code.

Transformer est non seulement rapidement intégré aux principaux frameworks d'intelligence artificielle (c'est-à-dire Pytorch et TensorFlow), mais il existe également certaines entreprises entièrement dédiées à Transformer.

Huggingface, une startup qui a levé plus de 60 millions de dollars à ce jour, a été construite presque entièrement autour de l'idée de commercialiser sa bibliothèque open source Transformer.

GPT-3 est un modèle Transformer lancé par OpenAI en mai 2020 et est une version de suivi de leurs précédents GPT et GPT-2. La société a créé beaucoup de buzz en présentant le modèle dans une prépublication, affirmant que le modèle était si puissant qu'elle n'était pas qualifiée pour le diffuser dans le monde.

De plus, OpenAI non seulement n'a pas publié GPT-3, mais l'a également commercialisé via un très large partenariat avec Microsoft.

Désormais, GPT-3 fournit un support technique sous-jacent pour plus de 300 applications différentes et constitue le fondement de la stratégie commerciale d'OpenAI. C'est important pour une entreprise qui a reçu plus d'un milliard de dollars de financement. L'apprentissage par renforcement à partir des commentaires (ou préférences) humains, également connu sous le nom de RLHF (ou RLHP), est récemment devenu un énorme ajout à la boîte à outils de l'intelligence artificielle.

Ce concept est issu pour la première fois de l'article de 2017 "Deep Reinforcement Learning from Human Preferences", mais récemment, il a été appliqué à ChatGPT et à des agents conversationnels similaires, obtenant d'assez bons résultats et attirant l'attention du public.

L'idée est très simple, une fois le modèle de langage pré-entraîné, il peut générer différentes réponses à la conversation et permettre aux humains de classer les résultats. Ces classements peuvent être utilisés (c'est-à-dire les préférences) ou des commentaires. ) en utilisant des mécanismes d'apprentissage par renforcement pour entraîner des récompenses.

Modèle de diffusion Diffusion

​

Le modèle de diffusion est devenu le nouveau SOTA pour la génération d'images, et a forte tendance à remplacer les GAN (Generative Adversarial Networks).

Le modèle de diffusion est un type de modèle d'inférence variationnelle à variables latentes entraînées. En pratique, cela signifie entraîner un réseau neuronal profond pour débruiter les images floues par une certaine fonction de bruit.

Un réseau ainsi formé apprend en réalité l'espace latent représenté par ces images.

Après avoir lu l'introduction, commencez le Voyage rétrospectif Transformer !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!