Pourquoi Transformer a remplacé CNN dans la vision par ordinateur

Transformer et CNN sont des modèles de réseaux neuronaux couramment utilisés dans l'apprentissage profond, et leurs idées de conception et leurs scénarios d'application sont différents. Transformer convient aux tâches de données séquentielles telles que le traitement du langage naturel, tandis que CNN est principalement utilisé pour les tâches de données spatiales telles que le traitement d'images. Ils présentent des avantages uniques dans différents scénarios et tâches.

Transformer est un modèle de réseau neuronal pour le traitement des données de séquence, initialement proposé pour résoudre des problèmes de traduction automatique. Son cœur est le mécanisme d'auto-attention, qui capture les dépendances à longue distance en calculant la relation entre diverses positions dans la séquence d'entrée, permettant ainsi un meilleur traitement des données de séquence. Le modèle de transformateur se compose d'un encodeur et d'un décodeur. L'encodeur utilise un mécanisme d'attention multi-têtes pour modéliser la séquence d'entrée et est capable de prendre en compte simultanément les informations à différents endroits. Ce mécanisme d'attention permet au modèle de se concentrer sur différentes parties de la séquence d'entrée pour mieux extraire les fonctionnalités. Le décodeur génère la séquence de sortie via le mécanisme d'auto-attention et le mécanisme d'attention codeur-décodeur. Le mécanisme d'auto-attention aide le décodeur à se concentrer sur les informations à différentes positions dans la séquence de sortie, et le mécanisme d'attention codeur-décodeur aide le décodeur à prendre en compte les parties pertinentes de la séquence d'entrée lors de la génération de sortie à chaque position. Par rapport aux modèles CNN traditionnels, Transformer présente certains avantages lors du traitement des données de séquence. Premièrement, il offre une meilleure flexibilité et peut gérer des séquences de longueur arbitraire, alors que les modèles CNN nécessitent généralement des entrées de longueur fixe. Deuxièmement, Transformer a une meilleure interprétabilité et peut comprendre l'objectif du modèle lors du traitement des séquences en visualisant les poids d'attention. De plus, les modèles Transformer ont atteint d'excellentes performances dans de nombreuses tâches, surpassant les modèles CNN traditionnels. En bref, Transformer est un modèle puissant pour traiter les données de séquence. Grâce au mécanisme d'auto-attention et à la structure codeur-décodeur, il peut mieux capturer la relation entre les données de séquence et offre une meilleure flexibilité et interprétabilité. .

CNN est un modèle de réseau neuronal utilisé pour traiter des données spatiales, telles que des images et des vidéos. Son noyau comprend des couches convolutives, des couches de regroupement et des couches entièrement connectées, qui accomplissent des tâches telles que la classification et la reconnaissance en extrayant les caractéristiques locales et en faisant abstraction des caractéristiques globales. CNN fonctionne bien dans le traitement des données spatiales, présente une invariance de traduction et une conscience locale, et a une vitesse de calcul rapide. Cependant, une limitation majeure de CNN est qu’il ne peut gérer que des données d’entrée de taille fixe et qu’il est relativement faible dans la modélisation des dépendances longue distance.

Bien que Transformer et CNN soient deux modèles de réseaux neuronaux différents, ils peuvent être combinés l'un avec l'autre dans certaines tâches. Par exemple, dans la tâche de génération d'image, CNN peut être utilisé pour extraire des caractéristiques de l'image d'origine, puis Transformer peut être utilisé pour traiter et générer les caractéristiques extraites. Dans les tâches de traitement du langage naturel, les Transformers peuvent être utilisés pour modéliser des séquences d'entrée, puis les CNN peuvent être utilisés pour des tâches telles que la classification des fonctionnalités résultantes ou la génération de résumés de texte. Cette combinaison permet d'exploiter pleinement les avantages des deux modèles. CNN possède de bonnes capacités d'extraction de caractéristiques dans le domaine de l'image, tandis que Transformer fonctionne bien dans la modélisation de séquences. Par conséquent, en les utilisant ensemble, on peut obtenir de meilleures performances dans leurs domaines respectifs.

Transformer remplace CNN dans le domaine de la vision par ordinateur

Transformer remplace progressivement CNN dans la vision par ordinateur pour les raisons suivantes :

1 Optimiser davantage la modélisation des dépendances longue distance : Le modèle CNN traditionnel présente quelques problèmes lorsqu'il s'agit de traiter de longues distances. les problèmes de dépendance sont limités car ils ne peuvent traiter les données d'entrée que via une fenêtre locale. En revanche, le modèle Transformer peut mieux capturer les dépendances à longue distance grâce au mécanisme d’auto-attention et est donc plus performant lors du traitement des données de séquence. Afin d'améliorer encore les performances, le modèle Transformer peut être amélioré en ajustant les paramètres du mécanisme d'attention ou en introduisant un mécanisme d'attention plus complexe. 2. Modélisation de la dépendance à longue distance appliquée à d'autres domaines : Outre les données de séquence, les problèmes de dépendance à longue distance présentent également des défis dans d'autres domaines. Par exemple, dans les tâches de vision par ordinateur, la gestion des dépendances de pixels à longue portée constitue également un problème important. Vous pouvez essayer d'appliquer le modèle Transformer à ces domaines via la machine d'auto-attention. Le modèle CNN traditionnel nécessite une conception manuelle de la structure du réseau, tandis que le modèle Transformer peut s'adapter à différentes tâches grâce à des modifications simples, telles que l'augmentation ou la diminution des couches ou. le nombre de têtes. Cela rend le Transformer plus flexible lors de la gestion d'une variété de tâches de vision.

Le mécanisme d'attention du modèle Transformer a des caractéristiques visuelles, ce qui permet d'expliquer plus facilement l'attention du modèle sur les données d'entrée. Cela nous permet de comprendre le processus de prise de décision du modèle de manière plus intuitive dans certaines tâches et améliore l'interprétabilité du modèle.

4. Meilleures performances : dans certaines tâches, le modèle Transformer a dépassé le modèle CNN traditionnel, comme dans les tâches de génération et de classification d'images.

5. Meilleure capacité de généralisation : étant donné que le modèle Transformer fonctionne mieux lors du traitement des données de séquence, il peut mieux gérer les données d'entrée de différentes longueurs et structures, améliorant ainsi la capacité de généralisation du modèle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!