


Un algorithme à faible coût améliore considérablement la robustesse de la classification visuelle ! Une équipe chinoise de l'Université de Sydney lance une nouvelle méthode EdgeNet
Présente une excellente précision dans les réseaux de neurones profonds (DNN). Cependant, ils montrent une vulnérabilité au bruit supplémentaire, c’est-à-dire aux attaques contradictoires. Des recherches antérieures ont émis l’hypothèse que cette vulnérabilité pourrait provenir d’une dépendance excessive des DNN de haute précision à l’égard de fonctionnalités insignifiantes et illimitées telles que la texture et l’arrière-plan. Cependant, de nouvelles recherches révèlent que cette vulnérabilité n’a rien à voir avec les caractéristiques spécifiques des DNN très précis qui font trop confiance à des facteurs non pertinents tels que leur poids et leur contexte.
Lors de la récente conférence académique AAAI 2024, des chercheurs de l'Université de Sydney ont révélé que « les informations de bord extraites des images peuvent fournir des caractéristiques très pertinentes et robustes liées à la forme et à l'arrière-plan ».
Lien papier : https://ojs.aaai.org/index.php/AAAI/article/view/28110
Ces fonctionnalités aident le réseau profond pré-entraîné à améliorer sa robustesse contradictoire. , sans affecter sa précision sur des images claires.
Les chercheurs proposent un EdgeNet léger et adaptable qui peut être intégré de manière transparente aux réseaux profonds pré-entraînés existants, y compris les Vision Transformers (ViTs), la dernière génération de modèles avancés pour la famille de classification visuelle.
EdgeNet est une technique d'extraction de bords qui traite les bords extraits d'images naturelles propres ou d'images contradictoires bruyantes, et peut être injectée dans la couche intermédiaire d'un réseau profond de base pré-entraîné et gelé. Ce réseau profond possède d'excellentes fonctionnalités de robustesse de base et peut extraire des fonctionnalités avec des informations sémantiques riches. En insérant EdgeNet dans un tel réseau, on peut profiter de son réseau profond backbone de haute qualité
Il convient de noter que cette approche entraîne des coûts supplémentaires minimes : en utilisant des algorithmes de détection de contours traditionnels tels que celui mentionné dans l'article The le coût d'acquisition de ces périphéries (détecteur de périphérie Canny) est minime par rapport au coût d'inférence pour les réseaux profonds, tandis que le coût de formation d'EdgeNet est comparable au coût de réglage fin du réseau fédérateur à l'aide de techniques telles que les adaptateurs ;
Architecture EdgeNet
Afin d'injecter des informations de bord dans les images dans le réseau fédérateur pré-entraîné, l'auteur introduit un réseau de branches secondaires appelé EdgeNet. Ce réseau collatéral léger et plug-and-play peut être intégré de manière transparente aux réseaux profonds pré-entraînés existants, y compris les modèles de pointe tels que les ViT.
S'appuyant sur les informations de bord extraites de l'image d'entrée, EdgeNet+ peut générer un ensemble de fonctionnalités robustes. Ce processus produit une fonctionnalité robuste qui peut être injectée de manière sélective dans le réseau profond de base pré-entraîné pour être gelée dans les couches intermédiaires du réseau profond.
En injectant ces fonctionnalités robustes, la capacité du réseau à se défendre contre les perturbations adverses peut être améliorée. Dans le même temps, étant donné que le réseau fédérateur est gelé et que l'injection de nouvelles fonctionnalités est sélective, la précision du réseau pré-entraîné dans l'identification d'images claires et non perturbées peut être maintenue.
Comme le montre la figure, l'auteur insère de nouveaux blocs de construction EdgeNet à un certain intervalle N en fonction des blocs de construction d'origine
. La nouvelle sortie de la couche intermédiaire peut être représentée par la formule suivante :
Blocs de construction EdgeNet
Pour réaliser une extraction sélective de fonctionnalités et une injection sélective de fonctionnalités, ces blocs de construction EdgeNet adoptent une structure "sandwich": chaque convolution zéro ( convolution nulle) est ajouté avant et après le bloc pour contrôler l’entrée et la sortie. Entre ces deux convolutions nulles se trouve un bloc ViT à initialisation aléatoire et la même architecture que le réseau fédérateur
Avec une entrée nulle, agit comme un filtre pour extraire les informations pertinentes pour l'objectif d'optimisation ; avec une sortie nulle, il agit comme un filtre pour déterminer les informations à intégrer dans le backbone. De plus, avec une initialisation nulle, il est garanti que le flux d'informations au sein du backbone ne reste pas affecté. En conséquence, les réglages ultérieurs d’EdgeNet deviennent plus simples.
Objectif de formation
Pendant le processus de formation EdgeNet, le réseau fédérateur ViT pré-entraîné est gelé à l'exception du responsable de la classification et ne sera pas mis à jour. L'objectif d'optimisation se concentre uniquement sur le réseau EdgeNet introduit pour les fonctionnalités de périphérie et sur les têtes de classification au sein du réseau fédérateur. Ici, l'auteur adopte un objectif d'optimisation conjoint très simplifié pour assurer l'efficacité de l'entraînement :
Dans la Formule 9, α est le poids de la fonction de perte de précision, et β est le poids de la fonction de perte de robustesse. En ajustant la taille de α et β, l'équilibre des objectifs de formation EdgeNet peut être affiné pour atteindre l'objectif d'améliorer sa robustesse sans perdre de manière significative en précision.
Résultats expérimentaux
Les auteurs ont testé la robustesse de deux catégories majeures sur l'ensemble de données ImageNet.
La première catégorie est la robustesse contre les attaques adverses, y compris les attaques en boîte blanche et les attaques en boîte noire.
La deuxième catégorie est la robustesse contre certaines perturbations courantes, y compris les perturbations naturelles dans ImageNet-A Natural Adversarial ; Exemples, données hors distribution dans ImageNet-R et corruptions courantes dans ImageNet-C.
L'auteur a également visualisé les informations de bord extraites sous différentes perturbations.
Tests d'échelle et de performances du réseau
Dans la partie expérimentale, l'auteur a d'abord testé les performances de classification et la charge de calcul d'EdgeNet à différentes échelles (Tableau 1). Après avoir examiné de manière approfondie les performances de classification et la charge de calcul, ils ont déterminé que la configuration #Intervals = 3 était le paramètre optimal.
Dans cette configuration, EdgeNet obtient des améliorations significatives en matière de précision et de robustesse par rapport aux modèles de base. Il permet d'obtenir un compromis équilibré entre performances de classification, exigences informatiques et robustesse.
Cette configuration permet d'obtenir des gains substantiels en termes de clarté, de précision et de robustesse tout en conservant une efficacité de calcul raisonnable.
Comparaison de précision et de robustesse
Les auteurs ont comparé leur proposition EdgeNet avec 5 catégories différentes de méthodes SOTA (Tableau 2). Ces méthodes incluent des CNN formés sur des images naturelles, des CNN robustes, des ViT formés sur des images naturelles, des ViT robustes et des ViT robustes et affinés.
Les mesures prises en compte incluent la précision sous les attaques contradictoires (FGSM et PGD), la précision sur ImageNet-A et la précision sur ImageNet-R.
De plus, l'erreur moyenne (mCE) d'ImageNet-C est également signalée, avec des valeurs plus faibles indiquant de meilleures performances. Les résultats expérimentaux démontrent qu'EdgeNet présente des performances supérieures face aux attaques FGSM et PGD, tout en fonctionnant à égalité avec les méthodes SOTA précédentes sur l'ensemble de données propre ImageNet-1K et ses variantes.
De plus, l'auteur a également mené des expériences d'attaque par boîte noire (Tableau 3). Les résultats expérimentaux montrent qu’EdgeNet peut également résister très efficacement aux attaques par boîte noire.
Conclusion
Dans ce travail, l'auteur a proposé une nouvelle méthode appelée EdgeNet, qui peut améliorer la robustesse des réseaux de neurones profonds (en particulier les ViT) en utilisant les informations de bord extraites des images sexuelles.
Il s'agit d'un module léger qui peut être intégré de manière transparente aux réseaux existants. Il peut améliorer efficacement la robustesse des adversaires. Des expériences ont montré qu'EdgeNet est efficace : il n'entraîne qu'une surcharge de calcul supplémentaire minime.
De plus, EdgeNet a une large applicabilité sur divers benchmarks robustes. Cela en fait une évolution remarquable dans le domaine.
De plus, les résultats expérimentaux confirment qu'EdgeNet peut résister efficacement aux attaques adverses et maintenir la précision sur des images claires, ce qui met en évidence le potentiel des informations de bord en tant que fonctionnalité robuste et pertinente dans les tâches de classification visuelle.
Il convient de noter que la robustesse d'EdgeNet ne se limite pas aux attaques contradictoires, mais couvre également les attaques impliquant des exemples contradictoires naturels (ImageNet-A), des données en dehors de la distribution (ImageNet-R) et des scénarios de destruction commune (ImageNet-C). .
Cette application plus large met en évidence la polyvalence d'EdgeNet et montre son potentiel en tant que solution complète aux divers défis des tâches de classification visuelle.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Résolvez le problème de l'interface tiers renvoyant 403 dans l'environnement Node.js. Lorsque nous utilisons Node.js pour appeler des interfaces tierces, nous rencontrons parfois une erreur de 403 à partir de l'interface renvoyant 403 ...

La méthode de traitement de l'échec de l'e-mail de Laravel à envoyer le code de vérification est d'utiliser Laravel ...

Comment définir automatiquement les autorisations d'UnixSocket après le redémarrage du système. Chaque fois que le système redémarre, nous devons exécuter la commande suivante pour modifier les autorisations d'UnixSocket: sudo ...

Explication détaillée du tri et de la mise en œuvre du tableau bidimensionnel PHP Cet article expliquera en détail comment trier un tableau bidimensionnel PHP et utiliser chaque sous-tableau en fonction des résultats de tri ...

Causes et solutions pour les erreurs Lors de l'utilisation de PECL pour installer des extensions dans un environnement Docker Lorsque nous utilisons un environnement Docker, nous rencontrons souvent des maux de tête ...

OUYI OKX (anciennement OKEX) Global Station est une plate-forme de service d'actifs numériques de pointe fondée en 2017 et dont le siège est à Malte. Il compte des dizaines de millions d'utilisateurs. La plate-forme fournit des transactions de plus de 150 devises et a formulé un mécanisme d'audit en devises strict et un mécanisme de surveillance du marché et de suivi des progrès. Soutient les transactions de plus de 20 devises juridiques et des crypto-monnaies telles que le dollar américain, l'euro et la livre.

Comment implémenter le cryptage et le déchiffrement AES avec Java ...

Méthode pour obtenir le code de retour lorsque l'envoi par e-mail de Laravel échoue. Lorsque vous utilisez Laravel pour développer des applications, vous rencontrez souvent des situations où vous devez envoyer des codes de vérification. Et en réalité ...
