Maison Problème commun structure du réseau resnet

structure du réseau resnet

Jun 10, 2019 am 11:44 AM

ResNet a été proposé conjointement par He Kaiming, Zhang Xiangyu, Ren Shaoqing et Sun Jian en 2015. En utilisant l'unité résiduelle pour former avec succès un réseau neuronal profond de 152 couches, il a remporté le championnat du concours ILSVRC 2015. , atteignant un taux d'erreur Top5 de 3,57 %, tandis que le nombre de paramètres est inférieur à celui de VGGNet, et l'effet est très remarquable. La structure de ResNet peut accélérer extrêmement rapidement la formation de réseaux neuronaux ultra-profonds, et la précision du modèle est également grandement améliorée.

structure du réseau resnet

L'inspiration originale de ResNet est venue de ce problème : lorsque la profondeur du réseau neuronal continue d'augmenter, un problème de dégradation se produira, c'est-à-dire , précision Le taux augmentera d'abord puis atteindra la saturation, et continuer à augmenter la profondeur entraînera une diminution de la précision. Il ne s’agit pas d’un problème de surapprentissage, car non seulement l’erreur sur l’ensemble de test augmente, mais l’erreur sur l’ensemble d’apprentissage lui-même augmentera également. (Apprentissage recommandé : Tutoriel vidéo PHP)

ResNet utilise une nouvelle idée L'idée de ResNet est de supposer que nous impliquons une couche réseau et qu'il existe un réseau optimisé. couche, puis souvent, les réseaux profonds que nous concevons comportent de nombreuses couches réseau redondantes. Nous espérons ensuite que ces couches redondantes pourront compléter le mappage d'identité pour garantir que les entrées et les sorties via la couche d'identité sont exactement les mêmes. Plus précisément, quelles couches sont des couches d'identité peuvent être déterminées par vous-même lors de la formation réseau. Changez plusieurs couches du réseau d'origine en un bloc résiduel.

Supposons qu'un réseau relativement peu profond atteigne une précision saturée, puis ajoutez plusieurs mappages congruents de la couche y=x, au moins l'erreur n'augmentera pas, c'est-à-dire qu'un réseau plus profond ne devrait pas entraîner une augmentation de l'erreur sur l'ensemble d'apprentissage. L'idée mentionnée ici d'utiliser le mappage congruent pour transmettre directement la sortie de la couche précédente à la couche suivante est la source d'inspiration de ResNet. Supposons que l'entrée d'un certain réseau neuronal soit x et que la sortie attendue soit H(x). Si nous transférons directement l'entrée x à la sortie comme résultat initial, alors l'objectif que nous devons apprendre à ce moment est F(x). ) = H(x) -x. Comme le montre la figure, il s'agit d'une unité d'apprentissage résiduelle ResNet (Unité Résiduelle

ResNet équivaut à changer l'objectif d'apprentissage Il n'apprend plus une sortie complète H(x), mais uniquement des sorties et The. la différence d'entrée H(x)-x est le résidu.

structure du réseau resnet

Vous pouvez voir que la sortie après changement linéaire et activation de la première couche. Cette figure montre cela dans le réseau résiduel, après le changement linéaire de la deuxième couche et avant. Lors de l'activation, F(x) ajoute la valeur d'entrée X de cette couche, puis sort après l'activation. Ajoutez X avant que la valeur de sortie de la deuxième couche ne soit activée. Ce chemin est appelé connexion raccourci.

Après avoir utilisé la structure de ResNet, on peut constater que le phénomène d'erreurs croissantes sur l'ensemble de formation provoqué par le nombre croissant de couches a été éliminé. L'erreur de formation du réseau ResNet diminuera progressivement au fur et à mesure. le nombre de couches augmente et les performances sur l'ensemble de test s'amélioreront également. Peu de temps après le lancement de ResNet, Google a emprunté l'essence de ResNet et a proposé Inception V4 et Inception ResNet V2. En fusionnant ces deux modèles, il a obtenu un taux d'erreur étonnant de 3,08 % sur l'ensemble de données ILSVRC. On peut voir que la contribution de ResNet et de ses idées à la recherche sur les réseaux de neurones convolutifs est en effet très significative et a une forte généralisabilité.

Pour plus d'articles techniques liés à PHP, veuillez visiter la colonne Tutoriel graphique PHP pour apprendre !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Où trouver la courte de la grue à atomide atomique
1 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Recherche approfondie Entrée du site officiel Deepseek Recherche approfondie Entrée du site officiel Deepseek Mar 12, 2025 pm 01:33 PM

Au début de 2025, l'IA domestique "Deepseek" a fait un début magnifique! Ce modèle d'IA gratuit et open source a une performance comparable à la version officielle d'OpenAI d'Openai, et a été entièrement lancé sur le côté Web, l'application et l'API, prenant en charge l'utilisation multi-terminale des versions iOS, Android et Web. Recherche approfondie du site officiel de Deepseek et du guide d'utilisation: Adresse officielle du site Web: https://www.deepseek.com/using étapes pour la version Web: cliquez sur le lien ci-dessus pour entrer le site officiel Deepseek. Cliquez sur le bouton "Démarrer la conversation" sur la page d'accueil. Pour la première utilisation, vous devez vous connecter avec votre code de vérification de téléphone mobile. Après vous être connecté, vous pouvez entrer dans l'interface de dialogue. Deepseek est puissant, peut écrire du code, lire des fichiers et créer du code

Version Web Deepseek Entrée officielle Version Web Deepseek Entrée officielle Mar 12, 2025 pm 01:42 PM

La profondeur domestique de l'IA Dark Horse a fortement augmenté, choquant l'industrie mondiale de l'IA! Cette société chinoise de renseignement artificiel, qui n'a été créée que depuis un an et demi, a gagné des éloges des utilisateurs mondiaux pour ses maquettes gratuites et open source, Deepseek-V3 et Deepseek-R1. Deepseek-R1 est désormais entièrement lancé, avec des performances comparables à la version officielle d'Openaio1! Vous pouvez vivre ses fonctions puissantes sur la page Web, l'application et l'interface API. Méthode de téléchargement: prend en charge les systèmes iOS et Android, les utilisateurs peuvent le télécharger via l'App Store; Version Web Deepseek Entrée officielle: HT

Comment résoudre le problème des serveurs occupés pour Deepseek Comment résoudre le problème des serveurs occupés pour Deepseek Mar 12, 2025 pm 01:39 PM

Deepseek: Comment gérer l'IA populaire qui est encombré de serveurs? En tant qu'IA chaude en 2025, Deepseek est gratuit et open source et a une performance comparable à la version officielle d'Openaio1, qui montre sa popularité. Cependant, une concurrence élevée apporte également le problème de l'agitation du serveur. Cet article analysera les raisons et fournira des stratégies d'adaptation. Entrée de la version Web Deepseek: https://www.deepseek.com/deepseek serveur Raison: Accès simultané: des fonctionnalités gratuites et puissantes de Deepseek attirent un grand nombre d'utilisateurs à utiliser en même temps, ce qui entraîne une charge de serveur excessive. Cyber ​​Attack: Il est rapporté que Deepseek a un impact sur l'industrie financière américaine.