Normalisation par lots: théorie et implémentation TensorFlow

La formation en réseau neuronal profond fait souvent face à des obstacles comme la disparition / explosion de gradients et le changement de covariable interne, le ralentissement de l'entraînement et le gêne d'apprentissage. Les techniques de normalisation offrent une solution, la normalisation par lots (BN) étant particulièrement importante. BN accélère la convergence, améliore la stabilité et améliore la généralisation dans de nombreuses architectures d'apprentissage en profondeur. Ce tutoriel explique la mécanique de BN, ses fondements mathématiques et la mise en œuvre de TensorFlow / Keras.

La normalisation dans l'apprentissage automatique standardise les données d'entrée, en utilisant des méthodes telles que la mise à l'échelle Min-Max, la normalisation des scores Z et les transformations de journal en fonctionnalités de sauvetage. Cela atténue les effets aberrants, améliore la convergence et garantit une comparaison des fonctionnalités équitables. Les données normalisées garantissent une contribution aux caractéristiques égales au processus d'apprentissage, empêchant les fonctionnalités à plus grande échelle de dominer et de conduisant à des performances sous-optimales du modèle. Il permet au modèle d'identifier plus efficacement les modèles significatifs.

Les défis de formation en profondeur comprennent:

1. Shift de covariable interne: Les changements de distribution des activations entre les couches pendant la formation, l'adaptation et l'apprentissage.
2. Les gradients de disparition / explosion:
Les gradients deviennent trop petits ou grands pendant la rétropropagation, entravant des mises à jour efficaces de poids.
3. Sensibilité d'initialisation:
Les poids initiaux influencent fortement l'entraînement; Une mauvaise initialisation peut entraîner une convergence lente ou échouée.

La normalisation par lots les aborde en normalisant les activations au sein de chaque mini-lots, en stabilisant la formation et en améliorant les performances du modèle.

La normalisation par lots normalise les activations d'une couche dans un mini-lot pendant l'entraînement. Il calcule la moyenne et la variance des activations pour chaque fonctionnalité, puis se normalise en utilisant ces statistiques. Les paramètres apprenables (γ et β) sont à l'échelle et décalent les activations normalisées, permettant au modèle d'apprendre la distribution d'activation optimale.

Source: Yintai Ma et Diego Klabjan.

BN est généralement appliqué après la transformation linéaire d'une couche (par exemple, la multiplication matricielle dans les couches ou la convolution entièrement connectées dans les couches convolutionnelles) et avant la fonction d'activation non linéaire (par exemple, RELU). Les composants clés sont les statistiques de mini-lots (moyenne et variance), la normalisation et la mise à l'échelle / décalage avec des paramètres apprenables.

BN aborde le décalage de covariable interne en normalisant les activations au sein de chaque mini-lots, ce qui rend les entrées aux couches suivantes plus stables. Cela permet une convergence plus rapide avec des taux d'apprentissage plus élevés et réduit la sensibilité à l'initialisation. Il régulise également, empêchant le sur-ajustement en réduisant la dépendance à des modèles d'activation spécifiques.

Mathématiques de la normalisation par lots:

BN fonctionne différemment pendant la formation et l'inférence.

Formation:

• Normalisation: Moyenne (μ _B ) et la variance (σ _b ² ) sont calculées pour chaque caractéristique dans un mini-dossier:

Les activations (x _i ) sont normalisées:

(ε est une petite constante pour la stabilité numérique).

• Échelle et décalage: Paramètres apprenables γ et β Scale and Shift:

Inférence: Les statistiques par lots sont remplacées par des statistiques de fonctionnement (moyenne et variance) calculées pendant la formation en utilisant une moyenne mobile (facteur de momentum α):

Ces statistiques de course et les γ et β appris sont utilisés pour la normalisation pendant l'inférence.

Implémentation TensorFlow:

import tensorflow as tf
from tensorflow import keras

# Load and preprocess MNIST data (as described in the original text)
# ...

# Define the model architecture
model = keras.Sequential([
    keras.layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    keras.layers.BatchNormalization(),
    keras.layers.Conv2D(64, (3, 3), activation='relu'),
    keras.layers.BatchNormalization(),
    keras.layers.MaxPooling2D((2, 2)),
    keras.layers.Flatten(),
    keras.layers.Dense(128, activation='relu'),
    keras.layers.BatchNormalization(),
    keras.layers.Dense(10, activation='softmax')
])

# Compile and train the model (as described in the original text)
# ...

Considérations d'implémentation:

• Placement: après transformations linéaires et avant les fonctions d'activation.
• Taille du lot: Les tailles de lots plus grandes fournissent des statistiques de lots plus précises.
• régularisation: bn introduit un effet de régularisation.

Limites et défis:

• Architectures non convolutionnelles: l'efficacité de BN est réduite dans les RNN et les transformateurs.
• Tailles de petites lots: Statistiques de lots moins fiables.
• frais généraux de calcul: Augmentation de la mémoire et du temps de formation.

Limitations d'atténuation: La normalisation du lot adaptative, la normalisation virtuelle des lots et les techniques de normalisation hybride peuvent répondre à certaines limitations.

Variants et extensions: La normalisation de la couche, la normalisation du groupe, la normalisation des instances, la renormalisation par lots et la normalisation du poids offrent des alternatives ou des améliorations en fonction des besoins spécifiques.

Conclusion: La normalisation par lots est une technique puissante améliorant la formation en réseau neuronal profond. N'oubliez pas ses avantages, ses détails de mise en œuvre et ses limites, et considérez ses variantes pour des performances optimales dans vos projets.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!