Une introduction complète aux hyperparamètres et à leur signification

Les hyperparamètres sont des paramètres de réglage dans les algorithmes d'apprentissage automatique, utilisés pour améliorer les performances des algorithmes et le processus de formation. Ils sont définis avant l’entraînement, et les poids et biais sont optimisés tout au long de l’entraînement. En ajustant les hyperparamètres, la précision et la capacité de généralisation du modèle peuvent être améliorées.

Comment définir des hyperparamètres

Lors de la définition initiale des hyperparamètres, vous pouvez vous référer aux valeurs d'hyperparamètres utilisées dans d'autres problèmes d'apprentissage automatique similaires, ou trouver les hyperparamètres optimaux grâce à un entraînement répété.

Quels sont les hyperparamètres

Hyperparamètres liés à la structure du réseau

• Dropout : Le dropout est une technique de régularisation utilisée pour éviter le surajustement et améliorer la précision.
• Initialisation du poids du réseau : en fonction de la fonction d'activation utilisée sur la couche du réseau neuronal, il est utile d'utiliser différents schémas d'initialisation du poids. Dans la plupart des cas, utilisez une distribution uniforme.
• Fonction d'activation : la fonction d'activation est utilisée pour introduire la non-linéarité dans le modèle d'algorithme. Cela permet aux algorithmes d’apprentissage profond de prédire les limites de manière non linéaire.

Hyperparamètres liés à l'algorithme d'entraînement

• Taux d'apprentissage : Le taux d'apprentissage définit la rapidité avec laquelle le réseau met à jour les paramètres. Lorsque le taux d'apprentissage est faible, le processus d'apprentissage de l'algorithme ralentira, mais la convergence sera fluide ; un taux d'apprentissage plus élevé accélérera l'apprentissage, mais ne favorisera pas la convergence.
• époque : le nombre de fois où l'intégralité des données d'entraînement est présentée au réseau pendant l'entraînement.
• Taille du lot : fait référence au nombre de sous-échantillons fournis au réseau après une mise à jour des paramètres.
• Momentum : Aide à éviter les oscillations, utilisez généralement un moment compris entre 0,5 et 0,9.

La différence entre les hyperparamètres et les paramètres

Les hyperparamètres, également appelés hyperparamètres du modèle, sont externes au modèle et leurs valeurs ne peuvent pas être estimées à partir des données. Les paramètres

, également appelés paramètres du modèle, sont des variables de configuration à l'intérieur du modèle. Sa valeur peut être estimée à partir des données. Les modèles nécessitent des paramètres pour faire des prédictions.

Les paramètres sont généralement appris à partir des données et ne sont pas définis manuellement par les développeurs ; les hyperparamètres sont généralement définis manuellement par les développeurs.

Réglage des hyperparamètres

Le réglage des hyperparamètres consiste à trouver la combinaison optimale d'hyperparamètres. Les hyperparamètres contrôlent essentiellement le comportement global du modèle d'apprentissage automatique, il est donc important de trouver les meilleures valeurs des hyperparamètres pour le modèle d'algorithme. Disons que c'est crucial. Si le réglage des hyperparamètres échoue, le modèle ne parviendra pas à converger et à minimiser efficacement la fonction de perte. Cela entraînera une perte de précision des résultats du modèle.

Les méthodes courantes de réglage des hyperparamètres incluent la recherche sur grille, la recherche aléatoire et l'optimisation bayésienne.

La recherche par grille est la méthode de réglage des hyperparamètres la plus basique, qui traversera toutes les combinaisons d'hyperparamètres possibles.

Recherche aléatoire d'échantillons aléatoires dans une plage prédéfinie pour trouver une meilleure combinaison d'hyperparamètres.

L'optimisation bayésienne est un algorithme d'optimisation basé sur un modèle de séquence (SMBO) qui utilise les valeurs d'hyperparamètre précédentes pour améliorer l'hyperparamètre suivant. Cette méthode itère jusqu'à ce que le meilleur hyperparamètre soit trouvé.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!