La différence entre boost et bootstrap

Le bootstrap et le boosting sont plusieurs méthodes de rééchantillonnage couramment utilisées dans l'apprentissage automatique. Parmi elles, la méthode de rééchantillonnage bootstrap est principalement utilisée pour l'estimation des statistiques, et la méthode de boosting est principalement utilisée pour la combinaison de plusieurs sous-classificateurs.

bootstrap : Méthode de rééchantillonnage pour l'estimation des statistiques (Apprentissage recommandé : Tutoriel vidéo Python)

La méthode bootstrap consiste à sélectionner au hasard n points d'échantillonnage à partir de l'ensemble de données d'entraînement d'origine DD de taille n pour former un nouvel ensemble d'apprentissage. Ce processus de sélection est répété B fois indépendamment, puis les statistiques du modèle sont calculées à l'aide de ces B ensembles de données. Estimations (telles que moyenne, variance, etc.). Puisque la taille de l’ensemble de données d’origine est n, il y aura inévitablement des échantillons en double dans ces B nouveaux ensembles d’apprentissage.

La valeur estimée de la statistique est définie comme la moyenne des valeurs estimées θbθb sur des ensembles d'entraînement B indépendants :

boosting :

Le boosting entraîne k sous-classificateurs en séquence, et le résultat final du classement est déterminé par le vote de ces sous-classificateurs.

Tout d'abord, sélectionnez au hasard des échantillons n1n1 dans l'ensemble de données d'entraînement d'origine de taille n pour entraîner le premier classificateur, noté C1C1, puis construisez l'ensemble d'apprentissage D2D2 du deuxième classificateur C2C2. Exigences : D2D2 Moitié du. les échantillons peuvent être correctement classés par C1C1, tandis que l'autre moitié des échantillons est mal classée par C1C1.

Continuez ensuite à construire l'ensemble d'apprentissage D3D3 du troisième classificateur C3C3. Les exigences sont les suivantes : C1C1 et C2C2 ont des résultats de classification différents pour les échantillons dans D3D3. Les sous-classificateurs restants sont formés selon des principes similaires.

Le principe principal du boosting pour construire un nouvel ensemble de formation est d'utiliser les échantillons les plus informatifs.

Pour plus d'articles techniques liés à Python, veuillez visiter la colonne Tutoriel Python pour apprendre !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!