Le lien et la différence entre l'apprentissage auto-supervisé, l'apprentissage supervisé et l'apprentissage non supervisé (classification du cadre d'apprentissage auto-supervisé)

L'apprentissage auto-supervisé (SSL) est une forme d'apprentissage supervisé qui ne nécessite pas de saisie manuelle d'étiquettes de données. Il obtient des résultats grâce à des modèles qui analysent indépendamment les données, étiquetent et classent les informations sans aucune intervention humaine. Cette méthode peut réduire la charge de travail d'annotation manuelle, améliorer l'efficacité de la formation et fonctionner correctement sur des ensembles de données à grande échelle. SSL est une méthode d'apprentissage prometteuse qui peut être appliquée dans divers domaines tels que la vision par ordinateur et le traitement du langage naturel.

L'apprentissage auto-supervisé est une méthode d'apprentissage non supervisée qui utilise des données non étiquetées pour générer des signaux de supervision. En termes simples, il entraîne un modèle en générant des étiquettes de données de haute confiance, puis utilise ces étiquettes lors de l'itération suivante. À chaque itération, la vérité terrain basée sur les étiquettes de données change. Cette approche peut utiliser efficacement des données non étiquetées pour améliorer les performances du modèle.

La relation entre l'apprentissage auto-supervisé, l'apprentissage supervisé et l'apprentissage non supervisé

L'apprentissage supervisé nécessite l'utilisation de données étiquetées manuellement de haute qualité pour entraîner le modèle et ajuster les poids du modèle.

L'apprentissage auto-supervisé utilise des données et des étiquettes générées automatiquement pour entraîner le modèle, sans véritables étiquettes au début.

L'apprentissage non supervisé fonctionne sur des ensembles de données pour lesquels aucune étiquette n'est disponible, ce paradigme d'apprentissage tente de comprendre les données fournies sans utiliser d'étiquettes à aucune étape de sa formation.

L'apprentissage auto-supervisé est un sous-ensemble de l'apprentissage non supervisé, qui ne fournissent tous deux que des données non structurées. Mais l'apprentissage non supervisé fonctionne sur le regroupement, le regroupement et la réduction de dimensionnalité, tandis que l'apprentissage auto-supervisé effectue des tâches telles que la classification, la segmentation et la régression comme d'autres modèles supervisés.

Types de cadres pour l'apprentissage auto-supervisé

Modèles basés sur l'énergie (EBM)

Les modèles basés sur l'énergie tentent de calculer la compatibilité entre deux entrées données à l'aide de fonctions mathématiques. Lorsqu'on lui donne deux entrées, si l'EBM produit une faible production d'énergie, cela signifie que les entrées ont une compatibilité élevée ; une production d'énergie élevée signifie une incompatibilité élevée.

Joint Embedding Architecture

Joint Embedding Architecture est un réseau à deux branches où la structure de chaque branche est la même. Chaque branche reçoit deux entrées pour calculer ses vecteurs d'intégration individuels. Il y a un module en tête du réseau qui prend en entrée deux vecteurs plongeants et calcule leur distance dans l'espace latent.

Ainsi, lorsque deux entrées sont similaires, la distance calculée doit être petite. Les paramètres du réseau peuvent être facilement ajustés pour garantir que les entrées dans l'espace latent sont proches les unes des autres.

Contrastive Learning

Dans l'apprentissage contrastif SSL, le modèle est formé en comparant des entrées appelées « ancres » telles que du texte, des images, des clips vidéo avec des exemples positifs et négatifs. Les échantillons positifs font référence à des échantillons appartenant à la même distribution que le point d'ancrage, tandis que les échantillons négatifs font référence à des échantillons appartenant à une distribution différente de celle du point d'ancrage.

Apprentissage auto-supervisé non contrastif (NC-SSL)

L'apprentissage auto-supervisé non contrasté (NC-SSL) est un paradigme d'apprentissage dans lequel seules des paires d'échantillons positives sont utilisées pour entraîner le modèle, contrairement à utiliser des échantillons positifs simultanément L'apprentissage contrasté diffère entre les paires et les paires d'échantillons négatifs. Cependant, il a été démontré que NC-SSL est capable d'apprendre des représentations non triviales avec uniquement des paires positives, en utilisant des prédicteurs supplémentaires et en arrêtant les opérations de gradient.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!