Solution générale aux problèmes d'apprentissage non supervisé : un cadre basé sur un méta-algorithme

Des chercheurs de Microsoft Research et de l'Université de Princeton ont proposé le 13 novembre un cadre général pour concevoir des algorithmes efficaces pour les problèmes d'apprentissage non supervisé, tels qu'un hybride de distribution gaussienne et de clustering de sous-espace

Le cadre proposé par les chercheurs utilise un méta-algorithme pour résoudre le problème du bruit, qui utilise la méthode de calcul de la formule de calcul d'apprentissage de la limite inférieure. Ce cadre est conçu sur la base des travaux récents de Garg, Kayal et Saha (FOCS'20), qui ont proposé ce cadre pour apprendre des formules arithmétiques sans aucun bruit. Un élément clé du méta-algorithme est un algorithme efficace pour résoudre un nouveau problème appelé "décomposition robuste de l'espace vectoriel"

Des études ont montré que les méta-algorithmes fonctionnent bien lorsqu'une matrice a une valeur singulière minimale non nulle suffisamment grande. bien. "Nous supposons que cette condition est valable pour les instances lissées de notre problème, et par conséquent notre cadre produira des algorithmes efficaces pour ces problèmes dans des contextes fluides." en présence de bruit : un cadre général et des applications pour l'apprentissage non supervisé, publié sur la plateforme de préimpression arXiv le 13 novembre

Aucun L'apprentissage supervisé implique la découverte de modèles et de structures cachés dans les données sans utiliser d'étiquettes ni de supervision humaine directe .

Ici, les chercheurs considèrent des données qui ont une bonne structure mathématique ou qui sont générées à partir d'une distribution mathématiquement bien définie. Un exemple du premier cas est que les points de données peuvent être regroupés en clusters significatifs en fonction de certains modèles de similarité, et l'objectif est de trouver les clusters sous-jacents. Un exemple de cette dernière est la modélisation de mélange, qui suppose que les données sont générées par un mélange de distributions de probabilité succinctement décrites (par exemple les distributions gaussiennes), et l'objectif est d'apprendre les paramètres de ces distributions à partir d'échantillons.

Un cadre commun pour résoudre de nombreux problèmes d'apprentissage non supervisé est la méthode des moments, qui utilise les moments statistiques des données pour déduire la structure sous-jacente ou les paramètres sous-jacents du modèle. Pour de nombreux scénarios de problèmes d’apprentissage non supervisé, dans lesquels les données sous-jacentes ont une structure mathématique intéressante, les moments des données sont des fonctions bien définies des paramètres. Les arguments heuristiques suggèrent que le contraire devrait généralement être vrai, c'est-à-dire que les paramètres d'une structure/distribution sont généralement déterminés de manière unique par certains moments d'ordre inférieur des données. Dans cette direction générale, le principal défi est de concevoir des algorithmes pour récupérer (approximativement) les paramètres sous-jacents à partir de moments (empiriques).

Nous voulons également que l'algorithme soit efficace, tolérant au bruit (c'est-à-dire qu'il fonctionne bien même si les moments ne sont connus qu'approximativement plutôt qu'exactement), et même tolérant aux anomalies (c'est-à-dire même si quelques points de données ne le sont pas). s'adapter à la structure/distribution sous-jacente fonctionne également bien). Mais même les problèmes les plus simples sur le terrain ont tendance à être NP-difficiles, et le restent même en l’absence de bruit et de valeurs aberrantes.

On ne peut donc pas réellement s'attendre à un algorithme avec des garanties prouvables dans le pire des cas. Mais on peut espérer que l’algorithme fonctionnera généralement bien, c’est-à-dire pour des instances problématiques aléatoires, ou plus idéalement pour des instances choisies de manière fluide. Par conséquent, de nombreux algorithmes différents ont été conçus pour chacun de ces problèmes d’apprentissage non supervisé, avec différents niveaux d’efficacité, de tolérance au bruit, de tolérance aux valeurs aberrantes et de garanties prouvables.

Dans ce travail, les chercheurs présentent un méta-algorithme applicable à de nombreux problèmes d'apprentissage non supervisés. Le point de départ de cette étude est l’observation que bon nombre de ces problèmes se résument à la tâche d’apprendre des sous-classes appropriées de formules arithmétiques.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!