Explication détaillée de l'algorithme svm

La méthode SVM mappe l'espace échantillon dans un espace de caractéristiques de grande dimension ou même de dimension infinie (espace de Hilbert) via un mappage non linéaire p, de sorte que dans l'échantillon d'origine Les problèmes non linéairement séparables dans l’espace sont transformés en problèmes linéairement séparables dans l’espace des fonctionnalités. (Apprentissage recommandé : phpstorm )

En termes simples, c'est lift et linéaire.

L'amélioration dimensionnelle consiste à mapper des échantillons dans un espace de grande dimension. De manière générale, cela augmentera la complexité des calculs et provoquera même un « désastre de dimensionnalité », de sorte que les gens y prêtent rarement attention.

Cependant, pour des problèmes tels que la classification et la régression, il est très probable qu'un ensemble d'échantillons qui ne peut pas être traité linéairement dans un espace échantillon de faible dimension puisse être divisé linéairement (ou régression) via un hyperplan linéaire dans un espace de fonctionnalités de grande dimension.

SVM (Support Vector Machine), dont le nom chinois est support vector machine, est une méthode de discrimination courante. Dans le domaine de l'apprentissage automatique, il s'agit d'un modèle d'apprentissage supervisé, généralement utilisé pour la reconnaissance de formes, la classification et l'analyse de régression.

Concepts associés

Classificateur : Un classificateur est un algorithme qui, compte tenu des données d'un échantillon, détermine à quelle catégorie appartient l'échantillon. Par exemple, dans la prévision de la hausse et de la baisse des actions, nous pensons que le volume des transactions et le cours de clôture de la veille ont un impact sur la hausse et la baisse du jour suivant. Ensuite, le classificateur prédit la hausse et la baisse du jour suivant. volume des transactions et prix de clôture de l’algorithme de l’échantillon.

Caractéristiques : dans les problèmes de classification, les données entrées dans le classificateur sont appelées fonctionnalités. En prenant comme exemple le problème de prévision de la hausse et de la baisse des actions ci-dessus, les caractéristiques sont le volume des transactions et le cours de clôture de la veille.

Classificateur linéaire : un classificateur linéaire est un type de classificateur, c'est-à-dire que la base pour déterminer le résultat de la classification est obtenue grâce à la combinaison linéaire de caractéristiques et ne peut pas être basée sur les résultats d'opération non linéaires des caractéristiques. En prenant comme exemple le problème de prévision de la hausse et de la baisse des actions, la base du jugement ne peut être que la combinaison linéaire du volume des transactions de la journée précédente et du prix de clôture.Le volume des transactions et le prix de clôture ne peuvent pas être carrés ou carrés.

Origine du classificateur linéaire

Dans les applications pratiques, nous rencontrons souvent un tel problème : étant donné certains points de données, ils appartiennent à deux classes différentes, nous devons maintenant trouver un classificateur linéaire pour classer ces données en deux catégories.

Comment le diviser ? Divisez tout l’espace en deux (cela me rappelle Pangu). Prenons l'exemple de l'espace bidimensionnel. Comme le montre la figure ci-dessus, nous utilisons une ligne droite pour couper l'espace. Les points du côté gauche de la ligne droite appartiennent à la catégorie -1 (représentée par des triangles). du côté droit de la droite appartiennent à la catégorie 1 (représentée par des carrés).

Si vous utilisez un langage mathématique, c'est comme ceci : l'espace est un espace bidimensionnel composé de X1 et X2. L'équation d'une ligne droite est X1+X2 = 1, qui s'exprime en notation vectorielle. [1,1]^{T}[X1,X2]-1=0. Le point x sur le côté gauche de la ligne signifie que lorsque x est placé sur le côté gauche de l'équation, le résultat calculé est inférieur à 0. De la même manière, du côté droit, x est placé dans le côté gauche de l’équation et le résultat calculé est supérieur à 0.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!