Périphériques technologiques
IA
Algorithmes de régression couramment utilisés et leurs caractéristiques dans les applications d'apprentissage automatique
Algorithmes de régression couramment utilisés et leurs caractéristiques dans les applications d'apprentissage automatique
La régression est l'un des outils les plus puissants en statistique. Les algorithmes d'apprentissage supervisé du machine learning sont divisés en deux types : les algorithmes de classification et les algorithmes de régression. L'algorithme de régression est utilisé pour la prédiction de distribution continue et peut prédire des données continues plutôt que de simples étiquettes de catégories discrètes.
L'analyse de régression est largement utilisée dans le domaine de l'apprentissage automatique, comme la prévision des ventes de produits, du flux de trafic, des prix des logements, des conditions météorologiques, etc. L'algorithme de régression est un algorithme d'apprentissage automatique couramment utilisé pour établir la relation entre les indépendants relation entre la variable X et la variable dépendante Y. Du point de vue de l'apprentissage automatique, il est utilisé pour créer un modèle d'algorithme (fonction) afin d'obtenir la relation de mappage entre l'attribut X et l'étiquette Y. Pendant le processus d'apprentissage, l'algorithme essaie de trouver la meilleure relation de paramètres afin que l'ajustement soit le meilleur Dans l'algorithme de régression, le résultat final de l'algorithme (fonction) est une valeur de données continue. La valeur d'entrée (valeur d'attribut) est un attribut/vecteur numérique à dimensions DCertains algorithmes de régression couramment utilisés incluent la régression linéaire, la régression polynomiale, la régression d'arbre de décision, la régression Ridge, la régression Lasso, la régression ElasticNet, etc.Cet article sera présenter quelques algorithmes de régression courants et leurs caractéristiques respectives régression arborescente
- Random La forêt est de retour
- LASSO est de retour
- Ridge est de retour
- ElasticNet est de retour
- X GBoost est de retour
- Local Weighted Régression linéaire
- Premièrement, la régression linéaireLa régression linéaire est souvent le premier algorithme que les gens découvrent sur l'apprentissage automatique et la science des données. La régression linéaire est un modèle linéaire qui suppose une relation linéaire entre une variable d'entrée (X) et une seule variable de sortie (y). De manière générale, il existe deux situations :
- La régression linéaire univariée est une méthode de modélisation utilisée pour analyser la relation entre une variable d'entrée unique (c'est-à-dire une variable de caractéristique unique) et une variable de sortie unique.
- Régression linéaire multivariée (également appelée régression linéaire multiple) : elle modélise la relation entre plusieurs variables d'entrée (plusieurs variables de caractéristiques) et une seule variable de sortie. Quelques points clés sur la régression linéaire :
- Rapide et facile à modéliser
Elle est particulièrement utile lorsque la relation que vous souhaitez modéliser n'est pas très complexe et que vous n'avez pas beaucoup de données.
Compréhension et explication très intuitives.
Il est très sensible aux valeurs aberrantes.
2. Régression polynomiale
Lorsque nous souhaitons créer un modèle pour des données séparables non linéaires, la régression polynomiale est l'un des choix les plus populaires. Elle est similaire à la régression linéaire mais utilise la relation entre les variables X et y pour trouver la meilleure façon de tracer une courbe qui correspond aux points de données.
- Quelques points clés sur la régression polynomiale :
- est capable de modéliser des données séparables non linéaires ; En général, il est plus flexible et permet de modéliser des relations assez complexes.
- Contrôle total sur la modélisation des variables de caractéristiques (exposants à définir).
- Nécessite une conception soignée. Une certaine connaissance des données est nécessaire pour sélectionner le meilleur indice.
Si l'index n'est pas choisi correctement, il est facile de le surajuster.
3. Régression des machines à vecteurs de support
Les machines à vecteurs de support sont bien connues dans les problèmes de classification. L'utilisation de SVM en régression est appelée Support Vector Regression (SVR). Scikit-learn a cette méthode intégrée à SVR().
- Quelques points clés sur la régression vectorielle de support :
- Elle est robuste aux valeurs aberrantes et efficace dans un espace de grande dimension
- Elle possède une excellente capacité de généralisation (capacité de s'adapter correctement à de nouveaux données)
- Si le nombre de caractéristiques est beaucoup plus grand que le nombre d'échantillons, il est facile de surajuster
4. Régression de l'arbre de décision
L'arbre de décision est une méthode utilisée pour la classification et la régression non paramétrique méthode d'apprentissage supervisé. L'objectif est de créer un modèle qui prédit la valeur d'une variable cible en apprenant des règles de décision simples déduites des caractéristiques des données. Un arbre peut être considéré comme une approximation constante par morceaux.
Quelques points clés sur les arbres de décision :
- Facile à comprendre et à expliquer. Les arbres peuvent être visualisés.
- S'applique à la fois aux valeurs catégorielles et continues
- Le coût d'utilisation de DT (c'est-à-dire les données de prédiction) est logarithmique par rapport au nombre de points de données utilisés pour entraîner l'arbre
- Les prédictions des arbres de décision ne sont ni fluides ni continue (Comme le montre la figure ci-dessus, il s'agit d'une approximation constante par morceaux)
5. Régression de forêt aléatoire
La régression de forêt aléatoire et la régression d'arbre de décision sont fondamentalement très similaires. Il s'agit d'un méta-estimateur qui peut ajuster plusieurs arbres de décision sur divers sous-échantillons de l'ensemble de données et les moyenner pour améliorer la précision des prédictions et contrôler le surajustement
Régresseur de forêt aléatoire dans les problèmes de régression Les performances peuvent être meilleures ou pires que celles des arbres de décision (bien que souvent meilleur dans les problèmes de classification) en raison de subtils compromis de surajustement et de sous-ajustement inhérents à l'algorithme de construction d'arbres
À propos des forêts aléatoires Quelques points de régression :
- Réduisez le surajustement dans les arbres de décision et améliorez la précision.
- Cela fonctionne également pour les valeurs catégorielles et continues.
- Nécessite beaucoup de puissance de calcul et de ressources car il s'adapte à de nombreux arbres de décision pour combiner leurs résultats.
6. Régression LASSO
La régression LASSO est une variante de la régression linéaire par retrait. La réduction est le processus de réduction des valeurs de données jusqu'à un point central en tant que moyenne. Ce type de régression est idéal pour les modèles présentant une multicolinéarité sévère (forte corrélation entre les caractéristiques)
Quelques points sur la régression Lasso :
- Elle est le plus souvent utilisée pour éliminer les variables automatiques et sélectionner les caractéristiques. .
- Il est idéal pour les modèles qui présentent une multicolinéarité sévère (les caractéristiques sont fortement corrélées les unes aux autres).
- La régression LASSO utilise la régularisation L1
- La régression LASSO est considérée comme meilleure que Ridge car elle ne sélectionne que certaines caractéristiques et réduit les coefficients des autres caractéristiques à zéro.
7. Régression Ridge
La régression Ridge est très similaire à la régression LASSO car les deux techniques utilisent des méthodes de retrait. Les régressions Ridge et LASSO conviennent toutes deux aux modèles présentant de graves problèmes de multicolinéarité (c'est-à-dire une corrélation élevée entre les caractéristiques). La principale différence entre eux est que Ridge utilise la régularisation L2, ce qui signifie qu'aucun des coefficients n'ira à zéro (mais proche de zéro) comme dans la régression LASSO
Quelques points sur la régression Ridge :
- Il est idéal pour les modèles qui présentent une multicolinéarité sévère (les caractéristiques sont fortement corrélées les unes aux autres).
- La régression Ridge utilise la régularisation L2. Les fonctionnalités qui contribuent moins auront des coefficients proches de zéro.
- La régression Ridge est considérée comme pire que LASSO en raison de la nature de la régularisation L2.
8. Régression ElasticNet
ElasticNet est un autre modèle de régression linéaire entraîné à l'aide de la régularisation L1 et L2. Il s'agit d'un hybride des techniques de régression Lasso et Ridge, il convient donc également aux modèles présentant une multicolinéarité sévère (les caractéristiques sont fortement corrélées les unes aux autres).
Lors de la pesée entre Lasso et Ridge, un avantage pratique est qu'Elastic-Net peut hériter d'une partie de la stabilité de Ridge sous rotation
9 XGBoost Regression
XGBoost est une version efficace de l'algorithme d'amplification de gradient et. effectivement mis en œuvre. Le boosting de gradient est un type d'algorithme d'apprentissage automatique d'ensemble qui peut être utilisé pour des problèmes de classification ou de régression.
XGBoost est une bibliothèque open source développée à l'origine par Chen Tianqi dans son article de 2016 « XGBoost : A Scalable Tree Boosting System ». L'algorithme est conçu pour être efficace et efficient en termes de calcul
Quelques points sur XGBoost :
- XGBoost ne fonctionne pas bien sur des données clairsemées et non structurées.
- L'algorithme est conçu pour être efficace et efficient sur le plan informatique, mais le temps de formation est encore assez long pour les grands ensembles de données.
- Il est sensible aux valeurs aberrantes.
10. Régression linéaire pondérée locale
Dans la régression linéaire des poids locaux (régression linéaire des poids locaux), nous effectuons également une régression linéaire. Cependant, contrairement à la régression linéaire ordinaire, la régression linéaire pondérée localement est une méthode de régression linéaire locale. En introduisant des poids (fonctions de noyau), lors des prédictions, seuls certains échantillons proches des points de test sont utilisés pour calculer les coefficients de régression. La régression linéaire ordinaire est une régression linéaire globale, qui utilise tous les échantillons pour calculer les coefficients de régression
Avantages et inconvénients et scénarios applicables
L'avantage est d'éviter le sous-ajustement grâce à la pondération des fonctions du noyau, et les inconvénients sont également évidentsK Débogage est requis. Lorsque la régression linéaire multiple est surajustée, vous pouvez essayer la pondération locale du noyau gaussien pour éviter le surajustement.
11. Régression bayésienne de crête
Le modèle de régression linéaire résolu à l'aide de la méthode d'inférence bayésienne est appelé régression linéaire bayésienne
La régression linéaire bayésienne est une méthode qui combine les paramètres d'un modèle linéaire Traiter comme une variable aléatoire et calculer le postérieur à partir du antérieur. La régression linéaire bayésienne peut être résolue par des méthodes numériques et, sous certaines conditions, des statistiques postérieures ou associées sous forme analytique peuvent également être obtenues
La régression linéaire bayésienne a les propriétés de base des modèles statistiques bayésiens et peut résoudre des coefficients de poids Fonction de densité de probabilité , apprentissage en ligne et tests d'hypothèses de modèles basés sur le facteur Bayes (facteur Bayes)
Avantages et inconvénients et scénarios applicables
L'avantage de la régression bayésienne est son adaptabilité des données, peut réutiliser les données et empêcher le surajustement. Dans le processus d'estimation, des termes de régularisation peuvent être introduits.Par exemple, en introduisant le terme de régularisation L2 dans la régression linéaire bayésienne, la régression bayésienne de crête peut être réalisée.L'inconvénient est que le processus d'apprentissage est trop coûteux. Lorsque le nombre de fonctionnalités est inférieur à 10, vous pouvez essayer la régression bayésienne.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
15 outils d'annotation d'images gratuits open source recommandés
Mar 28, 2024 pm 01:21 PM
L'annotation d'images est le processus consistant à associer des étiquettes ou des informations descriptives à des images pour donner une signification et une explication plus profondes au contenu de l'image. Ce processus est essentiel à l’apprentissage automatique, qui permet d’entraîner les modèles de vision à identifier plus précisément les éléments individuels des images. En ajoutant des annotations aux images, l'ordinateur peut comprendre la sémantique et le contexte derrière les images, améliorant ainsi la capacité de comprendre et d'analyser le contenu de l'image. L'annotation d'images a un large éventail d'applications, couvrant de nombreux domaines, tels que la vision par ordinateur, le traitement du langage naturel et les modèles de vision graphique. Elle a un large éventail d'applications, telles que l'assistance aux véhicules pour identifier les obstacles sur la route, en aidant à la détection. et le diagnostic des maladies grâce à la reconnaissance d'images médicales. Cet article recommande principalement de meilleurs outils d'annotation d'images open source et gratuits. 1.Makesens
Cet article vous amènera à comprendre SHAP : explication du modèle pour l'apprentissage automatique
Jun 01, 2024 am 10:58 AM
Dans les domaines de l’apprentissage automatique et de la science des données, l’interprétabilité des modèles a toujours été au centre des préoccupations des chercheurs et des praticiens. Avec l'application généralisée de modèles complexes tels que l'apprentissage profond et les méthodes d'ensemble, la compréhension du processus décisionnel du modèle est devenue particulièrement importante. Explainable AI|XAI contribue à renforcer la confiance dans les modèles d'apprentissage automatique en augmentant la transparence du modèle. L'amélioration de la transparence des modèles peut être obtenue grâce à des méthodes telles que l'utilisation généralisée de plusieurs modèles complexes, ainsi que les processus décisionnels utilisés pour expliquer les modèles. Ces méthodes incluent l'analyse de l'importance des caractéristiques, l'estimation de l'intervalle de prédiction du modèle, les algorithmes d'interprétabilité locale, etc. L'analyse de l'importance des fonctionnalités peut expliquer le processus de prise de décision du modèle en évaluant le degré d'influence du modèle sur les fonctionnalités d'entrée. Estimation de l’intervalle de prédiction du modèle
Transparent! Une analyse approfondie des principes des principaux modèles de machine learning !
Apr 12, 2024 pm 05:55 PM
En termes simples, un modèle d’apprentissage automatique est une fonction mathématique qui mappe les données d’entrée à une sortie prédite. Plus précisément, un modèle d'apprentissage automatique est une fonction mathématique qui ajuste les paramètres du modèle en apprenant à partir des données d'entraînement afin de minimiser l'erreur entre la sortie prédite et la véritable étiquette. Il existe de nombreux modèles dans l'apprentissage automatique, tels que les modèles de régression logistique, les modèles d'arbre de décision, les modèles de machines à vecteurs de support, etc. Chaque modèle a ses types de données et ses types de problèmes applicables. Dans le même temps, il existe de nombreux points communs entre les différents modèles, ou il existe une voie cachée pour l’évolution du modèle. En prenant comme exemple le perceptron connexionniste, en augmentant le nombre de couches cachées du perceptron, nous pouvons le transformer en un réseau neuronal profond. Si une fonction noyau est ajoutée au perceptron, elle peut être convertie en SVM. celui-ci
Identifier le surapprentissage et le sous-apprentissage grâce à des courbes d'apprentissage
Apr 29, 2024 pm 06:50 PM
Cet article présentera comment identifier efficacement le surajustement et le sous-apprentissage dans les modèles d'apprentissage automatique grâce à des courbes d'apprentissage. Sous-ajustement et surajustement 1. Surajustement Si un modèle est surentraîné sur les données de sorte qu'il en tire du bruit, alors on dit que le modèle est en surajustement. Un modèle surajusté apprend chaque exemple si parfaitement qu'il classera mal un exemple inédit/inédit. Pour un modèle surajusté, nous obtiendrons un score d'ensemble d'entraînement parfait/presque parfait et un score d'ensemble/test de validation épouvantable. Légèrement modifié : "Cause du surajustement : utilisez un modèle complexe pour résoudre un problème simple et extraire le bruit des données. Parce qu'un petit ensemble de données en tant qu'ensemble d'entraînement peut ne pas représenter la représentation correcte de toutes les données."
L'évolution de l'intelligence artificielle dans l'exploration spatiale et l'ingénierie des établissements humains
Apr 29, 2024 pm 03:25 PM
Dans les années 1950, l’intelligence artificielle (IA) est née. C’est à ce moment-là que les chercheurs ont découvert que les machines pouvaient effectuer des tâches similaires à celles des humains, comme penser. Plus tard, dans les années 1960, le Département américain de la Défense a financé l’intelligence artificielle et créé des laboratoires pour poursuivre son développement. Les chercheurs trouvent des applications à l’intelligence artificielle dans de nombreux domaines, comme l’exploration spatiale et la survie dans des environnements extrêmes. L'exploration spatiale est l'étude de l'univers, qui couvre l'ensemble de l'univers au-delà de la terre. L’espace est classé comme environnement extrême car ses conditions sont différentes de celles de la Terre. Pour survivre dans l’espace, de nombreux facteurs doivent être pris en compte et des précautions doivent être prises. Les scientifiques et les chercheurs pensent qu'explorer l'espace et comprendre l'état actuel de tout peut aider à comprendre le fonctionnement de l'univers et à se préparer à d'éventuelles crises environnementales.
Implémentation d'algorithmes d'apprentissage automatique en C++ : défis et solutions courants
Jun 03, 2024 pm 01:25 PM
Les défis courants rencontrés par les algorithmes d'apprentissage automatique en C++ incluent la gestion de la mémoire, le multithread, l'optimisation des performances et la maintenabilité. Les solutions incluent l'utilisation de pointeurs intelligents, de bibliothèques de threads modernes, d'instructions SIMD et de bibliothèques tierces, ainsi que le respect des directives de style de codage et l'utilisation d'outils d'automatisation. Des cas pratiques montrent comment utiliser la bibliothèque Eigen pour implémenter des algorithmes de régression linéaire, gérer efficacement la mémoire et utiliser des opérations matricielles hautes performances.
IA explicable : Expliquer les modèles IA/ML complexes
Jun 03, 2024 pm 10:08 PM
Traducteur | Revu par Li Rui | Chonglou Les modèles d'intelligence artificielle (IA) et d'apprentissage automatique (ML) deviennent aujourd'hui de plus en plus complexes, et le résultat produit par ces modèles est une boîte noire – impossible à expliquer aux parties prenantes. L'IA explicable (XAI) vise à résoudre ce problème en permettant aux parties prenantes de comprendre comment fonctionnent ces modèles, en s'assurant qu'elles comprennent comment ces modèles prennent réellement des décisions et en garantissant la transparence des systèmes d'IA, la confiance et la responsabilité pour résoudre ce problème. Cet article explore diverses techniques d'intelligence artificielle explicable (XAI) pour illustrer leurs principes sous-jacents. Plusieurs raisons pour lesquelles l’IA explicable est cruciale Confiance et transparence : pour que les systèmes d’IA soient largement acceptés et fiables, les utilisateurs doivent comprendre comment les décisions sont prises
Cinq écoles d'apprentissage automatique que vous ne connaissez pas
Jun 05, 2024 pm 08:51 PM
L'apprentissage automatique est une branche importante de l'intelligence artificielle qui donne aux ordinateurs la possibilité d'apprendre à partir de données et d'améliorer leurs capacités sans être explicitement programmés. L'apprentissage automatique a un large éventail d'applications dans divers domaines, de la reconnaissance d'images et du traitement du langage naturel aux systèmes de recommandation et à la détection des fraudes, et il change notre façon de vivre. Il existe de nombreuses méthodes et théories différentes dans le domaine de l'apprentissage automatique, parmi lesquelles les cinq méthodes les plus influentes sont appelées les « Cinq écoles d'apprentissage automatique ». Les cinq grandes écoles sont l’école symbolique, l’école connexionniste, l’école évolutionniste, l’école bayésienne et l’école analogique. 1. Le symbolisme, également connu sous le nom de symbolisme, met l'accent sur l'utilisation de symboles pour le raisonnement logique et l'expression des connaissances. Cette école de pensée estime que l'apprentissage est un processus de déduction inversée, à travers les connaissances existantes.
