Le monde regorge de données : des images, des vidéos, des feuilles de calcul, des fichiers audio et des textes générés par les humains et les ordinateurs inondent Internet, nous noyant dans une mer d'informations.
Traditionnellement, les humains analysent les données pour prendre des décisions plus intelligentes et cherchent à ajuster les systèmes pour contrôler les changements dans les modèles de données. Cependant, à mesure que la quantité d'informations entrantes augmente, notre capacité à les comprendre diminue, nous laissant face au défi suivant :
Comment utiliser toutes ces données pour en tirer un sens de manière automatisée plutôt que manuelle ?
C'est là que l'apprentissage automatique entre en jeu. Cet article présentera :
Ces prédictions sont faites par des modèles d'apprentissage automatique à partir d'un ensemble de données appelées « données de formation », et elles peuvent conduire à de nouveaux développements technologiques pour améliorer la vie des gens.
L'apprentissage automatique est un concept qui permet aux ordinateurs d'apprendre automatiquement à partir d'exemples et d'expériences et d'imiter la prise de décision humaine sans être explicitement programmés.
L'apprentissage automatique est une branche de l'intelligence artificielle qui utilise des algorithmes et des techniques statistiques pour apprendre des données et en tirer des modèles et des informations cachées.
Maintenant, explorons plus en profondeur les tenants et les aboutissants de l’apprentissage automatique.
Il existe des dizaines de milliers d'algorithmes d'apprentissage automatique, qui peuvent être regroupés en fonction du style d'apprentissage ou de la nature du problème à résoudre. Mais chaque algorithme d'apprentissage automatique contient les éléments clés suivants :
Ce qui précède est une classification détaillée des quatre composants des algorithmes d'apprentissage automatique.
Descriptif : le système collecte des données historiques, les organise, puis les présente d'une manière facile à comprendre.
L'objectif principal est de comprendre ce qui se passe déjà dans l'entreprise plutôt que de tirer des conclusions ou des prédictions à partir de ses résultats. L'analyse descriptive utilise des outils mathématiques et statistiques simples tels que l'arithmétique, les moyennes et les pourcentages plutôt que les calculs complexes requis pour l'analyse prédictive et prescriptive.
L'analyse descriptive analyse et déduit principalement des données historiques, tandis que l'analyse prédictive se concentre sur la prévision et la compréhension de situations futures possibles.
L'analyse des modèles et des tendances des données passées en examinant les données historiques peut prédire ce qui pourrait arriver dans le futur.
L'analyse prescriptive nous dit comment agir, tandis que l'analyse descriptive nous raconte ce qui s'est passé dans le passé. L'analyse prédictive nous indique ce qui est susceptible de se produire dans le futur en tirant les leçons du passé. Mais une fois que nous avons une idée de ce qui pourrait se passer, que devons-nous faire ?
Il s’agit d’une analyse normative. Cela aide le système à utiliser les connaissances passées pour formuler plusieurs recommandations sur les actions qu'une personne peut entreprendre. L'analyse prescriptive peut simuler des scénarios et fournir un chemin vers l'obtention des résultats souhaités.
L'apprentissage des algorithmes de ML peut être divisé en trois parties principales.
Les modèles d'apprentissage automatique sont conçus pour apprendre des modèles à partir de données et appliquer ces connaissances pour faire des prédictions. La question est : comment le modèle fait-il des prédictions ?
Le processus est très basique : recherchez des modèles à partir des données d'entrée (étiquetées ou non) et appliquez-les pour obtenir un résultat.
Les modèles d'apprentissage automatique sont conçus pour comparer les prédictions qu'ils font à la vérité terrain. L’objectif est de comprendre si l’on apprend dans la bonne direction. Cela détermine la précision du modèle et suggère comment nous pouvons améliorer la formation du modèle.
Le but ultime du modèle est d'améliorer les prédictions, ce qui signifie réduire la différence entre les résultats connus et les estimations correspondantes du modèle.
Le modèle doit mieux s'adapter aux échantillons de données d'entraînement en mettant constamment à jour les poids. L'algorithme fonctionne en boucle, évaluant et optimisant les résultats, mettant à jour les poids, jusqu'à ce qu'une valeur maximale soit obtenue concernant la précision du modèle.
L'apprentissage automatique comprend principalement quatre types.
Dans l'apprentissage supervisé, comme son nom l'indique, la machine apprend sous guidage.
Cela se fait en fournissant à l'ordinateur un ensemble de données étiquetées afin que la machine comprenne quelle est l'entrée et quelle devrait être la sortie. Ici, les humains jouent le rôle de guides, fournissant au modèle des données d’entraînement étiquetées (paires entrée-sortie) à partir desquelles la machine apprend des modèles.
Une fois la relation entre l'entrée et la sortie apprise à partir des ensembles de données précédents, la machine peut facilement prédire la valeur de sortie des nouvelles données.
Où pouvons-nous utiliser l'apprentissage supervisé ?
La réponse est : lorsque nous savons quoi rechercher dans les données d'entrée et ce que nous voulons comme sortie.
Les principaux types de problèmes d'apprentissage supervisé comprennent les problèmes de régression et de classification.
L'apprentissage non supervisé fonctionne exactement à l'opposé de l'apprentissage supervisé.
Il utilise des données non étiquetées : la machine doit comprendre les données, trouver des modèles cachés et faire des prédictions en conséquence.
Ici, les machines nous fournissent de nouvelles découvertes après avoir dérivé indépendamment des modèles cachés à partir de données, sans que les humains aient à préciser ce qu'ils recherchent.
Les principaux types de problèmes d'apprentissage non supervisé comprennent l'analyse des règles de clustering et d'association.
L'apprentissage par renforcement implique un agent qui apprend à se comporter dans un environnement en effectuant des actions.
Sur la base des résultats de ces actions, il fournit un retour d'information et ajuste son parcours futur - pour chaque bonne action, l'agent reçoit un retour positif, et pour chaque mauvaise action, l'agent reçoit un retour négatif ou une punition.
L'apprentissage par renforcement apprend sans aucune donnée étiquetée. Puisqu’il n’existe pas de données étiquetées, l’agent ne peut apprendre que sur la base de sa propre expérience.
Le semi-supervisé est l'état entre l'apprentissage supervisé et non supervisé.
Il prend les aspects positifs de chaque apprentissage, c'est-à-dire qu'il utilise des ensembles de données étiquetés plus petits pour guider la classification et effectue une extraction de caractéristiques non supervisée à partir d'ensembles de données non étiquetés plus grands.
Le principal avantage de l'apprentissage semi-supervisé est sa capacité à résoudre des problèmes lorsqu'il n'y a pas suffisamment de données étiquetées pour entraîner le modèle, ou lorsque les données ne peuvent tout simplement pas être étiquetées parce que les humains ne savent pas quoi y rechercher.
L'apprentissage automatique est au cœur de presque toutes les entreprises technologiques de nos jours, y compris des entreprises comme Google ou le moteur de recherche Youtube.
Ci-dessous, nous avons compilé quelques exemples d'applications réelles de l'apprentissage automatique que vous connaissez peut-être :
Les véhicules sont confrontés à diverses situations sur la route.
Pour que les voitures autonomes soient plus performantes que les humains, elles doivent apprendre et s'adapter aux conditions routières changeantes et au comportement des autres véhicules.
Les voitures autonomes collectent des données sur leur environnement à partir de capteurs et de caméras, puis les interprètent et réagissent en conséquence. Il utilise l'apprentissage supervisé pour identifier les objets environnants, l'apprentissage non supervisé pour identifier les modèles dans d'autres véhicules, et enfin prend des mesures en conséquence à l'aide d'algorithmes de renforcement.
L'analyse d'image est utilisée pour extraire différentes informations des images.
Il a des applications dans des domaines tels que l'inspection des défauts de fabrication, l'analyse du trafic automobile dans les villes intelligentes ou les moteurs de recherche visuels comme Google Lens.
L'idée principale est d'utiliser des techniques d'apprentissage profond pour extraire des fonctionnalités des images, puis d'appliquer ces fonctionnalités à la détection d'objets.
Il est très courant de nos jours que les entreprises utilisent des chatbots IA pour fournir un support client et des ventes. Les chatbots IA aident les entreprises à gérer des volumes élevés de requêtes clients en fournissant une assistance 24h/24 et 7j/7, réduisant ainsi les coûts d'assistance et générant des revenus supplémentaires et des clients satisfaits.
La robotique IA utilise le traitement du langage naturel (NLP) pour traiter le texte, extraire les mots-clés des requêtes et répondre en conséquence.
Le fait est le suivant : les données d'imagerie médicale sont à la fois la source d'information la plus riche et l'une des plus complexes.
Analyser manuellement des milliers d'images médicales est une tâche fastidieuse et fait perdre un temps précieux aux pathologistes qui pourrait être utilisé plus efficacement.
Mais il ne s’agit pas seulement de gagner du temps : de petites caractéristiques telles que des artefacts ou des nodules peuvent ne pas être visibles à l’œil nu, ce qui entraîne des retards dans le diagnostic de la maladie et des prédictions incorrectes. C’est pourquoi les techniques d’apprentissage profond impliquant des réseaux de neurones, qui peuvent être utilisées pour extraire des caractéristiques des images, présentent un tel potentiel.
À mesure que le secteur du commerce électronique se développe, on observe une augmentation du nombre de transactions en ligne et une diversification des moyens de paiement disponibles. Malheureusement, certaines personnes profitent de cette situation. Dans le monde d’aujourd’hui, les fraudeurs sont hautement qualifiés et peuvent adopter de nouvelles technologies très rapidement.
C'est pourquoi nous avons besoin d'un système capable d'analyser les modèles de données, de faire des prédictions précises et de répondre aux menaces de cybersécurité en ligne telles que les fausses tentatives de connexion ou les attaques de phishing.
Par exemple, les systèmes de prévention de la fraude peuvent découvrir si un achat est légitime en fonction de l'endroit où vous avez effectué des achats dans le passé ou de la durée de votre connexion en ligne. De même, ils peuvent détecter si quelqu’un tente de usurper votre identité en ligne ou par téléphone.
Cette pertinence de l'algorithme de recommandation repose sur l'étude des données historiques et dépend de plusieurs facteurs, dont les préférences et les intérêts des utilisateurs.
Des entreprises comme JD.com ou Douyin utilisent des systèmes de recommandation pour organiser et afficher du contenu ou des produits pertinents aux utilisateurs/acheteurs.
Dans la plupart des cas, les performances de tout algorithme d'apprentissage automatique Les raisons des mauvaises performances sont dus à un sous-apprentissage et un surapprentissage. Décomposons ces termes dans le contexte de la formation d'un modèle d'apprentissage automatique.
Le sous-ajustement est un scénario dans lequel un modèle d'apprentissage automatique ne peut ni apprendre la relation entre les variables dans les données ni prédire correctement de nouveaux points de données. En d’autres termes, le système d’apprentissage automatique ne détecte pas les tendances entre les points de données.
Le surapprentissage se produit lorsqu'un modèle d'apprentissage automatique apprend trop des données d'entraînement, en prêtant attention aux points de données qui sont intrinsèquement bruyants ou sans rapport avec la plage de l'ensemble de données. Il tente d'ajuster chaque point de la courbe et donc de mémoriser le modèle de données. Étant donné que le modèle a peu de flexibilité, il ne peut pas prédire de nouveaux points de données. En d’autres termes, il se concentre trop sur les exemples donnés et ne parvient pas à avoir une vision d’ensemble.Quelles sont les causes du sous-apprentissage et du surapprentissage ?
Des cas plus généraux incluent des situations dans lesquelles les données utilisées pour la formation ne sont pas propres et contiennent beaucoup de bruit ou de valeurs inutiles, ou la taille des données est trop petite. Il existe cependant des raisons plus spécifiques.
Jetons-y un coup d'œil.
Un sous-ajustement peut survenir parce que :Cela peut se produire dans les situations suivantes Surajustement :
La précision de tout modèle d'apprentissage automatique est directement proportionnelle à la dimensionnalité de l'ensemble de données. Mais cela ne fonctionne que jusqu'à un certain seuil.
La dimensionnalité d'un ensemble de données fait référence au nombre d'attributs/caractéristiques présents dans l'ensemble de données. L'augmentation exponentielle du nombre de dimensions conduit à l'ajout d'attributs non essentiels qui perturbent le modèle, réduisant ainsi la précision du modèle d'apprentissage automatique.
Nous appelons ces difficultés associées à la formation de modèles d’apprentissage automatique la « malédiction de la dimensionnalité ».
Les algorithmes d'apprentissage automatique sont sensibles aux données d'entraînement de mauvaise qualité.
La qualité des données peut souffrir du bruit dans les données dû à des données incorrectes ou à des valeurs manquantes. Même des erreurs relativement petites dans les données d’entraînement peuvent entraîner des erreurs à grande échelle dans les résultats du système.
Lorsqu'un algorithme fonctionne mal, cela est généralement dû à des problèmes de qualité des données tels qu'une quantité insuffisante/des données biaisées/bruyantes ou des fonctionnalités insuffisantes pour décrire les données.
Par conséquent, avant de former un modèle d'apprentissage automatique, un nettoyage des données est souvent nécessaire pour obtenir des données de haute qualité.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!