Résolvez les problèmes de surveillance des modèles d'apprentissage automatique grâce à la gestion des performances des modèles (MPM)

​Traducteur | Li Rui

Critique | Sun Shujuan

Au cours des dernières années, la numérisation du monde a apporté des opportunités et des défis uniques aux organisations et aux entreprises. Même si l’essor des données a offert davantage de possibilités d’améliorer la précision de la prise de décision, l’analyse et l’exploitation de ces informations prennent désormais plus de temps et sont plus coûteuses. En conséquence, les entreprises de toutes tailles déploient des modèles d'apprentissage automatique (ML) capables de traiter de grandes quantités de données et d'identifier des modèles et des corrélations qui passent souvent inaperçus aux yeux des analystes ou prennent un temps déraisonnable. Ces modèles ont le pouvoir d’améliorer la prise de décision et de générer des résultats commerciaux supérieurs. Par exemple, certains modèles d’apprentissage automatique peuvent faire des prédictions très précises sur la rapidité avec laquelle un produit spécifique se vendra au cours de l’année suivante afin d’améliorer la planification du marketing et des stocks. D'autres entreprises sont capables d'identifier des transactions frauduleuses pouvant entraîner une perte de revenus de plusieurs millions de dollars.

Mais avec le recours croissant aux modèles d'apprentissage automatique, la nécessité de surveiller les performances des modèles et de renforcer la confiance dans l'intelligence artificielle est devenue plus urgente. Sans surveillance des modèles d'apprentissage automatique, les équipes MLOps et de science des données seront confrontées aux problèmes suivants :

• Performances incohérentes du modèle. Cela peut fluctuer car les modèles d’apprentissage automatique sont formés sur des données historiques, qui peuvent différer des données réelles qu’ils voient en production.
• Manque de contrôle et de débogage. Les systèmes complexes d’apprentissage automatique étant opaques, les praticiens peuvent ne pas en savoir suffisamment sur le modèle d’apprentissage automatique pour savoir comment le réparer en cas de problème.
• Exemples de biais. Les modèles d’apprentissage automatique peuvent amplifier les biais cachés dans les données sur lesquelles ils sont formés, exposant les entreprises à des risques juridiques et de réputation, et pouvant conduire à des conséquences néfastes pour les consommateurs.
• Améliorez les performances du machine learning. Parce qu’il est difficile de comprendre et de suivre les améliorations nécessaires, les modèles d’apprentissage automatique ne font pas l’objet d’investissements supplémentaires après la version initiale.

Les équipes MLOps sont également plus susceptibles de manquer de confiance dans leurs modèles, ce qui peut entraîner plus de temps passé sur le projet et plus d'erreurs. La surveillance des modèles d'apprentissage automatique permet aux développeurs de déboguer les modèles dans les processus pilotes et de production afin de détecter les problèmes dès qu'ils surviennent. Il s’agit du moyen le plus efficace de parvenir à des solutions d’IA explicables, équitables et éthiques, ce qui est crucial dans le monde d’aujourd’hui. Supposons qu'une banque utilise un système d'apprentissage automatique pour approuver les prêts. Elle peut recevoir des plaintes de clients lui demandant pourquoi un certain prêt a été refusé, et la banque serait chargée d'expliquer pourquoi le modèle a pris cette décision. Trouver la réponse à cette question est presque impossible sans une solution de surveillance appropriée.

Qu'un modèle d'apprentissage automatique soit chargé de prédire la fraude, d'approuver des prêts ou de cibler des publicités, de petits changements qui se produisent peuvent entraîner une dérive du modèle, des rapports inexacts ou des biais, ce qui peut entraîner une perte de revenus et avoir un impact sur la crédibilité de la marque.

Défis de la surveillance des modèles d'aujourd'hui

Malheureusement, la surveillance des modèles d'apprentissage automatique est devenue plus complexe en raison de la variété et du nombre de modèles d'apprentissage automatique sur lesquels s'appuient les organisations d'aujourd'hui. Les modèles d'apprentissage automatique servent désormais à un large éventail de cas d'utilisation, tels que la lutte contre le blanchiment d'argent, l'adéquation des emplois, les diagnostics cliniques et la surveillance planétaire. Ils se présentent également sous de nombreuses représentations différentes (tableaux, séries chronologiques, texte, images, vidéo et audio). Bien que ces modèles puissent gérer les grandes quantités de données avec lesquelles les entreprises doivent travailler, leur suivi est beaucoup plus difficile et coûteux.

Certaines entreprises ont déployé des solutions traditionnelles de surveillance des infrastructures conçues pour prendre en charge une large visibilité opérationnelle afin de surmonter ces défis. D’autres tentent de créer leurs propres outils en interne. Dans les deux cas, ces solutions ne parviennent souvent pas à répondre aux besoins uniques des systèmes d’apprentissage automatique. Contrairement aux systèmes logiciels traditionnels, les performances des systèmes d'apprentissage automatique sont incertaines et dépendent de divers facteurs tels que la saisonnalité, les nouvelles tendances de comportement des utilisateurs et, souvent, des systèmes de données en amont de très haute dimension. Par exemple, un modèle publicitaire parfaitement fonctionnel devra peut-être être mis à jour à l'arrivée d'une nouvelle période de fêtes. De même, un modèle d’apprentissage automatique formé pour recommander du contenu aux États-Unis risque de ne pas s’appliquer aux enregistrements d’utilisateurs internationaux. Alternativement, les entreprises sont souvent confrontées à des problèmes d’évolution en raison de modèles obsolètes, d’une perte de temps en matière de dépannage en production et de coûts supplémentaires liés à la maintenance des outils en interne.

Pour permettre la visibilité et l'explicabilité des modèles d'apprentissage automatique et surmonter les défis courants de surveillance des modèles, les entreprises ont besoin de solutions capables de facilement surveiller, interpréter, analyser et améliorer les modèles d'apprentissage automatique avec Model Performance Management (MPM).

Comment la gestion des performances des modèles (MPM) gère les performances et les biais

La gestion des performances des modèles (MPM) est un système de contrôle centralisé au centre du flux de travail d'apprentissage automatique qui suit les performances à toutes les étapes du cycle de vie du modèle et clôture le retour d'information de l'apprentissage automatique. boucle . Avec Model Performance Management (MPM), les entreprises peuvent découvrir des informations approfondies et exploitables grâce à des explications et à une analyse des causes profondes, tout en faisant immédiatement apparaître les problèmes de performances du machine learning pour éviter un impact négatif sur l'activité.

Model Performance Management (MPM) réévalue en permanence et automatiquement la valeur commerciale et les performances du modèle, émet des alertes sur les performances du modèle en production et aide les développeurs à réagir de manière proactive au premier signe de biais. Étant donné que la gestion des performances des modèles (MPM) suit le comportement d'un modèle depuis la formation jusqu'à la publication, elle peut également expliquer quels facteurs conduisent à une certaine prédiction. La combinaison de la surveillance des modèles avec d'autres piliers de l'observabilité du machine learning, tels que l'explicabilité et l'équité des modèles, fournit aux ingénieurs du machine learning et aux data scientists une boîte à outils complète qui peut être intégrée dans leurs flux de travail de machine learning, et fournit un tableau de bord unique pour les cas d'utilisation de validation et de surveillance des modèles. Les entreprises bénéficient de la gestion des performances des modèles (MPM) non seulement parce qu'elle rend la surveillance des modèles plus efficace, mais également parce qu'elle réduit les cas de biais qui conduisent à des amendes réglementaires coûteuses ou à des atteintes à la réputation. Les modèles d’apprentissage automatique nécessitent une surveillance et un recyclage continus des modèles tout au long de leur cycle de vie. La gestion des performances des modèles (MPM) permet aux développeurs non seulement de gagner en confiance et en efficacité dans leurs modèles, mais également de comprendre et de valider les raisons et les processus derrière leurs résultats d'IA.

Titre original : ​​Résoudre les défis de surveillance des modèles ML avec la gestion des performances des modèles (MPM) ​​, auteur : Krishnaram Kenthapadi​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!