Table des matières
Chapitre d'ouverture
Prise de décision basée sur un modèle basé sur le consensus
Modélisation contextuelle
Limites de décision
IA explicable
Modèles intégrés
Introduction du traducteur
Maison Périphériques technologiques IA Gestion des modèles de Machine Learning : modélisation intégrée

Gestion des modèles de Machine Learning : modélisation intégrée

May 01, 2023 pm 07:13 PM
机器学习 数据科学 金融

​Traducteur | Cui Hao

Réviseur | Sun Shujuan

Chapitre d'ouverture

Gestion des modèles de Machine Learning : modélisation intégrée

L'apprentissage automatique est appliqué par les entreprises à différents scénarios commerciaux pour résoudre différents problèmes commerciaux. Avec l'application généralisée de l'apprentissage automatique, les organisations choisissent également Overwhelmed. lors de l’apprentissage des méthodes.

De nombreuses organisations utilisent des méthodes d'apprentissage avancées et classiques dans l'application du machine learning. Il existe la dichotomie familière entre l’apprentissage supervisé et non supervisé, ainsi que les variantes émergentes de l’apprentissage automatique telles que l’apprentissage contrastif, l’apprentissage par renforcement et l’apprentissage auto-supervisé.

De plus, l'analyse graphique, les réseaux de neurones profonds, la segmentation, l'analyse comportementale et d'autres techniques sont impliqués. Face à des problèmes commerciaux complexes et à grande échelle, tels que le renforcement des mesures de lutte contre le blanchiment d'argent pour lutter contre la criminalité financière, comment les organisations décident-elles quelles méthodes d'apprentissage automatique utiliser ?

Grâce à la modélisation intégrée, ce problème devient moins important. Cette approche d'apprentissage automatique permet aux organisations d'exploiter différents modèles et de les combiner avec une précision prédictive pour obtenir des résultats optimaux.

Cette approche permet de fournir un contexte complet pour les données de grande dimension dans les services financiers, la détection des fraudes et la cybersécurité. Les organisations qui utilisent la modélisation d'ensemble affirment que « la modélisation d'ensemble permet une plus grande diversité dans la construction de modèles », et Martin Rehak, PDG de Resistance AI, admet : « Nous ne voulons pas qu'un seul modèle se démarque

Utiliser la diversité dans les modèles. » permet aux organisations d'utiliser différents algorithmes pour évaluer divers aspects d'un problème commercial afin d'adopter des méthodes de prise de décision pleinement informées et cohérentes - qui sont explicables.

Prise de décision basée sur un modèle basé sur le consensus

Les principes de la modélisation d'ensemble mentionnés précédemment sont incontestables. Les data scientists n'ont pas besoin de passer beaucoup de temps à concevoir des modèles parfaits pour les analyses de rentabilisation, mais doivent seulement combiner ces modèles imparfaits pour générer des prédictions. . capacité. "Lorsque vous envisagez l'apprentissage automatique dans une approche globale, vous prenez des décisions à partir de petits algorithmes", a noté Rehak. "Et, dans notre cas, ces algorithmes sont combinés de manière dynamique pour chaque transaction afin de prendre la meilleure décision." De plus, chacun de ces modèles pourrait peut-être se spécialiser dans un certain secteur, par exemple l'identification des incidents de blanchiment d'argent.

Par exemple, un modèle se concentre uniquement sur la taille de la transaction. Un autre modèle se concentre sur la localisation des transactions. Différents modèles peuvent examiner quels participants spécifiques ont été impliqués dans la transaction. L'objectif est une situation où "il n'y a pas de pics", explique Rehak. "La distribution du modèle est très plate et les preuves correspondant au modèle sont relativement faibles. En combinant de nombreux éléments de preuves faibles, vous pouvez prendre une décision plus solide. Un autre avantage est que grâce à l'apprentissage automatique classique et à des modèles plus simples, moins de formation. " des données (et des annotations) sont nécessaires pour mettre le modèle en production. De tels modèles sont plus faciles à interpréter que les réseaux de neurones profonds, qui nécessitent de grandes quantités de données d'entraînement.

Modélisation contextuelle

Il est important de distinguer l'approche de modélisation à distribution plate décrite par Rehak des autres techniques de modélisation d'ensemble. Les exemples les plus courants de modélisation d'ensemble impliquent le bagging ou le boosting (ce dernier peut nécessiter Xtreme Gradient Boosting). Random Forest est un exemple de boosting basé sur une combinaison de différents arbres de décision. Avec cette approche, « vous construisez la collection une par une sur la base des versions précédentes de la collection », commente Rehak. Bien qu'il s'agisse d'un moyen rapide de créer des modèles avec une précision prédictive élevée, il présente un risque de surajustement (le modèle devient moins applicable aux données de production car l'ensemble de données d'entraînement est trop petit).

L'approche intégrée de Rehak est mieux adaptée aux cas d'utilisation AML car elle est basée sur le contexte qui affecte ces événements. "Si vous demandez à un expert en blanchiment d'argent si une transaction était malveillante, il examinera d'abord l'historique du compte et le comportement de la personne dans le passé", a expliqué Rehak. Grâce à son approche, les facteurs liés à la situation géographique, à l'heure de la journée, aux parties intéressées et aux institutions financières sont examinés à l'aide de modèles d'apprentissage automatique distincts. Ce n’est qu’en combinant les résultats de chacun de ces modèles que le système d’IA pourra déterminer si une transaction criminelle a eu lieu, avec beaucoup moins de faux positifs. "L'apprentissage automatique peut expliquer la plupart des valeurs aberrantes qui autrement submergeraient les équipes de lutte contre le blanchiment d'argent", a déclaré Rehak.

Limites de décision

Lors de l'intégration de cas d'utilisation pour la modélisation, il est courant d'utiliser plus de 60 modèles pour modéliser différents aspects de la transaction analytique. Les résultats en temps réel de l'approche intégrée sont bien adaptés à ce scénario d'application. "L'un de ces 60 algorithmes peut tout diviser en segments, puis modéliser la taille moyenne des transactions par seconde", révèle Rehak. "Nous pouvons avoir des milliers de clips mis à jour dynamiquement en même temps."

Avec un grand nombre de modèles intégrés dans l'ensemble, chacun évaluant différents aspects d'une transaction pour découvrir un comportement criminel potentiel, une approche plus globale n'a pas pu être créée. « Nous vous regardons sous tellement d'angles qu'il devient très difficile de façonner votre comportement tout en vous permettant d'éviter tous ces actes criminels », a révélé Rehak. « Parce que, pour ne pas être identifié, un « criminel » doit éviter. plus d'une limite de décision, mais un grand nombre de limites de décision dynamiques. Chaque modèle de ces algorithmes est appris indépendamment, puis nous les combinons ensemble

IA explicable

Comment ces ensembles améliorent l'explicabilité et correspondent. Premièrement, ils ne s’appuient pas trop sur l’apprentissage automatique avancé et incluent uniquement des algorithmes plus simples et plus interprétables (impliquant l’apprentissage automatique traditionnel). Ces modèles sont devenus la pierre angulaire de l’évaluation de la criminalité transactionnelle. "Quand nous disons que quelque chose est important, nous pouvons vous dire pourquoi", a déclaré Rehak. "Nous pouvons vous indiquer quels indicateurs indiquent cela. Nous pouvons rédiger un rapport pour chaque constatation indiquant qu'il existe un risque élevé de criminalité transactionnelle en raison de ces facteurs. Bien que chaque algorithme se concentre sur les caractéristiques, tous les algorithmes n'ont pas le même poids." le modèle. De manière générale, les algorithmes impliquant l’analyse de graphiques (qui sont efficaces pour examiner les relations) reçoivent plus de poids que les autres modèles.

Les modèles peuvent non seulement expliquer les comportements suspects, mais également vous expliquer pourquoi des valeurs aberrantes se produisent. "En général, nous avons quatre ou cinq algorithmes dominants dans un ensemble, ce qui signifie que lorsque je pense qu'il s'agit d'une valeur aberrante, d'autres seront d'accord en raison de l'algorithme qui la sous-tend", a noté Rehak. « En outre, nous disposons de quatre ou cinq déclencheurs, ce qui garantit que les résultats sont quelque peu biaisés en faveur des anomalies. » Étant donné que les modèles individuels n'évaluent qu'un seul facteur dans une transaction, ils offrent une interprétabilité et une interprétabilité de mot de score. "Parce que nous connaissons l'ensemble, la micro-segmentation et le volume, nous pouvons facilement afficher ces informations avec des questions à côté de la partition, et le volume est très important pour le service financier d'une entreprise", a ajouté Rehak.

Modèles intégrés

En fin de compte, la modélisation intégrée est utilisée plus que n'importe quelle application, bien qu'elle puisse être d'une grande aide pour les activités AML. Si elle est appliquée correctement, cette technologie peut améliorer l'interprétabilité tout en réduisant la quantité de données de formation et d'annotations nécessaires pour résoudre les problèmes critiques de l'entreprise.

La modélisation Ensemble exploite diverses techniques de science des données pour résoudre plusieurs problèmes commerciaux au lieu de limiter les problèmes à un ou deux. En conséquence, cette approche intégrée de résolution de problèmes pourrait devenir la vedette des déploiements d’IA.

Introduction du traducteur

Cui Hao, rédacteur de la communauté 51CTO, architecte senior, a 18 ans d'expérience en développement de logiciels et en architecture, et 10 ans d'expérience en architecture distribuée. Anciennement expert technique chez HP. Il est prêt à partager et a écrit de nombreux articles techniques populaires avec plus de 600 000 lectures. Auteur de "Principes et pratiques de l'architecture distribuée".

Titre original : ​Gestion des modèles d'apprentissage automatique : modélisation d'ensemble​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Cet article vous amènera à comprendre SHAP : explication du modèle pour l'apprentissage automatique Cet article vous amènera à comprendre SHAP : explication du modèle pour l'apprentissage automatique Jun 01, 2024 am 10:58 AM

Dans les domaines de l’apprentissage automatique et de la science des données, l’interprétabilité des modèles a toujours été au centre des préoccupations des chercheurs et des praticiens. Avec l'application généralisée de modèles complexes tels que l'apprentissage profond et les méthodes d'ensemble, la compréhension du processus décisionnel du modèle est devenue particulièrement importante. Explainable AI|XAI contribue à renforcer la confiance dans les modèles d'apprentissage automatique en augmentant la transparence du modèle. L'amélioration de la transparence des modèles peut être obtenue grâce à des méthodes telles que l'utilisation généralisée de plusieurs modèles complexes, ainsi que les processus décisionnels utilisés pour expliquer les modèles. Ces méthodes incluent l'analyse de l'importance des caractéristiques, l'estimation de l'intervalle de prédiction du modèle, les algorithmes d'interprétabilité locale, etc. L'analyse de l'importance des fonctionnalités peut expliquer le processus de prise de décision du modèle en évaluant le degré d'influence du modèle sur les fonctionnalités d'entrée. Estimation de l’intervalle de prédiction du modèle

Transparent! Une analyse approfondie des principes des principaux modèles de machine learning ! Transparent! Une analyse approfondie des principes des principaux modèles de machine learning ! Apr 12, 2024 pm 05:55 PM

En termes simples, un modèle d’apprentissage automatique est une fonction mathématique qui mappe les données d’entrée à une sortie prédite. Plus précisément, un modèle d'apprentissage automatique est une fonction mathématique qui ajuste les paramètres du modèle en apprenant à partir des données d'entraînement afin de minimiser l'erreur entre la sortie prédite et la véritable étiquette. Il existe de nombreux modèles dans l'apprentissage automatique, tels que les modèles de régression logistique, les modèles d'arbre de décision, les modèles de machines à vecteurs de support, etc. Chaque modèle a ses types de données et ses types de problèmes applicables. Dans le même temps, il existe de nombreux points communs entre les différents modèles, ou il existe une voie cachée pour l’évolution du modèle. En prenant comme exemple le perceptron connexionniste, en augmentant le nombre de couches cachées du perceptron, nous pouvons le transformer en un réseau neuronal profond. Si une fonction noyau est ajoutée au perceptron, elle peut être convertie en SVM. celui-ci

Identifier le surapprentissage et le sous-apprentissage grâce à des courbes d'apprentissage Identifier le surapprentissage et le sous-apprentissage grâce à des courbes d'apprentissage Apr 29, 2024 pm 06:50 PM

Cet article présentera comment identifier efficacement le surajustement et le sous-apprentissage dans les modèles d'apprentissage automatique grâce à des courbes d'apprentissage. Sous-ajustement et surajustement 1. Surajustement Si un modèle est surentraîné sur les données de sorte qu'il en tire du bruit, alors on dit que le modèle est en surajustement. Un modèle surajusté apprend chaque exemple si parfaitement qu'il classera mal un exemple inédit/inédit. Pour un modèle surajusté, nous obtiendrons un score d'ensemble d'entraînement parfait/presque parfait et un score d'ensemble/test de validation épouvantable. Légèrement modifié : "Cause du surajustement : utilisez un modèle complexe pour résoudre un problème simple et extraire le bruit des données. Parce qu'un petit ensemble de données en tant qu'ensemble d'entraînement peut ne pas représenter la représentation correcte de toutes les données."

L'évolution de l'intelligence artificielle dans l'exploration spatiale et l'ingénierie des établissements humains L'évolution de l'intelligence artificielle dans l'exploration spatiale et l'ingénierie des établissements humains Apr 29, 2024 pm 03:25 PM

Dans les années 1950, l’intelligence artificielle (IA) est née. C’est à ce moment-là que les chercheurs ont découvert que les machines pouvaient effectuer des tâches similaires à celles des humains, comme penser. Plus tard, dans les années 1960, le Département américain de la Défense a financé l’intelligence artificielle et créé des laboratoires pour poursuivre son développement. Les chercheurs trouvent des applications à l’intelligence artificielle dans de nombreux domaines, comme l’exploration spatiale et la survie dans des environnements extrêmes. L'exploration spatiale est l'étude de l'univers, qui couvre l'ensemble de l'univers au-delà de la terre. L’espace est classé comme environnement extrême car ses conditions sont différentes de celles de la Terre. Pour survivre dans l’espace, de nombreux facteurs doivent être pris en compte et des précautions doivent être prises. Les scientifiques et les chercheurs pensent qu'explorer l'espace et comprendre l'état actuel de tout peut aider à comprendre le fonctionnement de l'univers et à se préparer à d'éventuelles crises environnementales.

Implémentation d'algorithmes d'apprentissage automatique en C++ : défis et solutions courants Implémentation d'algorithmes d'apprentissage automatique en C++ : défis et solutions courants Jun 03, 2024 pm 01:25 PM

Les défis courants rencontrés par les algorithmes d'apprentissage automatique en C++ incluent la gestion de la mémoire, le multithread, l'optimisation des performances et la maintenabilité. Les solutions incluent l'utilisation de pointeurs intelligents, de bibliothèques de threads modernes, d'instructions SIMD et de bibliothèques tierces, ainsi que le respect des directives de style de codage et l'utilisation d'outils d'automatisation. Des cas pratiques montrent comment utiliser la bibliothèque Eigen pour implémenter des algorithmes de régression linéaire, gérer efficacement la mémoire et utiliser des opérations matricielles hautes performances.

IA explicable : Expliquer les modèles IA/ML complexes IA explicable : Expliquer les modèles IA/ML complexes Jun 03, 2024 pm 10:08 PM

Traducteur | Revu par Li Rui | Chonglou Les modèles d'intelligence artificielle (IA) et d'apprentissage automatique (ML) deviennent aujourd'hui de plus en plus complexes, et le résultat produit par ces modèles est une boîte noire – impossible à expliquer aux parties prenantes. L'IA explicable (XAI) vise à résoudre ce problème en permettant aux parties prenantes de comprendre comment fonctionnent ces modèles, en s'assurant qu'elles comprennent comment ces modèles prennent réellement des décisions et en garantissant la transparence des systèmes d'IA, la confiance et la responsabilité pour résoudre ce problème. Cet article explore diverses techniques d'intelligence artificielle explicable (XAI) pour illustrer leurs principes sous-jacents. Plusieurs raisons pour lesquelles l’IA explicable est cruciale Confiance et transparence : pour que les systèmes d’IA soient largement acceptés et fiables, les utilisateurs doivent comprendre comment les décisions sont prises

Cinq écoles d'apprentissage automatique que vous ne connaissez pas Cinq écoles d'apprentissage automatique que vous ne connaissez pas Jun 05, 2024 pm 08:51 PM

L'apprentissage automatique est une branche importante de l'intelligence artificielle qui donne aux ordinateurs la possibilité d'apprendre à partir de données et d'améliorer leurs capacités sans être explicitement programmés. L'apprentissage automatique a un large éventail d'applications dans divers domaines, de la reconnaissance d'images et du traitement du langage naturel aux systèmes de recommandation et à la détection des fraudes, et il change notre façon de vivre. Il existe de nombreuses méthodes et théories différentes dans le domaine de l'apprentissage automatique, parmi lesquelles les cinq méthodes les plus influentes sont appelées les « Cinq écoles d'apprentissage automatique ». Les cinq grandes écoles sont l’école symbolique, l’école connexionniste, l’école évolutionniste, l’école bayésienne et l’école analogique. 1. Le symbolisme, également connu sous le nom de symbolisme, met l'accent sur l'utilisation de symboles pour le raisonnement logique et l'expression des connaissances. Cette école de pensée estime que l'apprentissage est un processus de déduction inversée, à travers les connaissances existantes.

Flash Attention est-il stable ? Meta et Harvard ont constaté que les écarts de poids de leur modèle fluctuaient de plusieurs ordres de grandeur. Flash Attention est-il stable ? Meta et Harvard ont constaté que les écarts de poids de leur modèle fluctuaient de plusieurs ordres de grandeur. May 30, 2024 pm 01:24 PM

MetaFAIR s'est associé à Harvard pour fournir un nouveau cadre de recherche permettant d'optimiser le biais de données généré lors de l'apprentissage automatique à grande échelle. On sait que la formation de grands modèles de langage prend souvent des mois et utilise des centaines, voire des milliers de GPU. En prenant comme exemple le modèle LLaMA270B, sa formation nécessite un total de 1 720 320 heures GPU. La formation de grands modèles présente des défis systémiques uniques en raison de l’ampleur et de la complexité de ces charges de travail. Récemment, de nombreuses institutions ont signalé une instabilité dans le processus de formation lors de la formation des modèles d'IA générative SOTA. Elles apparaissent généralement sous la forme de pics de pertes. Par exemple, le modèle PaLM de Google a connu jusqu'à 20 pics de pertes au cours du processus de formation. Le biais numérique est à l'origine de cette imprécision de la formation,

See all articles