Périphériques technologiques
IA
Aperçu de l'état actuel de la technologie d'apprentissage fédéré et de ses applications en traitement d'images
Aperçu de l'état actuel de la technologie d'apprentissage fédéré et de ses applications en traitement d'images
Ces dernières années, les graphiques ont été largement utilisés pour représenter et traiter des données complexes dans de nombreux domaines, tels que les soins médicaux, les transports, la bioinformatique et les systèmes de recommandation. La technologie d'apprentissage automatique graphique est un outil puissant pour obtenir des informations riches cachées dans des données complexes et a démontré de solides performances dans des tâches telles que la classification des nœuds et la prédiction des liens.
Bien que la technologie d'apprentissage automatique graphique ait fait des progrès significatifs, la plupart d'entre elles nécessitent que les données graphiques soient stockées de manière centralisée sur une seule machine. Cependant, avec l’accent mis sur la sécurité des données et la confidentialité des utilisateurs, le stockage centralisé des données est devenu dangereux et irréalisable. Les données graphiques sont souvent réparties sur plusieurs sources de données (silos de données) et, pour des raisons de confidentialité et de sécurité, il devient impossible de collecter les données graphiques requises à différents endroits.
Par exemple, une société tierce souhaite former des modèles d'apprentissage automatique graphiques pour certaines institutions financières afin de les aider à détecter les délits financiers potentiels et les clients frauduleux. Chaque institution financière détient des données privées sur les clients, telles que des données démographiques et des enregistrements de transactions. Les clients de chaque institution financière forment un graphe client dont les bords représentent les enregistrements de transactions. En raison de politiques de confidentialité strictes et de la concurrence commerciale, les données privées des clients de chaque organisation ne peuvent pas être partagées directement avec des sociétés tierces ou d'autres organisations. Dans le même temps, il peut également exister des relations entre institutions, qui peuvent être considérées comme des informations structurelles entre institutions. Le principal défi est donc de former des modèles d'apprentissage automatique graphiques pour la détection de la criminalité financière sur la base de graphiques de clients privés et d'informations structurelles inter-agences sans accès direct aux données des clients privés de chaque institution.
L'apprentissage fédéré (FL) est une solution d'apprentissage automatique distribué qui résout le problème de l'îlot de données grâce à une formation collaborative. Il permet aux participants (c'est-à-dire aux clients) de former conjointement des modèles d'apprentissage automatique sans partager leurs données privées. Par conséquent, combiner FL avec l’apprentissage automatique graphique devient une solution prometteuse aux problèmes ci-dessus.
Dans cet article, des chercheurs de l'Université de Virginie proposent le Federated Graph Machine Learning (FGML). De manière générale, FGML peut être divisé en deux paramètres en fonction du niveau d'informations structurelles : le premier est FL avec des données structurées. Dans FL avec des données structurées, les clients entraînent de manière collaborative des modèles d'apprentissage automatique graphiques en fonction de leurs données graphiques, tandis que les données graphiques sont conservées localement. . Le deuxième type est le FL structuré. Dans le FL structuré, il existe des informations structurelles entre les clients, formant un graphe client. Les graphes clients peuvent être exploités pour concevoir des méthodes d’optimisation conjointe plus efficaces.
Adresse papier : https://arxiv.org/pdf/2207.11812.pdf
Bien que FGML fournisse un modèle prometteur, il reste encore quelques défis :
1 . Les informations inter-clients sont manquantes. En FL avec des données structurées, un scénario courant est que chaque machine client possède un sous-graphe du graphe global et que certains nœuds peuvent avoir des voisins proches appartenant à d'autres clients. Pour des raisons de confidentialité, les nœuds peuvent uniquement regrouper les fonctionnalités de leurs voisins immédiats au sein du client, mais ne peuvent pas accéder aux fonctionnalités situées sur d'autres clients, ce qui conduit à une sous-représentation des nœuds.
2. Fuite de confidentialité de la structure graphique. Dans FL traditionnel, les clients ne sont pas autorisés à exposer les caractéristiques et les étiquettes de leurs échantillons de données. En FL avec des données structurées, la confidentialité des informations structurelles doit également être prise en compte. Les informations structurelles peuvent être exposées directement via une matrice de contiguïté partagée ou indirectement via l'intégration de nœuds de transmission.
3. Hétérogénéité des données entre clients. Contrairement au FL traditionnel où l'hétérogénéité des données provient d'échantillons de données non IID, les données graphiques dans FGML contiennent de riches informations structurelles. Dans le même temps, la structure graphique des différents clients affectera également les performances du modèle d'apprentissage automatique graphique.
4. Stratégies d'utilisation des paramètres. En FL structuré, le graphe client permet aux clients d'obtenir des informations de leurs clients voisins. Dans le FL structuré, des stratégies efficaces doivent être conçues pour exploiter pleinement les informations des voisins coordonnées par un serveur central ou complètement décentralisées.
Pour relever les défis ci-dessus, les chercheurs ont développé un grand nombre d'algorithmes. Divers algorithmes se concentrent actuellement principalement sur les défis et les méthodes du FL standard, avec seulement quelques tentatives pour résoudre des problèmes et des techniques spécifiques en FGML. Quelqu'un a publié un article de synthèse classifiant FGML, mais n'a pas résumé les principales techniques de FGML. Certains articles de synthèse ne couvrent qu'un nombre limité d'articles pertinents en FL et présentent très brièvement la technologie actuelle.
Dans l'article présenté aujourd'hui, l'auteur présente d'abord les concepts de deux conceptions de problèmes en FGML. Ensuite, les derniers progrès technologiques sous chaque shezhi sont passés en revue et les applications pratiques de FGML sont également présentées. et résume les ensembles de données graphiques accessibles et les plates-formes disponibles pour les applications FGML. Enfin, l’auteur donne plusieurs pistes de recherche prometteuses. Les principales contributions de l'article comprennent :
Taxonomie de la technologie FGML : L'article donne une taxonomie de FGML basée sur différents problèmes et résume les principaux défis dans chaque contexte.
Revue complète de la technologie : l'article fournit un aperçu complet de la technologie existante dans FGML. Par rapport à d’autres articles de synthèse existants, les auteurs étudient non seulement un plus large éventail de travaux connexes, mais fournissent également une analyse technique plus détaillée au lieu de simplement énumérer les étapes de chaque méthode.
Applications pratiques : L'article résume pour la première fois les applications pratiques de FGML. Les auteurs les classent selon les domaines d'application et présentent les travaux connexes dans chaque domaine.
Ensembles de données et plates-formes : l'article présente les ensembles de données et les plates-formes existants dans FGML, ce qui est très utile pour les ingénieurs et les chercheurs qui souhaitent développer des algorithmes et déployer des applications dans FGML.
Orientation future : L'article souligne non seulement les limites des méthodes existantes, mais donne également l'orientation future du développement de FGML.
Aperçu de la technologie FGMLVoici une introduction à la structure principale de l'article.
La section 2 présente brièvement les définitions de l'apprentissage automatique des graphes ainsi que les concepts et les défis dans les deux contextes de FGML.
Les sections 3 et 4 passent en revue les technologies dominantes dans les deux contextes. La section 5 explore plus en détail les applications réelles de FGML. La section 6 présente l'ensemble de données Open Graph utilisé dans les articles FGML associés et deux plates-formes pour FGML. Des orientations futures possibles sont fournies dans la section 7 .
Enfin, la section 8 résume le texte intégral. Veuillez vous référer au document original pour plus de détails.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Cet article vous amènera à comprendre SHAP : explication du modèle pour l'apprentissage automatique
Jun 01, 2024 am 10:58 AM
Dans les domaines de l’apprentissage automatique et de la science des données, l’interprétabilité des modèles a toujours été au centre des préoccupations des chercheurs et des praticiens. Avec l'application généralisée de modèles complexes tels que l'apprentissage profond et les méthodes d'ensemble, la compréhension du processus décisionnel du modèle est devenue particulièrement importante. Explainable AI|XAI contribue à renforcer la confiance dans les modèles d'apprentissage automatique en augmentant la transparence du modèle. L'amélioration de la transparence des modèles peut être obtenue grâce à des méthodes telles que l'utilisation généralisée de plusieurs modèles complexes, ainsi que les processus décisionnels utilisés pour expliquer les modèles. Ces méthodes incluent l'analyse de l'importance des caractéristiques, l'estimation de l'intervalle de prédiction du modèle, les algorithmes d'interprétabilité locale, etc. L'analyse de l'importance des fonctionnalités peut expliquer le processus de prise de décision du modèle en évaluant le degré d'influence du modèle sur les fonctionnalités d'entrée. Estimation de l’intervalle de prédiction du modèle
Identifier le surapprentissage et le sous-apprentissage grâce à des courbes d'apprentissage
Apr 29, 2024 pm 06:50 PM
Cet article présentera comment identifier efficacement le surajustement et le sous-apprentissage dans les modèles d'apprentissage automatique grâce à des courbes d'apprentissage. Sous-ajustement et surajustement 1. Surajustement Si un modèle est surentraîné sur les données de sorte qu'il en tire du bruit, alors on dit que le modèle est en surajustement. Un modèle surajusté apprend chaque exemple si parfaitement qu'il classera mal un exemple inédit/inédit. Pour un modèle surajusté, nous obtiendrons un score d'ensemble d'entraînement parfait/presque parfait et un score d'ensemble/test de validation épouvantable. Légèrement modifié : "Cause du surajustement : utilisez un modèle complexe pour résoudre un problème simple et extraire le bruit des données. Parce qu'un petit ensemble de données en tant qu'ensemble d'entraînement peut ne pas représenter la représentation correcte de toutes les données."
Transparent! Une analyse approfondie des principes des principaux modèles de machine learning !
Apr 12, 2024 pm 05:55 PM
En termes simples, un modèle d’apprentissage automatique est une fonction mathématique qui mappe les données d’entrée à une sortie prédite. Plus précisément, un modèle d'apprentissage automatique est une fonction mathématique qui ajuste les paramètres du modèle en apprenant à partir des données d'entraînement afin de minimiser l'erreur entre la sortie prédite et la véritable étiquette. Il existe de nombreux modèles dans l'apprentissage automatique, tels que les modèles de régression logistique, les modèles d'arbre de décision, les modèles de machines à vecteurs de support, etc. Chaque modèle a ses types de données et ses types de problèmes applicables. Dans le même temps, il existe de nombreux points communs entre les différents modèles, ou il existe une voie cachée pour l’évolution du modèle. En prenant comme exemple le perceptron connexionniste, en augmentant le nombre de couches cachées du perceptron, nous pouvons le transformer en un réseau neuronal profond. Si une fonction noyau est ajoutée au perceptron, elle peut être convertie en SVM. celui-ci
L'évolution de l'intelligence artificielle dans l'exploration spatiale et l'ingénierie des établissements humains
Apr 29, 2024 pm 03:25 PM
Dans les années 1950, l’intelligence artificielle (IA) est née. C’est à ce moment-là que les chercheurs ont découvert que les machines pouvaient effectuer des tâches similaires à celles des humains, comme penser. Plus tard, dans les années 1960, le Département américain de la Défense a financé l’intelligence artificielle et créé des laboratoires pour poursuivre son développement. Les chercheurs trouvent des applications à l’intelligence artificielle dans de nombreux domaines, comme l’exploration spatiale et la survie dans des environnements extrêmes. L'exploration spatiale est l'étude de l'univers, qui couvre l'ensemble de l'univers au-delà de la terre. L’espace est classé comme environnement extrême car ses conditions sont différentes de celles de la Terre. Pour survivre dans l’espace, de nombreux facteurs doivent être pris en compte et des précautions doivent être prises. Les scientifiques et les chercheurs pensent qu'explorer l'espace et comprendre l'état actuel de tout peut aider à comprendre le fonctionnement de l'univers et à se préparer à d'éventuelles crises environnementales.
Implémentation d'algorithmes d'apprentissage automatique en C++ : défis et solutions courants
Jun 03, 2024 pm 01:25 PM
Les défis courants rencontrés par les algorithmes d'apprentissage automatique en C++ incluent la gestion de la mémoire, le multithread, l'optimisation des performances et la maintenabilité. Les solutions incluent l'utilisation de pointeurs intelligents, de bibliothèques de threads modernes, d'instructions SIMD et de bibliothèques tierces, ainsi que le respect des directives de style de codage et l'utilisation d'outils d'automatisation. Des cas pratiques montrent comment utiliser la bibliothèque Eigen pour implémenter des algorithmes de régression linéaire, gérer efficacement la mémoire et utiliser des opérations matricielles hautes performances.
IA explicable : Expliquer les modèles IA/ML complexes
Jun 03, 2024 pm 10:08 PM
Traducteur | Revu par Li Rui | Chonglou Les modèles d'intelligence artificielle (IA) et d'apprentissage automatique (ML) deviennent aujourd'hui de plus en plus complexes, et le résultat produit par ces modèles est une boîte noire – impossible à expliquer aux parties prenantes. L'IA explicable (XAI) vise à résoudre ce problème en permettant aux parties prenantes de comprendre comment fonctionnent ces modèles, en s'assurant qu'elles comprennent comment ces modèles prennent réellement des décisions et en garantissant la transparence des systèmes d'IA, la confiance et la responsabilité pour résoudre ce problème. Cet article explore diverses techniques d'intelligence artificielle explicable (XAI) pour illustrer leurs principes sous-jacents. Plusieurs raisons pour lesquelles l’IA explicable est cruciale Confiance et transparence : pour que les systèmes d’IA soient largement acceptés et fiables, les utilisateurs doivent comprendre comment les décisions sont prises
Cinq écoles d'apprentissage automatique que vous ne connaissez pas
Jun 05, 2024 pm 08:51 PM
L'apprentissage automatique est une branche importante de l'intelligence artificielle qui donne aux ordinateurs la possibilité d'apprendre à partir de données et d'améliorer leurs capacités sans être explicitement programmés. L'apprentissage automatique a un large éventail d'applications dans divers domaines, de la reconnaissance d'images et du traitement du langage naturel aux systèmes de recommandation et à la détection des fraudes, et il change notre façon de vivre. Il existe de nombreuses méthodes et théories différentes dans le domaine de l'apprentissage automatique, parmi lesquelles les cinq méthodes les plus influentes sont appelées les « Cinq écoles d'apprentissage automatique ». Les cinq grandes écoles sont l’école symbolique, l’école connexionniste, l’école évolutionniste, l’école bayésienne et l’école analogique. 1. Le symbolisme, également connu sous le nom de symbolisme, met l'accent sur l'utilisation de symboles pour le raisonnement logique et l'expression des connaissances. Cette école de pensée estime que l'apprentissage est un processus de déduction inversée, à travers les connaissances existantes.
Flash Attention est-il stable ? Meta et Harvard ont constaté que les écarts de poids de leur modèle fluctuaient de plusieurs ordres de grandeur.
May 30, 2024 pm 01:24 PM
MetaFAIR s'est associé à Harvard pour fournir un nouveau cadre de recherche permettant d'optimiser le biais de données généré lors de l'apprentissage automatique à grande échelle. On sait que la formation de grands modèles de langage prend souvent des mois et utilise des centaines, voire des milliers de GPU. En prenant comme exemple le modèle LLaMA270B, sa formation nécessite un total de 1 720 320 heures GPU. La formation de grands modèles présente des défis systémiques uniques en raison de l’ampleur et de la complexité de ces charges de travail. Récemment, de nombreuses institutions ont signalé une instabilité dans le processus de formation lors de la formation des modèles d'IA générative SOTA. Elles apparaissent généralement sous la forme de pics de pertes. Par exemple, le modèle PaLM de Google a connu jusqu'à 20 pics de pertes au cours du processus de formation. Le biais numérique est à l'origine de cette imprécision de la formation,
