Au cours des dernières années, la technologie de l'intelligence artificielle dirigée par les réseaux de neurones a profondément changé la vie humaine et a grandement favorisé le processus de développement social grâce à l'exploration approfondie de différents types de données [1]. . En tant que l'un des domaines de recherche les plus actifs dans le domaine de l'intelligence artificielle, les réseaux de neurones graphiques (GNN) ont été largement utilisés dans la vie quotidienne, comme les recommandations personnalisées, en raison de leurs excellentes performances. Ils sont également utilisés dans des domaines scientifiques de pointe tels que. recherche et développement de nouveaux médicaments de la couronne. Avec le développement vigoureux de la technologie des réseaux neuronaux graphiques, les gens ont découvert que les systèmes de réseaux neuronaux graphiques dont l'objectif de conception unique était la performance des tâches présentaient toujours des problèmes tels que la vulnérabilité aux attaques malveillantes. Par conséquent, les gens sont de plus en plus désireux de créer des réseaux de neurones graphiques fiables.
Ces dernières années, la construction d'un système d'intelligence artificielle fiable est devenue un consensus général dans les pays du monde entier [2][3]. Comment établir de manière globale un réseau neuronal graphique fiable est devenu un problème majeur qui doit être résolu de toute urgence. Cet article est la dernière revue des réseaux de neurones graphes dignes de confiance réalisée par l'équipe Monash (Shirui Pan, Xingliang Yuan, Bang Wu, He Zhang) en collaboration avec Hanghang Tong (UIUC) et Jian Pei (SFU, sur le point de rejoindre Duke) (36 double- pages de colonnes, 299 documents).
À partir du contexte et des caractéristiques de la recherche, cette revue propose un cadre ouvert pour les réseaux neuronaux de graphes de confiance, en se concentrant sur les six dimensions d'un « GNN digne de confiance » (robustesse, interprétabilité, confidentialité, équité, responsabilité, environnement). bien-être) et son approche technique. Dans le même temps, cette revue explore les relations interactives entre différentes dimensions de fiabilité, propose de futures orientations de recherche pour les réseaux neuronaux graphiques dignes de confiance et dresse une feuille de route technique détaillée et complète pour établir des réseaux neuronaux graphiques dignes de confiance.
Nom de la revue : Réseaux de neurones graphiques dignes de confiance : aspects, méthodes et tendances
Lien texte intégral : https://arxiv.org/pdf/2205.07424.pdf
Github : https://github.com/ Radical3 -HeZhang/Awesome-Trustworthy-GNNs
En tant que type de données doté de capacités de représentation extrêmement fortes, les graphiques ont été largement utilisés pour décrire la biologie, la chimie, des données provenant de domaines aussi divers que la physique, la linguistique et les sciences sociales. Ces dernières années, le développement vigoureux de la technologie des réseaux neuronaux graphiques a révolutionné les performances de diverses tâches de calcul graphique et favorisé son application généralisée dans la vie réelle.
Dans la vie quotidienne, les réseaux de neurones graphiques peuvent fournir aux utilisateurs des services de recherche et de recommandation personnalisés dans des applications grand public telles que les médias en streaming d'informations, les achats en ligne et les logiciels sociaux en tenant compte de la relation interactive entre les utilisateurs et le contenu utilisateur/service. À la pointe de la science, en utilisant des données graphiques pour représenter des systèmes complexes, les chercheurs peuvent utiliser des réseaux neuronaux graphiques pour découvrir les modèles cachés derrière le mouvement des corps célestes. En les appliquant à la détection des fausses nouvelles et au développement de médicaments contre le COVID-19, les réseaux de neurones graphiques ont grandement amélioré le bien-être de notre société.
Bien que les chercheurs aient conçu des méthodes pour améliorer encore les performances des réseaux neuronaux graphiques sous de nombreux angles (tels que l'apprentissage auto-supervisé, l'amélioration de la profondeur du modèle, etc.), la performance des tâches dans certains domaines clés n'est pas le seul objectif de la conception de réseaux neuronaux graphiques. réseaux. Par exemple, les systèmes de détection d'anomalies basés sur des réseaux neuronaux graphiques doivent être robustes aux attaques malveillantes, les systèmes de notation de crédit basés sur des réseaux neuronaux graphiques ne doivent pas rejeter les demandes de prêt en raison de facteurs tels que l'âge et le sexe des utilisateurs, et les applications de découverte de médicaments basées sur des réseaux neuronaux graphiques. réseaux neuronaux Les chercheurs doivent recevoir une explication complète de leurs résultats.
Sur la base des besoins ci-dessus, les gens sont de plus en plus désireux que les systèmes basés sur des réseaux neuronaux graphiques soient crédibles. Dans ce contexte, cette revue vise à résumer les derniers progrès des « GNN dignes de confiance », à fournir une feuille de route technique pour les chercheurs et praticiens concernés, et à fournir une base pour la recherche et le développement futurs de GNN dignes de confiance. Fournir une orientation pour le développement industriel.
Les principales contributions de cette revue sont : 1) Décrire des réseaux de neurones graphes dignes de confiance avec un cadre ouvert qui inclut de nombreuses dimensions dignes de confiance, et proposer l'utilisation de réseaux de neurones graphes et d'autres technologies d'intelligence artificielle courantes (telles que CNN) dans des recherches dignes de confiance. Typique des différences importantes et résume les travaux de recherche existants tant au niveau de la méthode que de l'efficacité ; 4) En prenant le concept de réseau neuronal graphique digne de confiance dans son ensemble, des orientations de recherche futures potentielles sont proposées.
Afin de faciliter la compréhension des lecteurs, cet article présente d'abord les concepts de base suivants.
Données graphiques : Un graphe 
est généralement composé d'un ensemble de nœuds 
et d'un ensemble d'arêtes 
. Le nombre de nœuds dans ce graphique est 
et le nombre d'arêtes entre les nœuds est 
. Étant donné un graphe 
, la topologie correspondante peut être représentée par une matrice d'adjacence 
, où 
représente la relation de connexion entre le nœud 
et le nœud 
. Autrement dit, si les nœuds 
et 
sont connectés les uns aux autres, alors 
, sinon 
. Si les nœuds du graphique 
ont des attributs, une matrice de caractéristiques 
peut être utilisée pour décrire ces informations d'attribut. Par conséquent, le graphique 
peut également être représenté par 
.
Réseaux de neurones graphiques (GNN) : les réseaux de neurones graphiques sont un terme général désignant une série de réseaux de neurones qui peuvent être utilisés pour des tâches informatiques sur des données graphiques (telles que la classification de nœuds, la prédiction de liens, la classification graphique). Une étape opérationnelle typique dans les réseaux de neurones graphiques est la transmission de messages. Pendant le processus de propagation du message, le réseau neuronal graphique met à jour la représentation du nœud actuel en agrégeant les informations de tous les nœuds voisins. Sur la base d'une combinaison avec d'autres opérations (telles qu'une excitation non linéaire), le réseau neuronal graphique peut calculer la représentation des données correspondante après plusieurs itérations de mise à jour de la représentation.
Fiabilité : la fiabilité est utilisée pour décrire un système digne de confiance. Elle décrit la relation de confiance entre l'initiateur de la confiance (le fiduciaire) et le destinataire de la confiance (le fiduciaire). Dans le contexte des réseaux neuronaux graphes de confiance, le récepteur de confiance (le fiduciaire) est le système de réseau neuronal graphique, et l'initiateur de confiance (le fiduciaire) peut être des utilisateurs, des développeurs, des autorités de régulation ou même l'ensemble de la société.
Les GNN dignes de confiance sont définis comme des réseaux de neurones graphiques qui prennent en compte à la fois la fiabilité et les excellentes performances. Ces dimensions dignes de confiance incluent, sans s'y limiter, la robustesse, l'explicabilité, la confidentialité, l'équité et la responsabilité des réseaux de neurones graphiques et le bien-être. La définition originale est la suivante : « Dans cette enquête, nous définissons les GNN dignes de confiance comme des GNN compétents qui intègrent des aspects fondamentaux de la fiabilité, notamment la robustesse, l'explicabilité, la confidentialité, l'équité, la responsabilité, le bien-être et d'autres caractéristiques axées sur la confiance dans le contexte. des GNN »
Dans le premier chapitre, cette revue présente principalement le contexte de la recherche, la définition d'un réseau neuronal graphique digne de confiance, la définition des différentes dimensions de fiabilité, les différences de mesure et de recherche, la relation avec les revues existantes et ses principales contributions. Dans le chapitre 2, il présente les concepts de base et les tâches de calcul des réseaux de neurones graphiques. Dans les chapitres 3 à 8, cela part respectivement de la robustesse, de l'explicabilité, de la confidentialité, de l'équité, de la responsabilité et du bien-être environnemental. Six aspects présentent et résument les méthodes techniques typiques et discutent des orientations de recherche futures. Au chapitre 9, cette revue résume la relation complexe entre les six dimensions de crédibilité ci-dessus, tant au niveau de la méthode qu'au niveau de l'efficacité. Enfin, le chapitre 10 de la revue considère le réseau neuronal graphique fiable dans son ensemble et propose cinq orientations pour la recherche et l'industrialisation futures afin de construire de manière globale un système de réseau neuronal graphique fiable.
La robustesse fait référence à la capacité d'un réseau neuronal graphique à maintenir des résultats de prédiction stables face à des interférences. Les résultats de prédiction des réseaux de neurones graphes peuvent être affectés par diverses perturbations (en particulier diverses attaques sur les réseaux de neurones graphes). Cela pose de sérieux défis à l'application des réseaux de neurones graphiques dans des scénarios impliquant la sécurité des personnes et des biens, tels que la détection des fraudes dans les systèmes financiers bancaires et la prévision et la planification du trafic pour les systèmes de conduite autonome. Par conséquent, la recherche sur la robustesse est un maillon clé indispensable dans les réseaux neuronaux de graphes fiables.
Cette revue résume les travaux actuels sur la robustesse des réseaux de neurones graphes et présente la classification des attaques et des défenses contradictoires ainsi que quelques méthodes typiques. Parmi elles, la classification des attaques adverses est dérivée de l'analyse du modèle de menace d'attaque (modèle de menace), comme le montre la figure ci-dessous ; la classification des défenses est davantage basée sur la phase d'exécution spécifique de la technologie (phase cible).
En présentant les différentes catégories de méthodes, les auteurs discutent des différences entre les caractéristiques de ces méthodes et celles utilisées dans d'autres techniques artificielles courantes telles que les CNN. Par exemple, différentes classifications et variations de noms pour des types spécifiques d'opérations de perturbation et d'objectifs d'attaque.
De plus, l'auteur discute et résume également l'applicabilité de ces méthodes d'attaque et de défense. Par exemple, l’auteur a comparé et analysé différents types de méthodes de défense sous trois angles : étape d’application, modularité et compatibilité de déploiement.
Enfin, cette revue propose deux futures orientations de recherche basées sur le statu quo actuel, à savoir le développement d'évaluations de robustesse standardisées et l'amélioration de l'évolutivité des méthodes de défense existantes.
L'explicabilité fait référence à la capacité de rendre les résultats de prédiction des réseaux de neurones graphiques compréhensibles par les humains. Si ses prédictions ne peuvent pas être comprises par les gens, alors les gens ne feront pas confiance aux réseaux neuronaux graphiques. Le manque de confiance limitera encore davantage son application dans des scénarios impliquant l’équité (comme la prévision du risque de crédit), la sécurité de l’information (comme la conception de puces) et la sécurité des personnes (comme la conduite autonome). Par conséquent, un système de réseau neuronal graphique fiable doit fournir des explications sur ses prédictions.
Après avoir introduit des concepts de base tels que les formes d'explication et les catégories de méthodes d'explication, cette revue divise les travaux liés à l'interprétabilité des réseaux de neurones graphiques en deux catégories : l'auto-explication (GNN interprétables) et les explicateurs post-hoc. Les GNN explicites (Interpretable GNN) comprennent principalement l'estimation des contributions, l'introduction d'un module interprétable, l'intégration de méthodes d'apprentissage de prototypes et de génération de justifications. Les explicateurs post-hoc incluent principalement les méthodes basées sur les gradients/caractéristiques, les méthodes basées sur les perturbations, les méthodes de substitution et les méthodes de décomposition), les méthodes de génération et d'autres méthodes.
Après avoir présenté les principes des méthodes typiques, cette revue fait une comparaison complète de ces méthodes, comme le montre le tableau suivant :
De plus, cette revue couvre l'auto-explication et la post-explication (interprétabilité et explicabilité), les connaissances de base requises pour fournir des explications (connaissance de la boîte blanche/grise/noire), les principes de raisonnement pour obtenir des explications (justification du raisonnement) et d'autres limitations. (Ces quatre aspects résument les travaux en cours. Enfin, cette revue propose que l'établissement de méthodes strictement indépendantes du modèle et de critères d'évaluation pour des applications réelles sont deux directions pour les recherches futures sur l'interprétabilité des réseaux neuronaux graphiques.
La confidentialité est également une dimension de confiance qui ne peut être ignorée lors de la construction d'un réseau neuronal graphique digne de confiance. Dans le processus de création et de maintenance d'un système de réseau neuronal graphique fiable, des informations sensibles et privées telles que le modèle lui-même ou les données graphiques risquent d'être divulguées. Par conséquent, cette revue résume d’abord les recherches actuelles liées aux fuites de données confidentielles, puis présente diverses méthodes de protection de la confidentialité.
En réponse au problème des fuites de confidentialité, cette revue part du modèle de menace actuel des attaques contre la confidentialité. Elle présente d'abord les objectifs et les capacités des menaces potentielles, puis présente l'attaque par extraction de modèle, l'attaque par inférence d'appartenance et l'inversion du modèle (modèle). attaque d'inversion), ces trois attaques courantes contre la vie privée et les risques potentiels de fuite de confidentialité dans d'autres scénarios.
Ensuite, cette revue présente quatre technologies de protection de la vie privée : l'apprentissage fédéré, la confidentialité différentielle, la formation insensible et le calcul de sécurité dans le scénario de réseau neuronal graphique. En outre, après avoir classé et présenté les technologies ci-dessus, l'auteur a également discuté de leurs scénarios d'application spécifiques et des compromis entre la protection de la vie privée, la précision du modèle et l'efficacité de la mise en œuvre apportés par la fin de la protection de la vie privée.
À la fin du chapitre, compte tenu de l'état actuel de la recherche, l'auteur estime que les recherches actuelles sur les dangers cachés de la fuite d'informations dégradées et de la défense contre les attaques contre la vie privée sont encore insuffisantes. sont nécessaires à l'avenir.
En protégeant les intérêts clés des groupes ou des individus vulnérables, un système équitable peut gagner la confiance des gens. Un système de réseau neuronal à graphe équitable signifie que ses résultats de prédiction excluent les biais contre certains groupes ou individus. Actuellement, les réseaux de neurones graphiques effectuent principalement des tâches de calcul graphique en fonction des données. Cependant, le mécanisme de propagation des messages dans les réseaux de neurones graphiques peut encore amplifier les biais déjà présents dans les données. Depuis lors, en raison de facteurs tels que les préférences personnelles ou les préjugés comportementaux, les individus approfondiront encore davantage les biais dans les données graphiques lors de leur interaction avec les services de réseaux neuronaux graphiques.
Après avoir introduit des concepts de base tels que la définition de l'équité (équité de groupe, équité individuelle, équité contrefactuelle), les étapes d'utilisation (pré-traitement, en-traitement, post-traitement), cette revue utilise les actuelles pour les graphiques Méthodes pour les recherches sur l'équité dans les réseaux de neurones sont divisées en méthodes d'apprentissage de représentation équitable et méthodes d'amélioration de prédiction équitable. Après avoir présenté les principes de base de ces méthodes, une comparaison complète de ces méthodes est effectuée, comme indiqué dans le tableau ci-dessous.
Enfin, cette revue propose d'explorer la définition et l'évaluation de l'équité (définition et évaluation de l'équité), l'impact sur l'exécution des tâches (influence sur l'exécution des tâches) et d'expliquer la source de l'injustice (révéler l'injustice) comme futur graphique réseaux de neurones Orientations de recherche sur lesquelles il faut se concentrer dans la recherche sur les actions.
Avec l'émergence de scénarios d'application de plus en plus étendus et de structures de systèmes complexes, les particuliers, les entreprises et les agences gouvernementales ont mis en avant davantage d'exigences pour une responsabilité efficace dans les réseaux de neurones graphiques dignes de confiance. Ces dernières années, des entreprises et des agences gouvernementales en Chine, aux États-Unis et en Europe ont présenté leurs propres plans et orientations sur la manière de construire un cadre de responsabilité pour l'intelligence artificielle. Sur la base du contenu ci-dessus, cette revue résume trois exigences pour le cadre de responsabilité du réseau neuronal graphique :
(1) Des processus raisonnables d'évaluation et de certification doivent être conçus et accompagnés par l'ensemble du cycle de développement et d'exploitation du réseau neuronal graphique ;
(2) L'assurance de l'auditabilité du processus de développement et d'exploitation doit être assurée.
(3) Des mécanismes de coordination et de retour d'information suffisants doivent être établis pour faciliter l'intervention humaine (ajustement), la correction (remédiation), etc. dans les mesures du système ; et peut punir un comportement inapproprié.
Ensuite, cette revue présente deux grandes catégories de travaux actuellement disponibles pour créer des cadres de responsabilité dans des systèmes de réseaux neuronaux graphes dignes de confiance : l'analyse comparative et l'évaluation de la sécurité.
Cette revue présente la recherche sur l'analyse comparative en fonction des différentes étapes de développement des réseaux de neurones graphiques : conception de modèle (conception d'architecture), formation de modèle (formation de modèle) et validation de modèle (validation de modèle). Pour l'évaluation de la sécurité, l'auteur présente principalement des recherches connexes sur la vérification de l'intégrité du système (vérification de l'intégrité) et introduit la vérification de l'intégrité des données (intégrité des données) et de l'intégrité du programme (intégrité de la procédure) en fonction de différents objets de vérification.
Enfin, cette revue propose trois directions de recherche pour la responsabilisation des réseaux de neurones graphes dignes de confiance. Premièrement, assurer la détection des violations pour davantage de violations de différentes natures ; deuxièmement, tester l'intégrité du programme couvrant l'ensemble du processus et tester l'intégrité des données de tous les composants ; troisièmement, continuer à améliorer l'auditabilité et l'auditabilité du système.
Les réseaux de neurones à graphes de confiance doivent être conformes aux valeurs sociales de l'environnement dans lequel ils sont déployés. À l’heure actuelle, le réchauffement climatique constitue un problème environnemental majeur que la société humaine doit résoudre de toute urgence. Atteindre l’objectif ambitieux de neutralité carbone nécessite les efforts conjoints de tous les horizons. Afin de réduire l'impact environnemental des systèmes de réseaux de neurones graphiques, après avoir introduit des métriques connexes telles que le nombre de nœuds par joule, cette revue résume diverses méthodes pour améliorer l'efficacité des réseaux de neurones graphiques.
(1) Réseau neuronal graphique évolutif et communication de données efficace : avec la croissance explosive des données graphiques, les ensembles de données à grande échelle posent des défis au fonctionnement efficace des réseaux neuronaux graphiques. Afin de relever ce défi, les technologies actuelles incluent principalement des méthodes d'échantillonnage, des architectures évolutives, des applications industrielles, une communication de données efficace, etc.
(2) Technologie de compression de modèles : Avec le développement de la technologie, les chercheurs ont proposé des modèles de réseaux neuronaux graphiques plus profonds et plus complexes pour améliorer leurs performances. Cependant, l’ampleur de ces modèles limite leur déploiement sur des appareils informatiques de pointe dotés de ressources informatiques limitées. La technologie de compression de modèles constitue donc un moyen efficace de résoudre ce problème. Les technologies associées incluent la distillation des connaissances, l'élagage du modèle, la réduction de la taille des paramètres, la quantification du modèle, etc.
(3) Cadre de développement et accélérateur : L'irrégularité des données graphiques, l'alternance de calculs clairsemés et denses dans le modèle et la diversité des modèles et des applications nécessitent l'utilisation de cadres et d'accélérateurs spécialement conçus pour améliorer les systèmes de réseaux neuronaux graphiques. son efficacité. Afin de résoudre ce problème, les méthodes actuelles incluent principalement des frameworks logiciels (frameworks SW), des accélérateurs matériels (accélérateurs HW), l'analyse des goulots d'étranglement d'efficacité (analyse des goulots d'étranglement d'efficacité), la co-conception logicielle et matérielle (co-conception SW-HW), etc.
Enfin, cette revue propose que l'exploration de GNN efficaces et l'étude d'accélérateurs pour les GNN sont deux futures orientations de recherche qui favoriseront le bien-être de l'environnement des réseaux neuronaux graphes.
Les recherches actuelles sur la promotion de la fiabilité des réseaux de neurones graphes se concentrent principalement sur l'une des six dimensions ci-dessus. Cette revue propose que la construction d'un réseau neuronal graphique digne de confiance ne peut pas ignorer ce qui précède. relation entre les six dimensions de crédibilité, et ceci est résumé sous les deux perspectives suivantes :
1) Comment les méthodes d'une dimension du réseau neuronal du graphe de crédibilité peuvent-elles être utilisées pour résoudre des problèmes de recherche dans d'autres dimensions (comment les méthodes d'un aspect de les GNN dignes de confiance sont adaptés pour répondre à des objectifs sous d’autres aspects).
2) Pourquoi faire progresser un aspect de GNN dignes de confiance peut promouvoir ou inhiber d'autres aspects (pourquoi faire progresser un aspect de GNN dignes de confiance peut promouvoir ou inhiber d'autres aspects).
Visant les points chauds potentiels de la recherche, cette revue traite les réseaux de neurones graphes dignes de confiance dans leur ensemble et analyse les limites des méthodes actuelles. Afin de combler les lacunes actuelles de la recherche et de promouvoir l'industrialisation de réseaux de neurones graphiques dignes de confiance, cette revue propose les cinq directions de recherche suivantes :
B. Explorer d'autres aspects des GNN dignes de confiance
C. Étudier les relations diversifiées
D. Concevoir des méthodes indépendantes du modèle
E. Établir un écosystème technologique pour des GNN fiables
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Quelles compétences sont nécessaires pour travailler dans l'industrie PHP ?
Introduction au framework utilisé par vscode
Quelle est la raison de l'échec de la résolution DNS ?
Introduction à la signification d'un mot de passe invalide
méthode js pour intercepter la chaîne
Quel dossier contient les données d'application qui peuvent être supprimées ?
Les pièces d'inscription Sols reviendront-elles à zéro ?
La fonction du relais intermédiaire
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
