Wie baut man ein vertrauenswürdiges GNN auf? Die neueste Rezension ist da! Vertrauenswürdige graphische neuronale Netze: Dimensionen, Methoden, Trends

Vorwort

In den letzten Jahren hat die von neuronalen Netzen gesteuerte Technologie der künstlichen Intelligenz das menschliche Leben tiefgreifend verändert und den Prozess der sozialen Entwicklung durch die tiefgreifende Analyse verschiedener Arten von Daten erheblich gefördert. . Als eine der aktivsten Forschungsrichtungen auf dem Gebiet der künstlichen Intelligenz werden graphische neuronale Netze (GNNs) aufgrund ihrer hervorragenden Leistung häufig im täglichen Leben eingesetzt, beispielsweise für personalisierte Empfehlungen. Sie werden auch in hochmodernen wissenschaftlichen Bereichen wie verwendet Forschung und Entwicklung neuer Corona-Medikamente. Mit der rasanten Entwicklung der graphischen neuronalen Netzwerktechnologie haben die Menschen herausgefunden, dass graphische neuronale Netzwerksysteme, deren einziges Entwurfsziel die Aufgabenleistung ist, immer noch Probleme wie die Anfälligkeit für böswillige Angriffe aufweisen. Daher sind die Menschen immer bestrebter, zuverlässige graphische neuronale Netze aufzubauen.

In den letzten Jahren ist der Aufbau eines vertrauenswürdigen künstlichen Intelligenzsystems in Ländern auf der ganzen Welt zu einem allgemeinen Konsens geworden [2][3]. Der umfassende Aufbau eines vertrauenswürdigen graphischen neuronalen Netzwerks ist zu einem wichtigen Problem geworden, das dringend gelöst werden muss. Dieser Artikel ist die neueste Rezension vertrauenswürdiger graphischer neuronaler Netze vom Monash-Team (Shirui Pan, Xingliang Yuan, Bang Wu, He Zhang) zusammen mit Hanghang Tong (UIUC) und Jian Pei (SFU, kurz vor dem Beitritt zu Duke) (36 Doppel- Kolumnenseiten, 299 Dokumente).

Ausgehend vom Forschungshintergrund und den Merkmalen schlägt diese Übersicht einen offenen Rahmen für vertrauenswürdige graphische neuronale Netze vor, der sich auf die sechs Dimensionen des „vertrauenswürdigen GNN“ (Robustheit, Interpretierbarkeit, Privatsphäre, Fairness, Verantwortlichkeit, Umwelt) konzentriert Wohlbefinden) und sein technischer Ansatz. Gleichzeitig untersucht dieser Aufsatz die interaktiven Beziehungen zwischen verschiedenen Vertrauenswürdigkeitsdimensionen, schlägt zukünftige Forschungsrichtungen für vertrauenswürdige graphische neuronale Netze vor und erstellt eine detaillierte und umfassende technische Roadmap für die Einrichtung vertrauenswürdiger graphischer neuronaler Netze.

​Name der Rezension: Trustworthy Graph Neural Networks: Aspects, Methods and Trends

Link zum vollständigen Text: https://arxiv.org/pdf/2205.07424.pdf

Github: https://github.com/ Radical3 -HeZhang/Awesome-Trustworthy-GNNs

1 Einführung

Als Datentyp mit extrem starken Darstellungsmöglichkeiten werden Diagramme häufig zur Beschreibung von Biologie, Chemie und Daten aus so unterschiedlichen Bereichen wie Physik, Linguistik und Sozialwissenschaften verwendet. In den letzten Jahren hat die rasante Entwicklung der Graph-Neuronalen-Netzwerk-Technologie die Leistung verschiedener Graph-Computing-Aufgaben revolutioniert und ihre weit verbreitete Anwendung im wirklichen Leben gefördert.

Im täglichen Leben können graphische neuronale Netze Benutzern personalisierte Such- und Empfehlungsdienste in Verbraucheranwendungen wie Informations-Streaming-Medien, Online-Shopping und sozialer Software bereitstellen, indem sie die interaktive Beziehung zwischen Benutzern und Benutzer-/Dienstinhalten berücksichtigen. An der Spitze der Wissenschaft können Forscher durch die Verwendung von Diagrammdaten zur Darstellung komplexer Systeme grafische neuronale Netze nutzen, um die verborgenen Muster hinter der Bewegung von Himmelskörpern zu entdecken. Durch ihre Anwendung bei der Erkennung gefälschter Nachrichten und der Entwicklung von Medikamenten gegen COVID-19 haben graphische neuronale Netze das Wohlergehen unserer Gesellschaft erheblich verbessert.

Obwohl Forscher Methoden entwickelt haben, um die Leistung graphischer neuronaler Netze aus vielen Blickwinkeln weiter zu verbessern (z. B. selbstüberwachtes Lernen, Verbesserung der Modelltiefe usw.), ist die Aufgabenleistung in einigen Schlüsselbereichen nicht das einzige Ziel beim Entwurf graphischer neuronaler Netze Netzwerke. Beispielsweise müssen Systeme zur Erkennung von Anomalien, die auf graphischen neuronalen Netzen basieren, robust gegenüber böswilligen Angriffen sein, Kreditbewertungssysteme, die auf graphischen neuronalen Netzen basieren, sollten Kreditanträge nicht aufgrund von Faktoren wie Alter und Geschlecht der Benutzer ablehnen, und Anwendungen zur Arzneimittelforschung basieren auf Graphen Neuronale Netze Forscher sollten eine umfassende Erläuterung ihrer Ergebnisse erhalten.

Aufgrund der oben genannten Bedürfnisse sind die Menschen zunehmend bestrebt, glaubwürdige Systeme auf der Basis graphischer neuronaler Netzwerke zu schaffen. Vor diesem Hintergrund zielt dieser Bericht darauf ab, die neuesten Fortschritte bei „vertrauenswürdigen GNNs“ zusammenzufassen, eine technische Roadmap für relevante Forscher und Praktiker bereitzustellen und eine Grundlage für die zukünftige Forschung und Entwicklung vertrauenswürdiger GNNs zu bieten.

Die Hauptbeiträge dieser Rezension sind: 1) Beschreibung vertrauenswürdiger graphischer neuronaler Netze mit einem offenen Rahmen, der viele vertrauenswürdige Dimensionen umfasst, und Vorschlag der Verwendung graphischer neuronaler Netze und anderer gängiger Technologien der künstlichen Intelligenz (wie CNN) in der vertrauenswürdigen Forschung Typisch Wichtige Unterschiede und fasst die bestehende Forschungsarbeit sowohl hinsichtlich der Methode als auch der Wirksamkeit zusammen. 4) Indem das Konzept eines vertrauenswürdigen graphischen neuronalen Netzwerks als Ganzes betrachtet wird, werden mögliche zukünftige Forschungsrichtungen vorgeschlagen.

2 Graphisches neuronales Netzwerk und Vertrauenswürdigkeit

Um den Lesern das Verständnis zu erleichtern, werden in diesem Artikel zunächst die folgenden Kernkonzepte vorgestellt.

Grafikdaten: Ein Graph besteht im Allgemeinen aus einer Knotenmenge und einer Kantenmenge . Die Anzahl der Knoten in diesem Diagramm beträgt und die Anzahl der Kanten zwischen den Knoten beträgt . Bei einem gegebenen Diagramm kann die entsprechende Topologie durch eine Adjazenzmatrix dargestellt werden, wobei die Verbindungsbeziehung zwischen Knoten und Knoten darstellt. Das heißt, wenn die Knoten und miteinander verbunden sind, dann , andernfalls . Wenn die Knoten im Diagramm Attribute haben, kann eine Merkmalsmatrix zur Beschreibung dieser Attributinformationen verwendet werden. Daher kann der Graph auch als dargestellt werden.

Graph-Neuronale Netze (GNNs): Graph-Neuronale Netze sind ein allgemeiner Begriff für eine Reihe neuronaler Netze, die für Berechnungsaufgaben an Diagrammdaten (z. B. Knotenklassifizierung, Linkvorhersage, Diagrammklassifizierung) verwendet werden können. Ein typischer Operationsschritt in graphischen neuronalen Netzen ist die Nachrichtenübermittlung. Während des Nachrichtenverbreitungsprozesses aktualisiert das graphische neuronale Netzwerk die Darstellung des aktuellen Knotens, indem es die Informationen aller Nachbarknoten aggregiert. Auf der Grundlage der Kombination mit anderen Operationen (z. B. nichtlinearer Anregung) kann das graphische neuronale Netzwerk die entsprechende Datendarstellung nach mehreren Aktualisierungsiterationen der Darstellung berechnen.

Vertrauenswürdigkeit: Mit Vertrauenswürdigkeit wird ein System beschrieben, das es wert ist, vertrauenswürdig zu sein. Es beschreibt die Vertrauensbeziehung zwischen dem Vertrauensinitiator (dem Vertrauensgeber) und dem Vertrauensempfänger (dem Treuhänder). Im Kontext vertrauenswürdiger graphischer neuronaler Netze ist der Vertrauensempfänger (der Treuhänder) das graphische neuronale Netzwerksystem, und der Vertrauensinitiator (der Vertrauensgeber) kann Benutzer, Entwickler, Regulierungsbehörden oder sogar die gesamte Gesellschaft sein.

Vertrauenswürdige GNNs werden als graphische neuronale Netze definiert, die sowohl Vertrauenswürdigkeit als auch hervorragende Leistung berücksichtigen, unter anderem die Robustheit, Erklärbarkeit, Privatsphäre, Fairness und Verantwortung von graphischen neuronalen Netzen. Die ursprüngliche Definition lautet wie folgt: „In dieser Umfrage definieren wir vertrauenswürdige GNNs als kompetente GNNs, die Kernaspekte der Vertrauenswürdigkeit beinhalten, einschließlich Robustheit, Erklärbarkeit, Privatsphäre, Fairness, Verantwortlichkeit, Wohlbefinden und andere vertrauensorientierte Merkmale im Kontext.“ von GNNs.“

3 Bewertungsrahmen

Im ersten Kapitel stellt diese Bewertung hauptsächlich den Forschungshintergrund, die Definition eines vertrauenswürdigen graphischen neuronalen Netzwerks, die Definition verschiedener Vertrauenswürdigkeitsdimensionen, Mess- und Forschungsunterschiede, die Beziehung zu bestehenden Bewertungen und ihre Hauptbeiträge vor. In Kapitel 2 werden die Grundkonzepte und Rechenaufgaben graphischer neuronaler Netze vorgestellt. In den Kapiteln 3 bis 8 geht es zunächst um Robustheit, Erklärbarkeit, Privatsphäre, Fairness, Verantwortlichkeit und Umweltwohl. Sechs Aspekte stellen typische technische Methoden vor und fassen sie zusammen und diskutieren zukünftige Forschungsrichtungen. In Kapitel 9 fasst diese Übersicht die komplexe Beziehung zwischen den oben genannten sechs Glaubwürdigkeitsdimensionen sowohl auf der Ebene der Methode als auch der Wirksamkeit zusammen. Schließlich betrachtet Kapitel 10 der Übersicht das vertrauenswürdige graphische neuronale Netzwerk als Ganzes und schlägt fünf Richtungen für zukünftige Forschung und Industrialisierung vor, um ein vertrauenswürdiges graphisches neuronales Netzwerksystem umfassend aufzubauen.

4 Robustheit

Robustheit bezieht sich auf die Fähigkeit eines graphischen neuronalen Netzwerks, bei Störungen stabile Vorhersageergebnisse aufrechtzuerhalten. Die Vorhersageergebnisse graphischer neuronaler Netze können durch eine Vielzahl von Störungen (insbesondere verschiedene Angriffe auf graphische neuronale Netze) beeinflusst werden. Dies bringt große Herausforderungen für die Anwendung graphischer neuronaler Netze in Szenarien mit sich, die die Sicherheit von Personen und Eigentum betreffen, wie z. B. die Betrugserkennung in Finanzsystemen von Banken sowie die Verkehrsvorhersage und -planung für autonome Fahrsysteme. Daher ist die Erforschung der Robustheit ein unverzichtbares Schlüsselelement für vertrauenswürdige graphische neuronale Netze.

Diese Rezension fasst die aktuelle verwandte Arbeit zur Robustheitsforschung graphischer neuronaler Netze zusammen und stellt die Klassifizierung gegnerischer Angriffe und Abwehrmaßnahmen sowie einige typische Methoden vor. Unter diesen wird die Klassifizierung gegnerischer Angriffe aus der Analyse des Angriffsbedrohungsmodells (Bedrohungsmodell) abgeleitet, wie in der folgenden Abbildung dargestellt, und die Klassifizierung der Abwehrmaßnahmen basiert eher auf der spezifischen Ausführungsphase der Technologie (Zielphase).

Bei der Einführung in die verschiedenen Kategorien von Methoden diskutieren die Autoren, wie sich die Eigenschaften dieser Methoden von denen unterscheiden, die in anderen gängigen künstlichen Techniken wie CNNs verwendet werden. Beispielsweise unterschiedliche Klassifizierungen und Namensvarianten für bestimmte Arten von Störungsoperationen und Angriffszielen.

Darüber hinaus diskutiert und fasst der Autor auch die Anwendbarkeit dieser Angriffs- und Verteidigungsmethoden zusammen. Beispielsweise verglich und analysierte der Autor verschiedene Arten von Verteidigungsmethoden aus drei Perspektiven: Anwendungsstadium, Modularität und Bereitstellungskompatibilität.

Abschließend schlägt dieser Review zwei zukünftige Forschungsrichtungen vor, die auf dem aktuellen Status quo basieren, nämlich die Entwicklung standardisierter Robustheitsbewertungen und die Verbesserung der Skalierbarkeit bestehender Verteidigungsmethoden.

5 Erklärbarkeit

Erklärbarkeit bezeichnet die Fähigkeit, die Vorhersageergebnisse graphischer neuronaler Netze für den Menschen verständlich zu machen. Wenn seine Vorhersagen nicht verstanden werden können, werden die Menschen graphischen neuronalen Netzen nicht vertrauen. Der Mangel an Vertrauen wird seine Anwendung in Szenarien weiter einschränken, in denen es um Fairness (z. B. Kreditrisikovorhersage), Informationssicherheit (z. B. Chip-Design) und Lebenssicherheit (z. B. autonomes Fahren) geht. Daher muss ein vertrauenswürdiges graphisches neuronales Netzwerksystem Erklärungen für seine Vorhersagen liefern.

Nach der Einführung grundlegender Konzepte wie Erklärungsformen und Kategorien von Erklärungsmethoden unterteilt dieser Aufsatz die Arbeit im Zusammenhang mit der Interpretierbarkeit graphischer neuronaler Netze in zwei Kategorien: Selbsterklärung (interpretierbare GNNs) und Post-hoc-Erklärer. Selbsterklärend (interpretierbare GNNs) umfassen hauptsächlich die Beitragsschätzung, die Einführung interpretierbarer Module, die Einbettung von Prototypenlernen und Methoden zur Begründungsgenerierung. Post-hoc-Erklärer umfassen hauptsächlich Gradienten-/merkmalsbasierte Methoden, störungsbasierte Methoden, Ersatzmethoden und Zerlegungsmethoden), Generierungsmethoden und andere Methoden.

Nach der Einführung der Prinzipien typischer Methoden erfolgt in dieser Übersicht ein umfassender Vergleich dieser Methoden, wie in der folgenden Tabelle dargestellt:

Darüber hinaus werden in dieser Rezension Selbsterklärungen und Nacherklärungen (Interpretierbarkeit und Erklärbarkeit), das für die Bereitstellung von Erklärungen erforderliche Hintergrundwissen (White-/Grey-/Black-Box-Wissen), Argumentationsprinzipien für die Erlangung von Erklärungen (Begründungsbegründung) und andere Einschränkungen behandelt ( Diese vier Aspekte fassen die aktuelle Arbeit zusammen. Schließlich schlägt dieser Aufsatz vor, dass die Festlegung streng modellunabhängiger Methoden und Bewertungsmaßstäbe für reale Anwendungen zwei Richtungen für zukünftige Forschungen zur Interpretierbarkeit graphischer neuronaler Netze sind.

6 Datenschutz

Privatsphäre ist auch eine vertrauenswürdige Dimension, die beim Aufbau eines vertrauenswürdigen graphischen neuronalen Netzwerks nicht ignoriert werden darf. Beim Aufbau und der Wartung eines vertrauenswürdigen grafischen neuronalen Netzwerksystems besteht die Gefahr, dass vertrauliche und private Informationen wie das Modell selbst oder Diagrammdaten preisgegeben werden. Daher fasst diese Übersicht zunächst die aktuellen Forschungsergebnisse zum Datenschutzleck zusammen und stellt anschließend verschiedene Methoden zum Schutz der Privatsphäre vor.

Als Reaktion auf das Problem des Datenschutzverlusts geht diese Überprüfung vom aktuellen Bedrohungsmodell für Datenschutzangriffe aus. Zunächst werden die Ziele und Fähigkeiten potenzieller Bedrohungen vorgestellt und dann der Modellextraktionsangriff, der Mitgliedschaftsinferenzangriff und das Modellumkehrmodell vorgestellt Inversionsangriff) Diese drei häufigen Datenschutzangriffe und potenzielle Datenschutzleckrisiken in anderen Szenarien.

Dann werden in der Überprüfung vier Technologien zum Schutz der Privatsphäre vorgestellt: föderiertes Lernen, differenzielle Privatsphäre, unempfindliches Training und Sicherheitsberechnung im Szenario eines graphischen neuronalen Netzwerks. Darüber hinaus erörterte der Autor nach der Klassifizierung und Einführung der oben genannten Technologien auch deren spezifische Anwendungsszenarien und die Kompromisse zwischen Datenschutz, Modellgenauigkeit und Implementierungseffizienz, die das Ende des Datenschutzes mit sich bringt.

Am Ende des Kapitels ist der Autor angesichts des aktuellen Forschungsstands der Ansicht, dass die aktuelle Forschung zu den versteckten Gefahren des Verlusts von Gradienteninformationen und zur Abwehr von Datenschutzangriffen noch unzureichend ist werden in Zukunft benötigt.

7 Fairness

Durch den Schutz der Kerninteressen gefährdeter Gruppen oder Einzelpersonen kann ein faires System das Vertrauen der Menschen gewinnen. Ein faires graphisches neuronales Netzwerksystem bedeutet, dass seine Vorhersageergebnisse eine Verzerrung gegenüber bestimmten Gruppen oder Einzelpersonen ausschließen. Derzeit erledigen graphische neuronale Netze Graph-Computing-Aufgaben hauptsächlich auf datengesteuerte Weise. Der Nachrichtenausbreitungsmechanismus in graphischen neuronalen Netzen kann jedoch bereits in den Daten vorhandene Verzerrungen noch verstärken. Seitdem werden Menschen aufgrund von Faktoren wie persönlichen Vorlieben oder Verhaltensverzerrungen die Verzerrung in Diagrammdaten während ihrer Interaktion mit grafischen neuronalen Netzwerkdiensten weiter vertiefen.

Nach der Einführung grundlegender Konzepte wie Fairnessdefinition (Gruppenfairness, individuelle Fairness, kontrafaktische Fairness) und Nutzungsstufen (Vorverarbeitung, Inverarbeitung, Nachverarbeitung) werden in dieser Überprüfung die aktuellen Methoden für Diagramme verwendet Die Forschung zur Fairness in neuronalen Netzen ist in Methoden zum Lernen fairer Repräsentation und Methoden zur Verbesserung fairer Vorhersagen unterteilt. Nach der Einführung in die Grundprinzipien dieser Methoden erfolgt ein umfassender Vergleich dieser Methoden, wie in der folgenden Tabelle dargestellt.

Abschließend wird in dieser Rezension vorgeschlagen, die Definition und Bewertung von Fairness (Fairness-Definition und -Bewertung), die Auswirkungen auf die Aufgabenleistung (Einfluss auf die Aufgabenleistung) zu untersuchen und die Quelle der Ungerechtigkeit (Aufdecken von Ungerechtigkeit) als zukünftige Grafik zu erläutern Neuronale Netze Forschungsrichtungen, auf die man sich bei der Aktienforschung konzentrieren muss.

8 Rechenschaftspflicht

Mit dem Aufkommen immer umfangreicherer Anwendungsszenarien und komplexer Systemstrukturen stellen Einzelpersonen, Unternehmen und Regierungsbehörden immer höhere Anforderungen an die effektive Rechenschaftspflicht in vertrauenswürdigen graphischen neuronalen Netzen. In den letzten Jahren haben Unternehmen und Regierungsbehörden in China, den Vereinigten Staaten und Europa ihre eigenen Pläne und Leitlinien zum Aufbau eines Rechenschaftsrahmens für künstliche Intelligenz vorgelegt. Basierend auf dem oben genannten Inhalt fasst diese Überprüfung drei Anforderungen für das Verantwortungsrahmen für graphische neuronale Netze zusammen:

(1) Angemessene Bewertungs- und Zertifizierungsprozesse sollten vom gesamten Entwicklungs- und Betriebszyklus des graphischen neuronalen Netzes begleitet werden

(2) Die Sicherstellung der Überprüfbarkeit des Entwicklungs- und Betriebsprozesses sollte gewährleistet sein;

(3) Es sollten ausreichende Koordinations- und Feedbackmechanismen eingerichtet werden, um menschliches Eingreifen (Anpassen), Abhilfemaßnahmen (Remediating) usw. in die Systemmaßnahmen zu erleichtern und kann unangemessenes Verhalten bestrafen.

Dann werden in dieser Rezension zwei Hauptkategorien von Arbeiten vorgestellt, die derzeit für den Aufbau von Verantwortungsrahmen in vertrauenswürdigen graphischen neuronalen Netzwerksystemen verfügbar sind: Benchmarking und Sicherheitsbewertung.

Diese Rezension stellt die Forschung zur Benchmarking-Analyse entsprechend den verschiedenen Entwicklungsstadien graphischer neuronaler Netze vor – Modelldesign (Architekturdesign), Modelltraining (Modelltraining) und Modellvalidierung (Modellvalidierung). Für die Sicherheitsbewertung führt der Autor hauptsächlich verwandte Forschungsarbeiten zur Überprüfung der Systemintegrität (Integritätsüberprüfung) ein und stellt die Überprüfung der Datenintegrität (Datenintegrität) und der Programmintegrität (Prozedurintegrität) anhand verschiedener Überprüfungsobjekte vor.

Abschließend schlägt dieser Aufsatz drei Forschungsrichtungen für die Rechenschaftspflicht vertrauenswürdiger graphischer neuronaler Netze vor. Erstens: Bereitstellung einer stärkeren Erkennung von Verstößen unterschiedlicher Art; zweitens: Abdeckung des gesamten Prozesses der Programmintegritätsprüfung und Datenintegritätsprüfung; drittens: Verbesserung der Überprüfbarkeit und Prüfbarkeit des Systems.

9 Wohlbefinden der Umwelt

Vertrauenswürdige graphische neuronale Netze sollten den sozialen Werten der Umgebung entsprechen, in der sie eingesetzt werden. Derzeit ist die globale Erwärmung ein großes Umweltproblem, das die menschliche Gesellschaft dringend lösen muss, um das ehrgeizige Ziel der CO2-Neutralität zu erreichen. Um die Umweltauswirkungen graphischer neuronaler Netzsysteme zu verringern, werden in diesem Aufsatz nach der Einführung verwandter Metriken wie der Anzahl der Knoten pro Joule verschiedene Methoden zur Verbesserung der Effizienz graphischer neuronaler Netze zusammengefasst.

(1) Skalierbares graphisches neuronales Netzwerk und effiziente Datenkommunikation: Angesichts des explosionsartigen Wachstums von Diagrammdaten stellen große Datensätze eine Herausforderung für den effizienten Betrieb graphischer neuronaler Netzwerke dar. Um dieser Herausforderung gerecht zu werden, umfassen aktuelle Technologien hauptsächlich Sampling-Methoden, skalierbare Architekturen, industrielle Anwendungen, effiziente Datenkommunikation usw.

(2) Modellkomprimierungstechnologie: Mit der Entwicklung der Technologie haben Forscher tiefere und komplexere graphische neuronale Netzwerkmodelle vorgeschlagen, um ihre Leistung zu verbessern. Der Umfang dieser Modelle schränkt jedoch ihren Einsatz auf Edge-Computing-Geräten mit begrenzten Rechenressourcen ein. Daher ist die Modellkomprimierungstechnologie ein effektiver Weg, diese Herausforderung zu lösen. Verwandte Technologien umfassen Wissensdestillation, Modellbereinigung, Reduzierung der Parametergröße, Modellquantisierung usw.

(3) Entwicklungsrahmen und Beschleuniger: Die Unregelmäßigkeit der Diagrammdaten, der Wechsel von spärlichen und dichten Berechnungen im Modell, die Vielfalt der Modelle und Anwendungen usw. erfordern, dass das neuronale Diagrammnetzwerksystem speziell entwickelte Rahmen und Beschleuniger verwendet um seine Effizienz zu verbessern. Um dieses Problem zu lösen, umfassen aktuelle Methoden hauptsächlich Software-Frameworks (SW-Frameworks), Hardware-Beschleuniger (HW-Beschleuniger), Effizienz-Engpass-Analyse (Analyse des Effizienz-Engpasses), Software- und Hardware-Co-Design (SW-HW-Co-Design). usw.

Abschließend schlägt dieser Aufsatz vor, dass die Erforschung effizienter GNNs und die Untersuchung von Beschleunigern für GNNs zwei zukünftige Forschungsrichtungen sind, die das Wohlergehen der graphischen neuronalen Netzwerkumgebung fördern werden.

10 Die Beziehung zwischen verschiedenen Vertrauenswürdigkeitsaspekten

Aktuelle Forschung zur Förderung der Vertrauenswürdigkeit graphischer neuronaler Netze konzentriert sich hauptsächlich auf eine der oben genannten sechs Dimensionen. Diese Überprüfung legt nahe, dass der Aufbau eines vertrauenswürdigen graphischen neuronalen Netzes die oben genannten nicht ignorieren kann Beziehung zwischen den sechs Glaubwürdigkeitsdimensionen, und dies wird aus den folgenden zwei Perspektiven zusammengefasst:

1) Wie können Methoden aus einer Dimension im neuronalen Netzwerk des Glaubwürdigkeitsgraphen verwendet werden, um Forschungsprobleme in anderen Dimensionen zu lösen (wie die Methoden aus einem Aspekt von vertrauenswürdige GNNs sind angepasst, um Ziele in anderen Aspekten zu erreichen).

2) Warum die Weiterentwicklung eines Aspekts vertrauenswürdiger GNNs andere Aspekte fördern oder hemmen kann (warum die Weiterentwicklung eines Aspekts vertrauenswürdiger GNNs andere Aspekte fördern oder hemmen kann).

11 Zukünftige Forschungsrichtungen

Dieser Aufsatz zielt auf potenzielle Forschungsschwerpunkte ab, behandelt vertrauenswürdige graphische neuronale Netze als Ganzes und analysiert die Grenzen aktueller Methoden. Um die aktuellen Forschungslücken zu schließen und die Industrialisierung vertrauenswürdiger graphischer neuronaler Netze zu fördern, werden in dieser Übersicht die folgenden fünf Forschungsrichtungen vorgeschlagen:

A. Vertrauenswürdige Designkonzepte übernehmen (Umstellung auf vertrauenswürdige GNNs)

Vertrauenswürdige graphische neuronale Netze aufbauen, die Netzwerke erfordern Forscher und Praktiker grafischer neuronaler Netze müssen das Konzept der Vertrauenswürdigkeit vollständig berücksichtigen. Beim Entwurf grafischer neuronaler Netze müssen sie nicht nur ihre Aufgabenleistung berücksichtigen, sondern auch das Konzept der Vertrauenswürdigkeit in die Designphilosophie grafischer neuronaler Netze einführen. Einige bestehende Arbeiten haben sowohl Interpretierbarkeit als auch Fairness im Design berücksichtigt, was die Glaubwürdigkeit graphischer neuronaler Netze erheblich verbessert hat. Darüber hinaus befasst sich A mit einer Reihe offener Probleme, die bei der Umstellung auf vertrauenswürdige graphische neuronale Netze auftreten, wie z. B. der Ausgleich und Kompromisse zwischen verschiedenen Vertrauenswürdigkeitsdimensionen (z. B. Robustheit beim autonomen Fahren und Wohlbefinden der Umwelt) in bestimmten Anwendungen anspruchsvolle Forschungsrichtung.

B. Erforschung anderer Aspekte vertrauenswürdiger GNNs

Vertrauenswürdige graphische neuronale Netze enthalten tatsächlich mehr Inhalt als die sechs in dieser Rezension vorgestellten Dimensionen. Beispielsweise gilt auch die Generalisierung als wichtige Dimension vertrauenswürdiger Systeme. Einige aktuelle Forschungsarbeiten untersuchen den Zusammenhang zwischen der Extrapolation graphischer neuronaler Netze und den von ihnen verwendeten Aktivierungsfunktionen. Diese Arbeiten bereichern die Konnotation von Vertrauenswürdigkeit und fördern den Aufbau vertrauenswürdiger graphischer neuronaler Netze. Darüber hinaus wurde in der Überprüfung vorgeschlagen, dass die ordnungsgemäße Handhabung der Designprinzipien im Zusammenhang mit vertrauenswürdigen Systemen (wie etwa die „New Generation Artificial Intelligence Governance Principles – Developing Responsible Artificial Intelligence“, herausgegeben vom National New Generation Artificial Intelligence Governance Professional Committee) ebenfalls wichtig für die Vertrauenswürdigkeit ist Graphen neuronaler Netze. Wichtiger Forschungsinhalt in der zukünftigen Entwicklung.

C. Untersuchung diversifizierter Beziehungen

Diese Rezension berührt nur einen Teil der komplexen Beziehungen zwischen verschiedenen Dimensionen vertrauenswürdiger graphischer neuronaler Netze. Die Erforschung anderer Zusammenhänge wie Erklärbarkeit und Fairness ist entscheidend für das vollständige Verständnis und den Aufbau vertrauenswürdiger graphischer neuronaler Netzwerksysteme. Darüber hinaus sind diese Beziehungen nicht nur komplex, sondern bestehen auf mehreren Ebenen. Beispielsweise sind kontrafaktische Fairness und Robustheit konzeptionell ähnlich. Daher ist die Untersuchung der Wechselbeziehungen zwischen verschiedenen Dimensionen vertrauenswürdiger graphischer neuronaler Netze auf verschiedenen Ebenen wie Konzepten, Methoden und Wirksamkeit ebenfalls eine vielversprechende Forschungsrichtung.

D. Modellunabhängige Methoden entwerfen

Derzeit erfordern viele Methoden zur Verbesserung der Glaubwürdigkeit graphischer neuronaler Netze die Verwendung speziell entwickelter graphischer neuronaler Netzarchitekturen. Diese Methoden funktionieren nicht, wenn auf die Zielnetzwerkinfrastruktur nicht zugegriffen oder diese nicht geändert werden kann (z. B. durch die Verwendung eines Cloud-Dienstes). Dies verringert den Nutzen dieser Methoden zur Glaubwürdigkeitssteigerung in realen Szenarien erheblich. Im Gegensatz dazu können modellagnostische Methoden im Plug-and-Play-Verfahren flexibel auf die grafische Darstellung neuronaler Netzwerksysteme angewendet werden. Darüber hinaus können solche Methoden auch in Form von Funktionsmodulen kombiniert werden. Daher wird die Entwicklung eines modellunabhängigen Ansatzes seine Praktikabilität erheblich verbessern und den Aufbau vertrauenswürdiger graphischer neuronaler Netze erleichtern.

E. Aufbau eines Technologie-Ökosystems für vertrauenswürdige GNNs

Als boomendes Feld kann die Entwicklung vertrauenswürdiger graphischer neuronaler Netze nicht von der Unterstützung des Technologie-Ökosystems getrennt werden. Das Technologie-Ökosystem umfasst hier unter anderem Toolkits, Datensätze, Metriken und Pipelines. Aufgrund der inhärenten Eigenschaften von Diagrammdaten können einige aktuelle Toolkits (Tools) wie AI360 von IBM möglicherweise nicht direkt zur Bewertung neuronaler Diagrammnetze verwendet werden. Beispielsweise bricht die Existenz von Kanten zwischen Knoten die Annahme der unabhängigen und identisch verteilten Knoten (IID), was dazu führt, dass bei der Untersuchung der Fairness graphischer neuronaler Netze die gegenseitige Abhängigkeit zwischen Knoten berücksichtigt werden muss. Darüber hinaus erfordert der Aufbau eines vertrauenswürdigen graphischen neuronalen Netzwerks aufgrund der Vielfalt der Anwendungsszenarien auch unterstützende technische Einrichtungen wie Datensätze, Metriken, Bewertungsstandards und Softwareplattformen, die für unterschiedliche Aufgaben und Szenarien geeignet sind. Daher ist der Aufbau des entsprechenden Technologie-Ökosystems ein wichtiger Schritt bei der Erforschung und Industrialisierung vertrauenswürdiger graphischer neuronaler Netze.

Das obige ist der detaillierte Inhalt vonWie baut man ein vertrauenswürdiges GNN auf? Die neueste Rezension ist da! Vertrauenswürdige graphische neuronale Netze: Dimensionen, Methoden, Trends. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!