In den letzten Jahren haben graphische neuronale Netze (GNN) rasante und unglaubliche Fortschritte gemacht. Das graphische neuronale Netzwerk, auch bekannt als Graph Deep Learning, Graph Representation Learning (Graph Representation Learning) oder geometrisches Deep Learning, ist das am schnellsten wachsende Forschungsthema im Bereich des maschinellen Lernens, insbesondere des Deep Learning. Der Titel dieser Veröffentlichung lautet „Basics, Frontiers and Applications of GNN“ und stellt hauptsächlich den allgemeinen Inhalt des umfassenden Buches „Basics, Frontiers and Applications of Graph Neural Networks“ vor, das von den Wissenschaftlern Wu Lingfei, Cui Peng, Pei Jian und Zhao zusammengestellt wurde Liang.
1. Einführung in das graphische neuronale Netzwerk
1. Warum Graphen studieren?
Diagramme sind eine universelle Sprache zur Beschreibung und Modellierung komplexer Systeme. Der Graph selbst ist nicht kompliziert, er besteht hauptsächlich aus Kanten und Knoten. Wir können Knoten verwenden, um jedes Objekt darzustellen, das wir modellieren möchten, und wir können Kanten verwenden, um die Beziehung oder Ähnlichkeit zwischen zwei Knoten darzustellen. Was wir oft als graphisches neuronales Netzwerk oder graphisches maschinelles Lernen bezeichnen, verwendet normalerweise die Struktur des Graphen und die Informationen von Kanten und Knoten als Eingabe des Algorithmus, um die gewünschten Ergebnisse auszugeben. Wenn wir beispielsweise in einer Suchmaschine eine Suchanfrage eingeben, gibt die Maschine personalisierte Suchergebnisse zurück, die auf den Suchanfrageninformationen, Benutzerinformationen und einigen Kontextinformationen basieren. Diese Informationen können natürlich in einem Diagramm organisiert werden. 2. Diagrammstrukturierte Daten sind überall. Darüber hinaus werden Menschen im derzeit sehr beliebten Bereich der Proteinentdeckung Diagramme verwenden, um vorhandene Proteine zu beschreiben und zu modellieren und neue Diagramme zu erstellen, um Menschen bei der Entdeckung neuer Medikamente zu unterstützen. Wir können Diagramme auch verwenden, um komplexe Programmanalysen durchzuführen, und wir können auch einige hochrangige Überlegungen im Bereich Computer Vision anstellen.
3. Aktuelle Trends beim maschinellen Lernen von Graphen
Diese Forschungsrichtung ist seit 20 Jahren verfügbar und war immer eine relativ Nische vor. Seit 2016, mit dem Aufkommen moderner Arbeiten im Zusammenhang mit graphischen neuronalen Netzen, ist das maschinelle Lernen von Graphen zu einer beliebten Forschungsrichtung geworden. Es wurde festgestellt, dass diese neue Generation der maschinellen Lernmethode für Graphen die Daten selbst und die Informationen zwischen den Daten besser lernen kann, sodass sie die Daten besser darstellen und letztendlich wichtigere Aufgaben besser erledigen kann. 4. Eine kurze Geschichte der graphischen neuronalen Netze Im Jahr 2016 erschienen Arbeiten zu modernen graphischen neuronalen Netzen, die Verbesserungen früher graphischer neuronaler Netze darstellten. Danach förderte die Entstehung von GCN die rasante Entwicklung graphischer neuronaler Netze. Seit 2017 ist eine große Anzahl neuer Algorithmen entstanden. Da die Algorithmen graphischer neuronaler Netze immer ausgereifter werden, versucht die Industrie seit 2019, diese Algorithmen zur Lösung einiger praktischer Probleme zu verwenden. Gleichzeitig wurden viele Open-Source-Tools entwickelt, um die Effizienz der Problemlösung zu verbessern. Seit 2021 wurden viele Bücher zum Thema graphische neuronale Netze geschrieben, darunter natürlich auch dieses „Grundlagen, Grenzen und Anwendungen graphischer neuronaler Netze“.
Das Buch „Basics, Frontiers and Applications of Graph Neural Networks“ führt systematisch in die Kernkonzepte und Technologien im Bereich graphischer neuronaler Netze sowie in Spitzenforschung und -entwicklung ein und stellt Anwendungen in verschiedenen Bereichen vor. Leser aus Wissenschaft und Industrie können davon profitieren.
2. Die Basis des graphischen neuronalen Netzwerks
1. Der Lebenszyklus des maschinellen Lernens
Die obige Abbildung spiegelt den Lebenszyklus des maschinellen Lernens wider, in dem Feature-Learning eine sehr wichtige Rolle spielt Die Hauptaufgabe besteht darin, Rohdaten in strukturierte Daten umzuwandeln. Vor dem Aufkommen von Deep Learning erledigte jeder diese Aufgabe hauptsächlich durch Feature Engineering. Nach dem Aufkommen von Deep Learning begann sich diese End-to-End-Methode des maschinellen Lernens zum Mainstream zu entwickeln.
2. Feature Learning in Graphs
Feature Learning in Graphs ist dem Deep Learning sehr ähnlich. Das Ziel besteht darin, effektive aufgabenbezogene oder aufgabenunabhängige Feature-Learning-Methoden zu entwerfen Verschieben Sie die Knoten im Originaldiagramm in einen hochdimensionalen Raum, um die Einbettungsdarstellung der Knoten zu erhalten, und führen Sie dann nachgelagerte Aufgaben aus. 3. Die Basis eines graphischen neuronalen Netzwerks s
erfordert eine Filteroperation, die die Matrix des Diagramms und die Vektordarstellung des Knotens als Eingabe verwendet, kontinuierlich lernt und die Vektordarstellung des Knotens aktualisiert. Derzeit gehören zu den gebräuchlichsten Filteroperationen spektralbasierte, räumliche, aufmerksamkeitsbasierte und wiederkehrende Operationen.
Die Darstellung des Diagramms
- erfordert eine Pooloperation, die die Matrix des Diagramms und die Vektordarstellung der Knoten als Eingabe verwendet, kontinuierlich lernt und die Matrix des erhält Das Diagramm mit weniger Knoten erhält schließlich eine Vektordarstellung auf Diagrammebene, um das gesamte Diagramm darzustellen. Derzeit gehören zu den gebräuchlicheren Pool-Operationen Flat Graph Pooling (wie Max, Ave, Min) und Hierarchical Graph Pooling (wie Diffpool).
4. Grundmodell des graphischen neuronalen Netzwerks
Es gibt ein Konzept des Kontextlernens im Bereich des maschinellen Lernens. In graphischen neuronalen Netzen sind die Nachbarknoten der Kontext eines Knotens. Wir können die Nachbarknoten eines Knotens verwenden, um die Vektordarstellung dieses Knotens zu lernen.
Wir können das Berechnungsdiagramm schichten. Die erste Ebene ist die originellste Information, indem wir die Vektordarstellung aller Knoten erlernen.
Die obige Abbildung beschreibt grob die Hauptschritte des Lernens von graphischen neuronalen Netzwerkmodellen, die hauptsächlich die folgenden vier Schritte umfassen:
- Definieren Sie eine Aggregationsfunktion;
- Definieren Sie eine Verlustfunktion gemäß Aufgabe;
- Trainieren Sie einen Stapel von Knoten. Sie können beispielsweise einen Stapel von Berechnungsdiagrammen gleichzeitig trainieren.
- Erstellen Sie die erforderliche Vektordarstellung für jeden Knoten, auch für einige Knoten, die dies noch nie getan haben wurde trainiert (Lernen ist eine Aggregationsfunktion. Sie können die Aggregationsfunktion und die trainierte Vektordarstellung verwenden, um die Vektordarstellung des neuen Knotens zu erhalten).
Die obige Abbildung ist ein Beispiel für die Verwendung des Durchschnitts als Aggregationsfunktion. Die Vektordarstellung des Knotens v in der k-ten Schicht hängt von der Vektordarstellung seiner Nachbarknoten ab der vorherige Layer und die eigene Vektordarstellung des vorherigen Layers.
Um den obigen Inhalt zusammenzufassen: Der Hauptzweck des graphischen neuronalen Netzwerks besteht darin, eine Vektordarstellung des Zielknotens zu generieren, indem die Informationen der Nachbarknoten aggregiert werden. Dabei wird die gemeinsame Nutzung von Parametern im Encoder berücksichtigt und berücksichtigt auch Inferenzlernen.
5. Beliebte Modelle graphischer neuronaler Netze
Die klassischen oder beliebten Algorithmen graphischer neuronaler Netze verwenden im Wesentlichen unterschiedliche Aggregationsfunktionen oder Filterfunktionen, die in überwachte graphische neuronale Netze und unüberwachte graphische neuronale Netze unterteilt werden können Netzwerke. Überwachte graphische neuronale Netzwerke.
GCN ist einer der klassischsten Algorithmen. Er kann direkt auf den Graphen einwirken und dessen Strukturinformationen nutzen. GCN konzentriert sich auf die Verbesserung der Modellgeschwindigkeit, Praktikabilität und Stabilität, wie in der Abbildung oben gezeigt, und hat auch mehrere Iterationen durchlaufen. Das GCN-Papier ist von epochaler Bedeutung und legte den Grundstein für graphische neuronale Netze. Der Kernpunkt von
MPNN ist der Prozess der Umwandlung der Graphfaltung in Informationsübertragung. Es definiert zwei Funktionen, nämlich die Aggregationsfunktion und die Aktualisierungsfunktion. Dieser Algorithmus ist ein einfacher und allgemeiner Algorithmus, aber er ist nicht effizient.
GraphSage ist ein Algorithmus auf industrieller Ebene Er verwendet Stichproben, um eine bestimmte Anzahl von Nachbarknoten zu erhalten, um die Vektordarstellung des Schulknotens zu erhalten.
GAT ist die Einführung der Idee der Aufmerksamkeit. Ihr Kernpunkt besteht darin, das Gewicht der Kante während des Informationsübertragungsprozesses dynamisch zu lernen.
Zusätzlich zu den oben vorgestellten Algorithmen gibt es auch GGNN. Sein Merkmal ist, dass die Ausgabe mehrere Knoten umfassen kann. Wenn Sie interessiert sind, können Sie verwandte Artikel lesen. Im Buch „Basics, Frontiers and Applications of Graph Neural Networks“ werden in den Kapiteln 5, 6, 7 und 8 auch die Bewertung graphischer neuronaler Netze, die Skalierbarkeit graphischer neuronaler Netze bzw. die Erklärung graphischer neuronaler Netze vorgestellt . Eigenschaften und die kontradiktorische Stabilität graphischer neuronaler Netze. Wenn Sie interessiert sind, können Sie die entsprechenden Kapitel im Buch lesen. 3. Die Grenzen des graphischen neuronalen Netzwerks Manchmal kann es zu starkem Rauschen kommen, und viele Anwendungen verfügen möglicherweise nicht über diagrammstrukturierte Daten oder nur über Originalfunktionen.
Wir müssen also ein graphisches neuronales Netzwerk verwenden, um die optimale Graphdarstellung und Graphknotendarstellung zu lernen.
Wir wandeln Graphenlernen in Ähnlichkeitslernen zwischen Knoten um, steuern Glätte, Systemattribute und Konnektivität durch Regularisierung und verfeinern die Struktur und den Graphen des Graphen durch Iterationsvektordarstellung.
Experimentelle Daten
können die Vorteile dieses Ansatzes aufzeigen.
Durch die Visualisierungsergebnisse des Diagramms
kann festgestellt werden, dass die erlernten Diagramme dazu neigen, ähnliche Objekte zusammenzufassen, was eine gewisse Interpretierbarkeit aufweist. 2. Other Frontiers Bildklassifizierung; Linkvorhersage;
Bildkonvertierung;
Bildanpassung;
Dynamischer Graph neuronal Netzwerk;
- heterogenes graphisches neuronales Netzwerk;
- AutoML für graphisches neuronales Netzwerk;
- Selbstüberwachtes Lernen von graphischen neuronalen Netzwerken.
- 4. Anwendung eines graphischen neuronalen Netzwerks
1. Anwendung eines graphischen neuronalen Netzwerks im Empfehlungssystem-
2. Anwendung von graphischen neuronalen Netzwerken in der Computer Vision
Wir können den dynamischen Veränderungsprozess von Objekten verfolgen und unser Verständnis des Videos durch graphische neuronale Netzwerke vertiefen.
3. Anwendung eines graphischen neuronalen Netzwerks in der Verarbeitung natürlicher Sprache
Wir können graphische neuronale Netzwerke verwenden, um Informationen auf hoher Ebene natürlicher Sprache zu verstehen.
4. Anwendung des graphischen neuronalen Netzwerks in der Programmanalyse
5. Anwendung des graphischen neuronalen Netzwerks in der Smart City
5
F1: Ist GNN eine wichtige Methode für die nächste Generation des Deep Learning?
A1: Graphisches neuronales Netzwerk ist ein sehr wichtiger Zweig, und derjenige, der mit dem graphischen neuronalen Netzwerk Schritt hält, ist Transformer. Aufgrund der Flexibilität grafischer neuronaler Netze können grafische neuronale Netze und Transformer miteinander kombiniert werden, um größere Vorteile zu nutzen.
F2: Können GNN und kausales Lernen kombiniert werden? Wie kombinieren?
A2: Das wichtige Glied beim kausalen Lernen ist der Kausalgraph, und der Kausalgraph und das GNN können auf natürliche Weise kombiniert werden. Die Schwierigkeit des kausalen Lernens besteht darin, dass die Datengröße gering ist. Wir können die Fähigkeit von GNN nutzen, kausale Diagramme besser zu lernen.
F3: Was ist der Unterschied und Zusammenhang zwischen der Interpretierbarkeit von GNN und der Interpretierbarkeit von traditionellem maschinellen Lernen?
A3: Es wird im Buch „Basics, Frontiers and Applications of Graph Neural Networks“ ausführlich vorgestellt.
F4: Wie kann man GNN direkt basierend auf der Graphdatenbank trainieren und ableiten und die Leistungsfähigkeit des Graph Computing nutzen?
A4: Derzeit gibt es keine gute Praxis auf der Unified Graph Computing-Plattform. Es gibt einige Startup-Unternehmen und wissenschaftliche Forschungsteams, die verwandte Richtungen erforschen Bereiche in Bereiche unterteilen.
Das obige ist der detaillierte Inhalt vonDie Grundlage, Grenze und Anwendung von GNN. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
