Die LLM-Leistung wird um bis zu 60 % verbessert! Google ICLR 2024-Meisterwerk: Lassen Sie das große Sprachmodell die „Sprache der Graphen' lernen

王林
Freigeben: 2024-03-27 20:46:33
nach vorne
691 Leute haben es durchsucht

Im Bereich der Informatik besteht eine Graphstruktur aus Knoten (die Entitäten darstellen) und Kanten (die Beziehungen zwischen Entitäten darstellen).

Bilder sind überall.

Das Internet kann als riesiges Netzwerk betrachtet werden, und Suchmaschinen verwenden grafische Methoden, um Informationen zu organisieren und anzuzeigen.

LLMs werden hauptsächlich auf regulären Text trainiert, daher ist die Umwandlung von Diagrammen in für LLMs verständliche Texte eine anspruchsvolle Aufgabe, da sich die Diagrammstruktur grundlegend von der Textstruktur unterscheidet.

Auf der ICLR 2024 untersuchte ein Team von Google, wie man Diagrammdaten in eine für LLMs verständliche Form umwandeln kann.

LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会「图的语言」

Papieradresse: https://openreview.net/pdf?id=IuXR1CCrSi

LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会「图的语言」

Verwenden Sie zwei verschiedene Methoden, um die Grafiken in Text zu kodieren und den Text und die Fragen an LLM zurückzuleiten Dabei

haben sie auch einen Benchmark namens GraphQA entwickelt, um Möglichkeiten zur Lösung verschiedener Probleme beim Graphenschluss zu erkunden und zu zeigen, wie diese Probleme auf eine Weise ausgedrückt werden können, die für LLM bei der Lösung graphbezogener Probleme von Vorteil ist.

Mit der richtigen Methode können LLMs die Leistung von Grafikaufgaben um bis zu 60 % verbessern.

GraphOA: Eine „Prüfung“ für LLMs

Zunächst hat das Google-Team den GraphQA-Benchmark entwickelt, der als Prüfung angesehen werden kann, die darauf abzielt, die Fähigkeit von LLMs zu bewerten, bestimmte Diagrammprobleme zu lösen.

GraphOA stellt Vielfalt in der Breite und Anzahl der Verbindungen sicher, indem es mehrere Arten von Diagrammen verwendet, um mögliche Abweichungen in LLMs bei der Verarbeitung von Diagrammen zu finden, und bringt den gesamten Prozess näher an die Bedingungen heran, denen LLMs in praktischen Anwendungen begegnen können.

LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会「图的语言」

Ein Framework für das Denken mit LLMs unter Verwendung von GraphIQA

Obwohl die Aufgaben einfach sind, wie z. B. die Prüfung, ob Kanten vorhanden sind, die Berechnung der Anzahl von Knoten oder Kanten usw., erfordern diese Aufgaben, dass LLMs die verstehen Beziehung zwischen Knoten und Kanten Die Beziehung zwischen ihnen ist für komplexere grafische Überlegungen von entscheidender Bedeutung.

Gleichzeitig untersuchte das Team auch, wie man Diagramme in Text umwandelt, den LLMs verarbeiten können, beispielsweise um die folgenden zwei Schlüsselprobleme zu lösen:

Knotenkodierung: Wie stellen wir einen einzelnen Knoten dar? Knoten können einfache Ganzzahlen, gebräuchliche Namen (Personen, Zeichen) und Buchstaben enthalten.

Edge Coding: Wie beschreiben wir die Beziehungen zwischen Knoten? Methoden können Klammern, Phrasen (z. B. „sind Freunde“) und symbolische Darstellungen (z. B. Pfeile) umfassen.

Letztendlich kombinierten die Forscher systematisch verschiedene Knoten- und Kantenkodierungsmethoden, um Funktionen wie die in der folgenden Abbildung gezeigten zu erzeugen.

LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会「图的语言」

Beispiel für eine Graphkodierungsfunktion

Wie funktionieren LLMs?

Das Forschungsteam führte drei Schlüsselexperimente zu GraphOA durch:

  1. Testen der Fähigkeit von LLMs, Grafikaufgaben zu bewältigen
  2. Testen des Einflusses der Größe von LLMs auf die Leistung
  3. Testen des Einflusses verschiedener Diagrammformen auf die Leistung Auswirkung

Im ersten Experiment schnitten LLMs mittelmäßig ab, und bei den meisten grundlegenden Aufgaben schnitten LLMs nicht besser ab als zufällige Schätzungen.

Aber die Kodierungsmethode beeinflusst die Ergebnisse erheblich. Wie in der Abbildung unten gezeigt, funktioniert die „Vorfall“-Kodierung in den meisten Fällen gut. Die Auswahl der geeigneten Kodierungsfunktion kann die Genauigkeit der Aufgabe erheblich verbessern.

LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会「图的语言」

Vergleich verschiedener Graph-Encoder-Funktionen basierend auf unterschiedlicher Aufgabengenauigkeit

Im zweiten Test testeten die Forscher dieselbe Graph-Aufgabe an Modellen unterschiedlicher Größe.

Was die Schlussfolgerung betrifft, so schnitt das größere Modell bei der Graphinferenzaufgabe besser ab,

Interessanterweise ist jedoch bei der Aufgabe „Kantenexistenz“ (Bestimmen, ob zwei Knoten im Diagramm verbunden sind) die Größe gleich nicht so wichtig wie andere Aufgaben.

Selbst das größte LLM kann einfache Basislösungen für das Zyklusprüfungsproblem (Bestimmen, ob ein Zyklus im Diagramm vorhanden ist) nicht immer schlagen. Dies zeigt, dass LLMs bei bestimmten Grafikaufgaben noch Verbesserungspotenzial haben.

LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会「图的语言」

Der Einfluss der Modellkapazität auf Graph-Argumentation-Aufgaben von PaLM 2-XXS. Menschen verwenden GraphOA, um Diagramme unterschiedlicher Strukturen für die Analyse zu erstellen.

Beispiele für Diagramme, die von verschiedenen Diagrammgeneratoren von GraphQA generiert wurden. ER, BA, SBM und SFN sind Erdős-Rényi, Barabási-Albert, stochastische Blockmodelle bzw. skalenfreie Netzwerke. LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会「图的语言」

Die Ergebnisse zeigen, dass die Struktur des Diagramms einen großen Einfluss auf die Leistung von LLMs hat.

Bei einer Aufgabe, die fragt, ob Schleifen vorhanden sind, schneiden LLMs beispielsweise gut in eng verbundenen Diagrammen ab (wo Schleifen häufig vorkommen), aber schlecht in Pfaddiagrammen (wo Schleifen nie auftreten).

Aber gleichzeitig hilft die Bereitstellung einiger gemischter Proben LLMs bei der Anpassung. Beispielsweise haben die Forscher in der Zykluserkennungsaufgabe einige Beispiele, die Zyklen enthalten, und einige, die keine Zyklen enthalten, als Beispiele für wenige hinzugefügt. Durch diese Methode wird die Leistung von LLMs verbessert.

Vergleichen Sie verschiedene Diagrammgeneratoren für verschiedene Diagrammaufgaben. Die wichtigste Beobachtung ist, dass die Diagrammstruktur einen erheblichen Einfluss auf die Leistung von LLM hat. ER, BA, SBM und SFN beziehen sich auf Erdős-Rényi, Barabási-Albert, das stochastische Blockmodell bzw. das skalenfreie Netzwerk. LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会「图的语言」

Das ist erst der Anfang, damit LLMs Diagramme verstehen können.

In dem Artikel untersuchte das Google-Team zunächst, wie man Diagramme am besten als Text darstellt, damit LLMs sie verstehen können.

Verbessert die Genauigkeit von LLMs bei Diagrammproblemen erheblich (von etwa 5 % auf über 60 % Verbesserung) mithilfe korrekter Codierungstechniken.

Wir haben außerdem drei Haupteinflussfaktoren identifiziert: die Kodierungsmethode zum Konvertieren von Grafiken in Text, die Aufgabentypen verschiedener Grafiken und die Dichtestruktur von Grafiken.

Dies ist für LLMs erst der Anfang, Diagramme zu verstehen. Mithilfe des neuen Benchmarks GraphQA freuen wir uns auf weitere Forschung, um weitere Möglichkeiten von LLMs zu erkunden.

Das obige ist der detaillierte Inhalt vonDie LLM-Leistung wird um bis zu 60 % verbessert! Google ICLR 2024-Meisterwerk: Lassen Sie das große Sprachmodell die „Sprache der Graphen' lernen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Verwandte Etiketten:
Quelle:51cto.com
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!