Heim Technologie-Peripheriegeräte KI Die menschliche Präferenz ist der Herrscher! Mit der SPPO-Ausrichtungstechnologie können große Sprachmodelle miteinander und mit sich selbst konkurrieren

Die menschliche Präferenz ist der Herrscher! Mit der SPPO-Ausrichtungstechnologie können große Sprachmodelle miteinander und mit sich selbst konkurrieren

Jun 06, 2024 pm 06:32 PM
工程 Optimierung der eigenen Spielpräferenzen

Die menschliche Präferenz ist der Herrscher! Mit der SPPO-Ausrichtungstechnologie können große Sprachmodelle miteinander und mit sich selbst konkurrieren
Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail zur Einreichung: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Richard Sutton hat in „The Bitter Lesson“ diese Bewertung vorgenommen: „Die beste Schlussfolgerung, die aus 70 Jahren Forschung im Bereich der künstlichen Intelligenz gezogen werden kann, ist die Eine wichtige Lektion ist, dass allgemeine Methoden, die Berechnungen nutzen, letztendlich am effizientesten sind und die Vorteile enorm sind.

Anfang dieses Jahres schlug das Team von Professor Gu Quanquan an der University of California, Los Angeles (UCLA) ein „Self-Play Fine-Tuning (SPIN)“
vor, das keine zusätzlichen Feinabstimmungsdaten verwendet und setzt nur auf Selbstspiel. Gaming kann die Fähigkeiten von LLM erheblich verbessern.

Kürzlich haben das Team von Professor Gu Quanquan und das Team von Professor Yiming Yang an der Carnegie Mellon University (CMU) zusammengearbeitet, um eine Methode namens „Self-Play Preference Optimization (SPPO)
“ zu entwickeln. Ziel dieser neuen Methode ist die Ausrichtungstechnologie das Verhalten großer Sprachmodelle durch ein Selbstspiel-Framework, um menschliche Vorlieben besser anzupassen. Kämpfe von links nach rechts gegeneinander und zeige erneut deine magischen Kräfte!

Papiertitel: Self-Play Preference Optimization for Language Model AlignmentDie menschliche Präferenz ist der Herrscher! Mit der SPPO-Ausrichtungstechnologie können große Sprachmodelle miteinander und mit sich selbst konkurrieren

    Papierlink: https://arxiv.org/pdf/2405.00675.pdf
  • Technologie Hintergrund und Herausforderungen

Große Sprachmodelle (LLM) werden zu einer wichtigen treibenden Kraft im Bereich der künstlichen Intelligenz und leisten mit ihren hervorragenden Textgenerierungs- und Textverständnisfähigkeiten bei verschiedenen Aufgaben gute Dienste. Obwohl die Fähigkeiten von LLM beeindruckend sind, ist häufig eine Feinabstimmung durch einen Ausrichtungsprozess erforderlich, um das Ausgabeverhalten dieser Modelle besser an die Anforderungen praktischer Anwendungen anzupassen.

Der Schlüssel zu diesem Prozess besteht darin, das Modell so anzupassen, dass es menschliche Vorlieben und Verhaltensnormen besser widerspiegelt. Gängige Methoden sind das Reinforcement Learning auf Basis menschlichen Feedbacks (RLHF) oder die direkte Präferenzoptimierung (Direct Preference Optimization, DPO).

Auf menschlichem Feedback basierendes Verstärkungslernen (RLHF) basiert auf der expliziten Aufrechterhaltung eines Belohnungsmodells, um große Sprachmodelle anzupassen und zu verfeinern. Mit anderen Worten: InstructGPT trainiert beispielsweise zunächst eine Belohnungsfunktion, die dem Bradley-Terry-Modell auf der Grundlage menschlicher Präferenzdaten folgt, und verwendet dann verstärkende Lernalgorithmen wie Proximal Policy Optimization (PPO), um große Sprachmodelle zu optimieren. Letztes Jahr schlugen Forscher die Direct Preference Optimization (DPO) vor.

Im Gegensatz zu RLHF, das ein explizites Belohnungsmodell verwaltet, gehorcht der DPO-Algorithmus implizit dem Bradley-Terry-Modell, kann aber direkt für die Optimierung großer Sprachmodelle verwendet werden. In bestehenden Arbeiten wurde versucht, große Modelle durch die Verwendung von DPO über mehrere Iterationen weiter zu verfeinern (Abbildung 1).

                                                                                                                                                               ‐ Numerische Punktzahl. Obwohl diese Modelle vernünftige Näherungen an menschliche Vorlieben liefern, können sie die Komplexität menschlichen Verhaltens nicht vollständig erfassen.

Die menschliche Präferenz ist der Herrscher! Mit der SPPO-Ausrichtungstechnologie können große Sprachmodelle miteinander und mit sich selbst konkurrieren

Diese Modelle gehen oft davon aus, dass die Präferenzbeziehung zwischen verschiedenen Entscheidungen monoton und transitiv ist, während empirische Beweise oft die Inkonsistenz und Nichtlinearität der menschlichen Entscheidungsfindung zeigen. Tverskys Studie stellte beispielsweise fest, dass die menschliche Entscheidungsfindung beeinflusst werden kann Eine Vielzahl von Faktoren beeinflussen es und zeigen Inkonsistenzen.

Theoretische Grundlagen und Methode von SPPO

两 Abbildung 2. Die beiden Sprachmodelle des Imaginären werden oft gespielt und gespielt.
In diesem Zusammenhang schlägt der Autor ein neues Selbstspiel-Framework SPPO vor, das nicht nur nachweisbare Garantien für die Lösung von Spielen mit konstanter Summe für zwei Spieler bietet, sondern auch große Sprachmodelle effizient verfeinert skaliert im großen Maßstab.
Konkret definiert der Artikel das RLHF-Problem streng als ein Normalsummenspiel für zwei Spieler (Abbildung 2). Ziel dieser Arbeit ist es, Nash-Gleichgewichtsstrategien zu identifizieren, die im Durchschnitt immer eine bevorzugtere Reaktion liefern als jede andere Strategie.

Um die Nash-Gleichgewichtsstrategie näherungsweise zu identifizieren, übernimmt der Autor den klassischen adaptiven Online-Algorithmus mit multiplikativen Gewichten als übergeordneten Rahmenalgorithmus zur Lösung des Zwei-Spieler-Spiels.

Innerhalb jedes Schritts dieses Frameworks kann der Algorithmus multiplikative Gewichtsaktualisierungen durch einen Selbstspielmechanismus approximieren, bei dem sich das große Sprachmodell in jeder Runde an der vorherigen Runde orientiert, die vom Modell Synthesize generiert wurde Anmerkungen zu Daten und Präferenzmodellen zur Optimierung.

Insbesondere generiert das große Sprachmodell auf der Grundlage der Annotation des Präferenzmodells mehrere Antworten. Dadurch kann der Algorithmus eine weitere Feinabstimmung vornehmen Das große Sprachmodell sorgt dafür, dass die Wahrscheinlichkeit, dass Antworten mit einer hohen Gewinnquote erscheinen, höher ist (Abbildung 3).

Die menschliche Präferenz ist der Herrscher! Mit der SPPO-Ausrichtungstechnologie können große Sprachmodelle miteinander und mit sich selbst konkurrieren

                                              Experimentelles Design und Ergebnisse
In Im Rahmen des Experiments übernahm das Forschungsteam einen Mistral-7B als Basismodell und nutzte 60.000 Eingabeaufforderungen aus dem UltraFeedback-Datensatz für unbeaufsichtigtes Training. Sie fanden heraus, dass das Modell durch Selbstspielen seine Leistung auf mehreren Bewertungsplattformen wie AlpacaEval 2.0 und MT-Bench deutlich verbessern konnte. Diese Plattformen werden häufig zur Bewertung der Qualität und Relevanz modellgenerierter Texte verwendet.

Durch die SPPO-Methode verbessert sich das Modell nicht nur hinsichtlich der Flüssigkeit und
Genauigkeit
des generierten Textes, sondern, was noch wichtiger ist: „Es entspricht besser den menschlichen Werten und Vorlieben.“ O Abbildung 4. Die Wirkung des SPPO-Modells auf Alpacaeval 2.0 ist deutlich verbessert und höher als bei anderen Benchmark-Methoden wie ITERATIVE DPO.

Im Test von AlpacaEval 2.0 (Abbildung 4) verbesserte das SPPO-optimierte Modell die Gewinnrate der Längenkontrolle von 17,11 % des Basismodells auf 28,53 %, was eine deutliche Verbesserung seines Verständnisses menschlicher Vorlieben zeigt . Das durch drei SPPO-Runden optimierte Modell ist deutlich besser als die mehrstufige Iteration von DPO, IPO und dem selbstbelohnenden Sprachmodell (Self-Rewarding LM) auf AlpacaEval2.0.
Darüber hinaus übertraf die Leistung des Modells auf MT-Bench auch herkömmliche Modelle, die durch menschliches Feedback optimiert wurden. Dies zeigt die Wirksamkeit von SPPO bei der automatischen Anpassung des Modellverhaltens an komplexe Aufgaben.

Die menschliche Präferenz ist der Herrscher! Mit der SPPO-Ausrichtungstechnologie können große Sprachmodelle miteinander und mit sich selbst konkurrieren

Fazit und Zukunftsaussichten

Self-Playing Preference Optimization (SPPO) bietet einen neuen Optimierungspfad für große Sprachmodelle, der nicht nur die Qualität der Modellgenerierung, sondern, was noch wichtiger ist, verbessert Qualität des Modells. Ausrichtung auf menschliche Vorlieben.

Mit der kontinuierlichen Weiterentwicklung und Optimierung der Technologie wird erwartet, dass SPPO und seine abgeleiteten Technologien eine größere Rolle bei der nachhaltigen Entwicklung und sozialen Anwendung künstlicher Intelligenz spielen und den Weg für den Aufbau intelligenterer und verantwortungsvollerer KI-Systeme ebnen . der Weg.

Das obige ist der detaillierte Inhalt vonDie menschliche Präferenz ist der Herrscher! Mit der SPPO-Ausrichtungstechnologie können große Sprachmodelle miteinander und mit sich selbst konkurrieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

Video Face Swap

Video Face Swap

Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Java-Tutorial
1664
14
PHP-Tutorial
1269
29
C#-Tutorial
1249
24
Der Autor von ControlNet hat einen weiteren Hit! Der gesamte Prozess der Generierung eines Gemäldes aus einem Bild, der in zwei Tagen 1,4.000 Sterne verdient Der Autor von ControlNet hat einen weiteren Hit! Der gesamte Prozess der Generierung eines Gemäldes aus einem Bild, der in zwei Tagen 1,4.000 Sterne verdient Jul 17, 2024 am 01:56 AM

Es ist ebenfalls ein Tusheng-Video, aber PaintsUndo ist einen anderen Weg gegangen. ControlNet-Autor LvminZhang begann wieder zu leben! Dieses Mal ziele ich auf den Bereich der Malerei. Das neue Projekt PaintsUndo hat nicht lange nach seinem Start 1,4.000 Sterne erhalten (die immer noch wahnsinnig steigen). Projektadresse: https://github.com/lllyasviel/Paints-UNDO Bei diesem Projekt gibt der Benutzer ein statisches Bild ein, und PaintsUndo kann Ihnen dabei helfen, automatisch ein Video des gesamten Malprozesses zu erstellen, vom Linienentwurf bis zum fertigen Produkt . Während des Zeichenvorgangs sind die Linienänderungen erstaunlich. Das Endergebnis des Videos ist dem Originalbild sehr ähnlich: Schauen wir uns eine vollständige Zeichnung an.

Die agentenlose Lösung von UIUC steht ganz oben auf der Liste der Open-Source-KI-Softwareentwickler und löst problemlos echte Programmierprobleme im SWE-Bench Die agentenlose Lösung von UIUC steht ganz oben auf der Liste der Open-Source-KI-Softwareentwickler und löst problemlos echte Programmierprobleme im SWE-Bench Jul 17, 2024 pm 10:02 PM

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einreichungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com Die Autoren dieses Artikels stammen alle aus dem Team von Lehrer Zhang Lingming an der University of Illinois in Urbana-Champaign, darunter: Steven Code Repair; Doktorand im vierten Jahr, Forscher

Von RLHF über DPO bis TDPO sind große Modellausrichtungsalgorithmen bereits auf „Token-Ebene' Von RLHF über DPO bis TDPO sind große Modellausrichtungsalgorithmen bereits auf „Token-Ebene' Jun 24, 2024 pm 03:04 PM

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einreichungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com Im Entwicklungsprozess der künstlichen Intelligenz war die Steuerung und Führung großer Sprachmodelle (LLM) schon immer eine der zentralen Herausforderungen, um sicherzustellen, dass diese Modelle beides sind kraftvoll und sicher dienen der menschlichen Gesellschaft. Frühe Bemühungen konzentrierten sich auf Methoden des verstärkenden Lernens durch menschliches Feedback (RL

arXiv-Artikel können als „Barrage' gepostet werden, die Diskussionsplattform von Stanford alphaXiv ist online, LeCun gefällt es arXiv-Artikel können als „Barrage' gepostet werden, die Diskussionsplattform von Stanford alphaXiv ist online, LeCun gefällt es Aug 01, 2024 pm 05:18 PM

Prost! Wie ist es, wenn es bei einer Papierdiskussion auf Worte ankommt? Kürzlich haben Studenten der Stanford University alphaXiv erstellt, ein offenes Diskussionsforum für arXiv-Artikel, das es ermöglicht, Fragen und Kommentare direkt zu jedem arXiv-Artikel zu posten. Website-Link: https://alphaxiv.org/ Tatsächlich ist es nicht erforderlich, diese Website speziell zu besuchen. Ändern Sie einfach arXiv in einer beliebigen URL in alphaXiv, um den entsprechenden Artikel direkt im alphaXiv-Forum zu öffnen: Sie können die Absätze darin genau lokalisieren das Papier, Satz: Im Diskussionsbereich auf der rechten Seite können Benutzer Fragen stellen, um dem Autor Fragen zu den Ideen und Details des Papiers zu stellen. Sie können beispielsweise auch den Inhalt des Papiers kommentieren, wie zum Beispiel: „Gegeben an.“

Posthume Arbeit des OpenAI Super Alignment Teams: Zwei große Modelle spielen ein Spiel und die Ausgabe wird verständlicher Posthume Arbeit des OpenAI Super Alignment Teams: Zwei große Modelle spielen ein Spiel und die Ausgabe wird verständlicher Jul 19, 2024 am 01:29 AM

Wenn die Antwort des KI-Modells überhaupt unverständlich ist, würden Sie es wagen, sie zu verwenden? Da maschinelle Lernsysteme in immer wichtigeren Bereichen eingesetzt werden, wird es immer wichtiger zu zeigen, warum wir ihren Ergebnissen vertrauen können und wann wir ihnen nicht vertrauen sollten. Eine Möglichkeit, Vertrauen in die Ausgabe eines komplexen Systems zu gewinnen, besteht darin, vom System zu verlangen, dass es eine Interpretation seiner Ausgabe erstellt, die für einen Menschen oder ein anderes vertrauenswürdiges System lesbar ist, d. h. so vollständig verständlich, dass mögliche Fehler erkannt werden können gefunden. Um beispielsweise Vertrauen in das Justizsystem aufzubauen, verlangen wir von den Gerichten, dass sie klare und lesbare schriftliche Stellungnahmen abgeben, die ihre Entscheidungen erläutern und stützen. Für große Sprachmodelle können wir auch einen ähnlichen Ansatz verfolgen. Stellen Sie bei diesem Ansatz jedoch sicher, dass das Sprachmodell generiert wird

Ein bedeutender Durchbruch in der Riemann-Hypothese! Tao Zhexuan empfiehlt dringend neue Arbeiten vom MIT und Oxford, und der 37-jährige Fields-Medaillengewinner nahm daran teil Ein bedeutender Durchbruch in der Riemann-Hypothese! Tao Zhexuan empfiehlt dringend neue Arbeiten vom MIT und Oxford, und der 37-jährige Fields-Medaillengewinner nahm daran teil Aug 05, 2024 pm 03:32 PM

Kürzlich gelang der Riemann-Hypothese, die als eines der sieben großen Probleme des Jahrtausends bekannt ist, ein neuer Durchbruch. Die Riemann-Hypothese ist ein sehr wichtiges ungelöstes Problem in der Mathematik, das sich auf die genauen Eigenschaften der Verteilung von Primzahlen bezieht (Primzahlen sind Zahlen, die nur durch 1 und sich selbst teilbar sind, und sie spielen eine grundlegende Rolle in der Zahlentheorie). In der heutigen mathematischen Literatur gibt es mehr als tausend mathematische Thesen, die auf der Aufstellung der Riemann-Hypothese (oder ihrer verallgemeinerten Form) basieren. Mit anderen Worten: Sobald die Riemann-Hypothese und ihre verallgemeinerte Form bewiesen sind, werden diese mehr als tausend Sätze als Theoreme etabliert, die einen tiefgreifenden Einfluss auf das Gebiet der Mathematik haben werden, und wenn sich die Riemann-Hypothese als falsch erweist, dann unter anderem Auch diese Sätze werden teilweise ihre Gültigkeit verlieren. Neuer Durchbruch kommt von MIT-Mathematikprofessor Larry Guth und der Universität Oxford

LLM eignet sich wirklich nicht für die Vorhersage von Zeitreihen. Es nutzt nicht einmal seine Argumentationsfähigkeit. LLM eignet sich wirklich nicht für die Vorhersage von Zeitreihen. Es nutzt nicht einmal seine Argumentationsfähigkeit. Jul 15, 2024 pm 03:59 PM

Können Sprachmodelle wirklich zur Zeitreihenvorhersage verwendet werden? Gemäß Betteridges Gesetz der Schlagzeilen (jede Schlagzeile, die mit einem Fragezeichen endet, kann mit „Nein“ beantwortet werden) sollte die Antwort „Nein“ lauten. Die Tatsache scheint wahr zu sein: Ein so leistungsstarkes LLM kann mit Zeitreihendaten nicht gut umgehen. Zeitreihen, also Zeitreihen, beziehen sich, wie der Name schon sagt, auf eine Reihe von Datenpunktsequenzen, die in der Reihenfolge ihres Auftretens angeordnet sind. Die Zeitreihenanalyse ist in vielen Bereichen von entscheidender Bedeutung, einschließlich der Vorhersage der Ausbreitung von Krankheiten, Einzelhandelsanalysen, Gesundheitswesen und Finanzen. Im Bereich der Zeitreihenanalyse haben viele Forscher in letzter Zeit untersucht, wie man mithilfe großer Sprachmodelle (LLM) Anomalien in Zeitreihen klassifizieren, vorhersagen und erkennen kann. Diese Arbeiten gehen davon aus, dass Sprachmodelle, die gut mit sequentiellen Abhängigkeiten in Texten umgehen können, auch auf Zeitreihen verallgemeinert werden können.

Das erste Mamba-basierte MLLM ist da! Modellgewichte, Trainingscode usw. waren alle Open Source Das erste Mamba-basierte MLLM ist da! Modellgewichte, Trainingscode usw. waren alle Open Source Jul 17, 2024 am 02:46 AM

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail-Adresse: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com. Einleitung In den letzten Jahren hat die Anwendung multimodaler großer Sprachmodelle (MLLM) in verschiedenen Bereichen bemerkenswerte Erfolge erzielt. Als Grundmodell für viele nachgelagerte Aufgaben besteht aktuelles MLLM jedoch aus dem bekannten Transformer-Netzwerk, das

See all articles