Heim Technologie-Peripheriegeräte KI CVPR 2024 |. Tsinghua & Bosch sind gut darin, komplexe Szenen und Sprachausdrücke zu verarbeiten, und schlugen eine neue Instanzsegmentierungsnetzwerkarchitektur MagNet vor

CVPR 2024 |. Tsinghua & Bosch sind gut darin, komplexe Szenen und Sprachausdrücke zu verarbeiten, und schlugen eine neue Instanzsegmentierungsnetzwerkarchitektur MagNet vor

Apr 26, 2024 pm 06:10 PM
工程 referenzielle Segmentierung

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

Die AIxiv-Kolumne ist eine Kolumne, in der akademische und technische Inhalte auf dieser Website veröffentlicht werden. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail-Adresse: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com.

Referring Image Segmentation (RIS) ist eine sehr anspruchsvolle multimodale Aufgabe, die Algorithmen erfordert, um gleichzeitig feine menschliche Sprache und visuelle Bildinformationen zu verstehen und Sätze im Bild zu klassifizieren Pixelebene. Durchbrüche in der RIS-Technologie werden voraussichtlich revolutionäre Veränderungen in vielen Bereichen wie der Mensch-Computer-Interaktion, der Bildbearbeitung und dem autonomen Fahren mit sich bringen. Es kann die Effizienz und Erfahrung der Mensch-Maschine-Zusammenarbeit erheblich verbessern. Obwohl die aktuellen hochmodernen RIS-Algorithmen erhebliche Fortschritte gemacht haben, stehen sie immer noch vor dem Problem der Modalitätslücke, das heißt, die Verteilung von Bild- und Textmerkmalen ist nicht vollständig aufeinander abgestimmt. Dieses Problem ist besonders akut, wenn es um komplexe referenzielle Sprachausdrücke und seltene Kontexte geht.

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

Abbildung 1: Schematische Darstellung der Bedeutung feinkörniger Sprach-Bild-Ausrichtungsfunktionen für RIS. Die rote Maske ist das Vorhersageergebnis von LAVT, einem der derzeit fortschrittlichsten RIS-Algorithmen, und das gelbe gestrichelte Kästchen ist die korrekte Anmerkung.

Die aktuelle RIS-Forschung konzentriert sich hauptsächlich auf den Entwurf neuartiger Verlustfunktionen oder die Einführung innovativer Netzwerkarchitekturen/-module, um die Ausrichtung der Sprach-Bild-Verteilung zu verbessern. Trotz erheblicher Fortschritte gibt es immer noch zwei grundlegende Probleme, die zu ihrer Unzulänglichkeit bei der feinkörnigen visuellen Erdung führen:

1 Diese Methoden basieren hauptsächlich auf der Satzebene. Die Sprachfunktionen führen eine Sprach-Bild-Ausrichtung durch, was zu ihrer Schwachstelle führt Fähigkeit zur Sprach-Bild-Ausrichtung auf Textebene.
2. Diesen Methoden fehlen häufig explizite Überwachungssignale während des Trainingsprozesses und sie können dem Modell nicht effektiv beibringen, eine feinkörnige Ausrichtung durchzuführen, was zu einer schlechten Leistung bei der Verarbeitung komplexer Referenzsprachen führt.法 Abbildung 2: Die Mängel des bestehenden Algorithmus

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

In einer aktuellen CVPR 2024-Arbeit hat das gemeinsame Forschungsteam der Abteilung für Automatisierung der Tsinghua-Universität und des Bosch Central Research Institute eine neue Hilfsaufgabe Mask Grounding entworfen . Diese Aufgabe zielt darauf ab, dem Modell explizit beizubringen, feinkörnige Korrespondenzen zwischen Text und visuellen Objekten zu lernen, indem Teile von Textwörtern zufällig maskiert werden und der Algorithmus lernen kann, ihre wahre Identität vorherzusagen. Darüber hinaus schlugen sie ein neuartiges modalübergreifendes Ausrichtungsmodul und eine neuartige modalübergreifende Ausrichtungsverlustfunktion (Cross-modal Alignment Loss) vor, um die Lücke zwischen Sprache und Bildern weiter umfassend zu verringern. Basierend auf diesen Technologien entwickelten sie eine neue Netzwerkarchitektur zur Instanzsegmentierung, das Mask-Grounded Network (MagNet).

Papiertitel: Mask Grounding for Referring Image Segmentation

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

Papieradresse: https://arxiv.org/abs/2312.12198
  • In RefCOCO, RefCOCO + -Ref Mit dem Datensatz übertraf MagNet alle bisherigen optimalen Algorithmen deutlich und verbesserte den Kernindikator des gesamten Schnittmengen-zu-Union-Verhältnisses (oIoU) deutlich um 2,48 Prozentpunkte. Die Visualisierungsergebnisse bestätigen auch, dass MagNet eine hervorragende Leistung bei der Verarbeitung komplexer Szenen und Sprachausdrücke aufweist.

Methode

MagNet besteht aus 3 unabhängigen und komplementären Modulen, nämlich Mask Grounding, Cross-modal Alignment Module und Cross-modal Alignment Loss.

1.Erdung maskieren

Abbildung 3: Mask -Erdungsflussdiagramm

Maske

Wie in Abbildung 3 gezeigt, wählt der Autor bei der Eingabebild, dem entsprechenden Referenzausdruck und der Segmentierungsmaske, einige der Sätze Vokabular nach dem Zufallsprinzip aus und ersetzen Sie es durch ein spezieller erlernbarer Masken-Token. Das Modell wird dann trainiert, um die tatsächliche Identität dieser ersetzten Wörter vorherzusagen. Durch die erfolgreiche Vorhersage der Identität des maskierten Tokens ist das Modell in der Lage zu verstehen, welche Wörter im Text welchen Teilen des Bildes entsprechen, und erlernt dabei feinkörnige Sprach-Bild-Ausrichtungsfunktionen. Um diese Hilfsaufgabe auszuführen, werden zunächst die Mittelpunktskoordinaten des Maskenbereichs extrahiert und an einen zweischichtigen MLP übergeben, um die Merkmale der Segmentierungsmaske zu kodieren. Gleichzeitig wird eine lineare Ebene verwendet, um die Sprachmerkmale auf die gleichen Abmessungen wie die Bildmerkmale abzubilden. Anschließend werden diese Merkmale mithilfe des vorgeschlagenen Masken-Token-Prädiktors gemeinsam verarbeitet, und das Aufmerksamkeitsmechanismusmodul wird für die Masken-Token-Vorhersage verwendet. Obwohl Mask Grounding einen zusätzlichen Vorwärtsdurchlauf durch den Sprachcodierer erfordert, um die maskierten Ausdrücke zu verarbeiten, ist der Gesamtrechenaufwand nahezu vernachlässigbar, da der Sprachcodierer so klein ist. Cross-modal Alignment Module (CAM)

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

Wie in Abbildung 4 dargestellt, schlugen die Autoren zur weiteren Verbesserung der Modellleistung auch ein Cross-modal Alignment Module (CAM) vor, um den Sprach-Bild-Ausrichtungseffekt zu verbessern indem vorab globaler Kontext in Bildmerkmale eingefügt wird, bevor die Sprach-Bild-Fusion durchgeführt wird. CAM generiert zunächst K-Feature-Maps unterschiedlicher Pyramidenskalen mithilfe von Pooling-Operationen mit unterschiedlichen Fenstergrößen. Anschließend wird jede Feature-Map durch einen dreischichtigen MLP geleitet, um globale Informationen besser zu extrahieren, und führt eine Kreuzaufmerksamkeitsoperation mit einer anderen Modalität durch. Als nächstes werden alle Ausgabe-Features durch bilineare Interpolation auf die ursprüngliche Feature-Map-Größe hochgesampelt und in der Kanaldimension verkettet. Anschließend wird ein 2-Layer-MLP verwendet, um die Anzahl der verketteten Feature-Kanäle wieder auf die ursprünglichen Abmessungen zu reduzieren. Um zu verhindern, dass multimodale Signale das ursprüngliche Signal überlagern, wird eine Gated-Einheit mit Tanh-Nichtlinearität verwendet, um die endgültige Ausgabe zu modulieren. Schließlich wird diese Gated-Funktion wieder zu den Eingabefunktionen hinzugefügt und an die nächste Stufe des Bild- oder Sprachcodierers übergeben. In der Implementierung der Autoren wird CAM am Ende jeder Stufe der Bild- und Sprachencoder hinzugefügt.

3. Cross-modal Alignment Loss (CAL)

                                 Formel

CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet

Um das Modell zur Ausrichtung von Sprach- und Bildfunktionen zu überwachen, hat Autor A Es wird eine neuartige modalübergreifende Alignment-Loss-Funktion (CAL) vorgeschlagen. Abbildung 5 zeigt die mathematische Formel dieser Verlustfunktion. Im Gegensatz zu früheren Arbeiten berücksichtigt CAL sowohl die Ausrichtung von Pixel zu Pixel (P2P) als auch von Pixel zu Text (P2T). Eine genaue Pixel-zu-Pixel-Ausrichtung stellt sicher, dass das Modell Segmentierungsmasken mit genauen Formen und Grenzen segmentieren und ausgeben kann, während eine genaue Pixel-zu-Text-Ausrichtung es dem Modell ermöglicht, Textbeschreibungen korrekt den Bildbereichen zuzuordnen, mit denen sie übereinstimmen.

Experimente

In Tabelle 1 verwendet der Autor die oIoU-Metrik, um MagNet zu bewerten und seine Leistung mit vorhandenen hochmodernen Algorithmen zu vergleichen. Die Testdaten sind RefCOCO, RefCOCO + und G-Ref. Sowohl in den Einstellungen für einzelne als auch für mehrere/zusätzliche Datensätze ist die Leistung von MagNet bei diesen Datensätzen ausschließlich SOTA.
Tabelle 1: Experimentelle Ergebnisse – Visualisierungsergebnisse Auch die Ergebnisse sind hervorragend , was in vielen schwierigen Szenarien die LAVT-Basislinie übertrifft.
Zusammenfassung

Dieser Artikel befasst sich mit den Herausforderungen und aktuellen Problemen im Bereich der Referenzsegmentierung (RIS), insbesondere mit den Mängeln bei der feinkörnigen Ausrichtung von Sprache und Bild. Als Reaktion auf diese Probleme schlugen Forscher der Tsinghua-Universität und des Bosch Central Research Institute eine neue Methode namens MagNet vor, die die Sprache durch die Einführung der Hilfsaufgabe Mask Grounding, eines modalübergreifenden Ausrichtungsmoduls und einer modalübergreifenden Ausrichtungsverlustfunktion umfassend verbessert der Ausrichtungseffekt zwischen Bildern. Experimente belegen, dass MagNet bei RefCOCO-, RefCOCO+- und G-Ref-Datensätzen eine deutlich bessere Leistung erzielt, die bisherigen hochmodernen Algorithmen übertrifft und starke Generalisierungsfähigkeiten demonstriert. Die Visualisierungsergebnisse bestätigen auch die Überlegenheit von MagNet bei der Verarbeitung komplexer Szenen und Sprachausdrücke. Diese Forschung liefert nützliche Inspirationen für die Weiterentwicklung des Bereichs der Referenzsegmentierung und dürfte zu größeren Durchbrüchen auf diesem Gebiet führen. CVPR 2024 | 擅长处理复杂场景和语言表达,清华&博世提出全新实例分割网络架构MagNet
Teamvorstellung

Dieses Papier stammt von der Abteilung für Automatisierung der Tsinghua-Universität (https://www.au.tsinghua.edu.cn) und dem Bosch Central Research Institute (https:// www.bosch.com/research/). Unter ihnen ist Zhuang Rongxian, der Erstautor der Arbeit, Doktorand an der Tsinghua-Universität und Praktikant an der Bosch Academia Sinica; der Projektleiter ist Dr. Qiu Xuchong, ein leitender F&E-Wissenschaftler an der Bosch Academia Sinica; Professor Huang Gao von der Abteilung für Automatisierung der Tsinghua-Universität.

Das obige ist der detaillierte Inhalt vonCVPR 2024 |. Tsinghua & Bosch sind gut darin, komplexe Szenen und Sprachausdrücke zu verarbeiten, und schlugen eine neue Instanzsegmentierungsnetzwerkarchitektur MagNet vor. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Der Autor von ControlNet hat einen weiteren Hit! Der gesamte Prozess der Generierung eines Gemäldes aus einem Bild, der in zwei Tagen 1,4.000 Sterne verdient Der Autor von ControlNet hat einen weiteren Hit! Der gesamte Prozess der Generierung eines Gemäldes aus einem Bild, der in zwei Tagen 1,4.000 Sterne verdient Jul 17, 2024 am 01:56 AM

Es ist ebenfalls ein Tusheng-Video, aber PaintsUndo ist einen anderen Weg gegangen. ControlNet-Autor LvminZhang begann wieder zu leben! Dieses Mal ziele ich auf den Bereich der Malerei. Das neue Projekt PaintsUndo hat nicht lange nach seinem Start 1,4.000 Sterne erhalten (die immer noch wahnsinnig steigen). Projektadresse: https://github.com/lllyasviel/Paints-UNDO Bei diesem Projekt gibt der Benutzer ein statisches Bild ein, und PaintsUndo kann Ihnen dabei helfen, automatisch ein Video des gesamten Malprozesses zu erstellen, vom Linienentwurf bis zum fertigen Produkt . Während des Zeichenvorgangs sind die Linienänderungen erstaunlich. Das Endergebnis des Videos ist dem Originalbild sehr ähnlich: Schauen wir uns eine vollständige Zeichnung an.

Von RLHF über DPO bis TDPO sind große Modellausrichtungsalgorithmen bereits auf „Token-Ebene' Von RLHF über DPO bis TDPO sind große Modellausrichtungsalgorithmen bereits auf „Token-Ebene' Jun 24, 2024 pm 03:04 PM

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einreichungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com Im Entwicklungsprozess der künstlichen Intelligenz war die Steuerung und Führung großer Sprachmodelle (LLM) schon immer eine der zentralen Herausforderungen, um sicherzustellen, dass diese Modelle beides sind kraftvoll und sicher dienen der menschlichen Gesellschaft. Frühe Bemühungen konzentrierten sich auf Methoden des verstärkenden Lernens durch menschliches Feedback (RL

Die agentenlose Lösung von UIUC steht ganz oben auf der Liste der Open-Source-KI-Softwareentwickler und löst problemlos echte Programmierprobleme im SWE-Bench Die agentenlose Lösung von UIUC steht ganz oben auf der Liste der Open-Source-KI-Softwareentwickler und löst problemlos echte Programmierprobleme im SWE-Bench Jul 17, 2024 pm 10:02 PM

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einreichungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com Die Autoren dieses Artikels stammen alle aus dem Team von Lehrer Zhang Lingming an der University of Illinois in Urbana-Champaign, darunter: Steven Code Repair; Doktorand im vierten Jahr, Forscher

Posthume Arbeit des OpenAI Super Alignment Teams: Zwei große Modelle spielen ein Spiel und die Ausgabe wird verständlicher Posthume Arbeit des OpenAI Super Alignment Teams: Zwei große Modelle spielen ein Spiel und die Ausgabe wird verständlicher Jul 19, 2024 am 01:29 AM

Wenn die Antwort des KI-Modells überhaupt unverständlich ist, würden Sie es wagen, sie zu verwenden? Da maschinelle Lernsysteme in immer wichtigeren Bereichen eingesetzt werden, wird es immer wichtiger zu zeigen, warum wir ihren Ergebnissen vertrauen können und wann wir ihnen nicht vertrauen sollten. Eine Möglichkeit, Vertrauen in die Ausgabe eines komplexen Systems zu gewinnen, besteht darin, vom System zu verlangen, dass es eine Interpretation seiner Ausgabe erstellt, die für einen Menschen oder ein anderes vertrauenswürdiges System lesbar ist, d. h. so vollständig verständlich, dass mögliche Fehler erkannt werden können gefunden. Um beispielsweise Vertrauen in das Justizsystem aufzubauen, verlangen wir von den Gerichten, dass sie klare und lesbare schriftliche Stellungnahmen abgeben, die ihre Entscheidungen erläutern und stützen. Für große Sprachmodelle können wir auch einen ähnlichen Ansatz verfolgen. Stellen Sie bei diesem Ansatz jedoch sicher, dass das Sprachmodell generiert wird

Axiomatisches Training ermöglicht es LLM, kausales Denken zu erlernen: Das 67-Millionen-Parameter-Modell ist vergleichbar mit der Billionen-Parameter-Ebene GPT-4 Axiomatisches Training ermöglicht es LLM, kausales Denken zu erlernen: Das 67-Millionen-Parameter-Modell ist vergleichbar mit der Billionen-Parameter-Ebene GPT-4 Jul 17, 2024 am 10:14 AM

Zeigen Sie LLM die Kausalkette und es lernt die Axiome. KI hilft Mathematikern und Wissenschaftlern bereits bei der Forschung. Beispielsweise hat der berühmte Mathematiker Terence Tao wiederholt seine Forschungs- und Forschungserfahrungen mit Hilfe von KI-Tools wie GPT geteilt. Damit KI in diesen Bereichen konkurrenzfähig sein kann, sind starke und zuverlässige Fähigkeiten zum kausalen Denken unerlässlich. Die in diesem Artikel vorgestellte Forschung ergab, dass ein Transformer-Modell, das auf die Demonstration des kausalen Transitivitätsaxioms für kleine Graphen trainiert wurde, auf das Transitivitätsaxiom für große Graphen verallgemeinern kann. Mit anderen Worten: Wenn der Transformer lernt, einfache kausale Überlegungen anzustellen, kann er für komplexere kausale Überlegungen verwendet werden. Der vom Team vorgeschlagene axiomatische Trainingsrahmen ist ein neues Paradigma zum Erlernen des kausalen Denkens auf der Grundlage passiver Daten, nur mit Demonstrationen

Ein bedeutender Durchbruch in der Riemann-Hypothese! Tao Zhexuan empfiehlt dringend neue Arbeiten vom MIT und Oxford, und der 37-jährige Fields-Medaillengewinner nahm daran teil Ein bedeutender Durchbruch in der Riemann-Hypothese! Tao Zhexuan empfiehlt dringend neue Arbeiten vom MIT und Oxford, und der 37-jährige Fields-Medaillengewinner nahm daran teil Aug 05, 2024 pm 03:32 PM

Kürzlich gelang der Riemann-Hypothese, die als eines der sieben großen Probleme des Jahrtausends bekannt ist, ein neuer Durchbruch. Die Riemann-Hypothese ist ein sehr wichtiges ungelöstes Problem in der Mathematik, das sich auf die genauen Eigenschaften der Verteilung von Primzahlen bezieht (Primzahlen sind Zahlen, die nur durch 1 und sich selbst teilbar sind, und sie spielen eine grundlegende Rolle in der Zahlentheorie). In der heutigen mathematischen Literatur gibt es mehr als tausend mathematische Thesen, die auf der Aufstellung der Riemann-Hypothese (oder ihrer verallgemeinerten Form) basieren. Mit anderen Worten: Sobald die Riemann-Hypothese und ihre verallgemeinerte Form bewiesen sind, werden diese mehr als tausend Sätze als Theoreme etabliert, die einen tiefgreifenden Einfluss auf das Gebiet der Mathematik haben werden, und wenn sich die Riemann-Hypothese als falsch erweist, dann unter anderem Auch diese Sätze werden teilweise ihre Gültigkeit verlieren. Neuer Durchbruch kommt von MIT-Mathematikprofessor Larry Guth und der Universität Oxford

arXiv-Artikel können als „Barrage' gepostet werden, die Diskussionsplattform von Stanford alphaXiv ist online, LeCun gefällt es arXiv-Artikel können als „Barrage' gepostet werden, die Diskussionsplattform von Stanford alphaXiv ist online, LeCun gefällt es Aug 01, 2024 pm 05:18 PM

Prost! Wie ist es, wenn es bei einer Papierdiskussion auf Worte ankommt? Kürzlich haben Studenten der Stanford University alphaXiv erstellt, ein offenes Diskussionsforum für arXiv-Artikel, das es ermöglicht, Fragen und Kommentare direkt zu jedem arXiv-Artikel zu posten. Website-Link: https://alphaxiv.org/ Tatsächlich ist es nicht erforderlich, diese Website speziell zu besuchen. Ändern Sie einfach arXiv in einer beliebigen URL in alphaXiv, um den entsprechenden Artikel direkt im alphaXiv-Forum zu öffnen: Sie können die Absätze darin genau lokalisieren das Papier, Satz: Im Diskussionsbereich auf der rechten Seite können Benutzer Fragen stellen, um dem Autor Fragen zu den Ideen und Details des Papiers zu stellen. Sie können beispielsweise auch den Inhalt des Papiers kommentieren, wie zum Beispiel: „Gegeben an.“

Unbegrenzte Videogenerierung, Planung und Entscheidungsfindung, erzwungene Verbreitung der nächsten Token-Vorhersage und vollständige Sequenzverbreitung Unbegrenzte Videogenerierung, Planung und Entscheidungsfindung, erzwungene Verbreitung der nächsten Token-Vorhersage und vollständige Sequenzverbreitung Jul 23, 2024 pm 02:05 PM

Derzeit sind autoregressive groß angelegte Sprachmodelle, die das nächste Token-Vorhersageparadigma verwenden, auf der ganzen Welt populär geworden. Gleichzeitig haben uns zahlreiche synthetische Bilder und Videos im Internet bereits die Leistungsfähigkeit von Diffusionsmodellen gezeigt. Kürzlich hat ein Forschungsteam am MITCSAIL (darunter Chen Boyuan, ein Doktorand am MIT) erfolgreich die leistungsstarken Fähigkeiten des Vollsequenz-Diffusionsmodells und des nächsten Token-Modells integriert und ein Trainings- und Sampling-Paradigma vorgeschlagen: Diffusion Forcing (DF). ). Papiertitel: DiffusionForcing:Next-tokenPredictionMeetsFull-SequenceDiffusion Papieradresse: https:/

See all articles