Heim Technologie-Peripheriegeräte KI „Famous Scenes from Huaguo Mountain' hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor

„Famous Scenes from Huaguo Mountain' hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor

Jan 11, 2024 pm 07:57 PM
工程

Diffusionsmodelle haben bemerkenswerte Erfolge bei der Bilderzeugung erzielt, aber es gibt immer noch Herausforderungen bei der Anwendung auf Video-Superauflösung. Die Superauflösung von Videos erfordert Ausgabetreue und zeitliche Konsistenz, was durch die inhärente Stochastik von Diffusionsmodellen erschwert wird. Daher bleibt die effektive Anwendung von Diffusionsmodellen auf Video-Superauflösung eine herausfordernde Aufgabe.

Ein Forschungsteam vom S-Lab der Nanyang Technological University schlug ein textgesteuertes Latentdiffusions-Framework namens Upscale-A-Video für Video-Superauflösung vor. Das Framework gewährleistet zeitliche Konsistenz durch zwei Schlüsselmechanismen. Erstens werden auf lokaler Ebene zeitliche Schichten in U-Net und VAE-Decoder integriert, um die Konsistenz kurzer Sequenzen aufrechtzuerhalten. Zweitens führt das Framework auf globaler Ebene ein flussgesteuertes, wiederkehrendes Latentausbreitungsmodul ein, das Latentsignale in der gesamten Sequenz ohne Training ausbreitet und verschmilzt und so die allgemeine Videostabilität verbessert. Der Vorschlag dieses Frameworks bietet eine neue Lösung für Video-Superauflösung mit besserer zeitlicher Konsistenz und Gesamtstabilität.

„Famous Scenes from Huaguo Mountain hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor

Papieradresse: https://arxiv.org/abs/2312.06640

Upscale-A-Video gewinnt durch das Diffusionsparadigma an großer Flexibilität. Es ermöglicht die Verwendung von Textaufforderungen zur Steuerung der Texturerstellung, und die Rauschpegel können angepasst werden, um Wiedergabetreue und Qualität zwischen Wiederherstellung und Generierung auszugleichen. Diese Funktion ermöglicht es der Technologie, Details zu verfeinern und gleichzeitig die Bedeutung des Originalinhalts beizubehalten, was zu präziseren Ergebnissen führt.

Experimentelle Ergebnisse zeigen, dass Upscale-A-Video bestehende Methoden bei synthetischen und realen Benchmarks übertrifft und beeindruckenden visuellen Realismus und zeitliche Konsistenz bietet.

Schauen wir uns zunächst einige konkrete Beispiele an. Mithilfe von Upscale-A-Video gibt es beispielsweise eine hochauflösende Version von „Famous Scenes from Huaguo Mountain“:

„Famous Scenes from Huaguo Mountain hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor

Verglichen mit StableSR, Upscale -A-Video macht das Video Die Eichhörnchenhaartextur ist deutlich sichtbar in:

„Famous Scenes from Huaguo Mountain hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor

Methodeneinführung

Einige Studien optimieren Bilddiffusionsmodelle, um sie an Videoaufgaben anzupassen, indem sie Strategien zur zeitlichen Konsistenz einführen. Diese Strategien umfassen die folgenden zwei Methoden: Erstens die Feinabstimmung von Videomodellen über zeitliche Schichten wie 3D-Faltung und zeitliche Aufmerksamkeit, um die Videoverarbeitungsleistung zu verbessern. Zweitens werden Zero-Shot-Mechanismen wie Cross-Frame-Aufmerksamkeit und flussgesteuerte Aufmerksamkeit verwendet, um das vorab trainierte Modell abzustimmen und die Leistung bei Videoaufgaben zu verbessern. Die Einführung dieser Methoden ermöglicht es dem Bilddiffusionsmodell, Videoaufgaben besser zu bewältigen und dadurch den Effekt der Videoverarbeitung zu verbessern.

Obwohl diese Lösungen die Videostabilität erheblich verbessern, bestehen immer noch zwei Hauptprobleme:

  • Aktuelle Methoden, die in U-Net-Funktionen oder latenten Räumen arbeiten, haben Schwierigkeiten, eine niedrige Konsistenz aufrechtzuerhalten, und es bestehen immer noch Probleme wie Texturflimmern.

  • Bestehende zeitliche Schichten und Aufmerksamkeitsmechanismen können nur kurzen lokalen Eingabesequenzen Beschränkungen auferlegen, was ihre Fähigkeit, globale zeitliche Konsistenz in längeren Videos sicherzustellen, einschränkt.

Um diese Probleme zu lösen, wendet Upscale-A-Video eine lokal-globale Strategie an, um die zeitliche Konsistenz bei der Videorekonstruktion aufrechtzuerhalten, wobei der Schwerpunkt auf feinkörniger Textur und Gesamtkonsistenz liegt. Bei lokalen Videoclips untersucht diese Studie die Verwendung zusätzlicher zeitlicher Schichten auf Videodaten, um ein vorab trainiertes Bild ×4-Superauflösungsmodell zu optimieren.

Insbesondere innerhalb des latenten Diffusionsrahmens optimiert diese Studie zunächst U-Net mithilfe integrierter 3D-Faltung und zeitlicher Aufmerksamkeitsschichten und verwendet dann videokonditionierte Eingaben und 3D-Faltung, um den VAE-Decoder abzustimmen. Ersteres sorgt für eine erhebliche strukturelle Stabilität lokaler Sequenzen, und letzteres verbessert die Konsistenz auf niedriger Ebene weiter und reduziert das Flimmern der Textur. Auf globaler Ebene stellt diese Studie ein neuartiges, trainingsfreies, flussgesteuertes, wiederkehrendes Latentausbreitungsmodul vor, das während der Inferenz eine Frame-für-Frame-Ausbreitung und Latentfusion in beide Richtungen durchführt und so die Gesamtstabilität langer Videos fördert.

Das Upscale-A-Video-Modell kann Textaufforderungen als optionale Bedingungen verwenden, um das Modell anzuleiten, realistischere und qualitativ hochwertigere Details zu erzeugen, wie in Abbildung 1 dargestellt.

„Famous Scenes from Huaguo Mountain hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor

Upscale-A-Video unterteilt das Video in Segmente und verarbeitet sie mithilfe von U-Net mit zeitlichen Schichten, um eine Konsistenz innerhalb der Segmente zu erreichen. Ein wiederkehrendes latentes Ausbreitungsmodul wird verwendet, um die Konsistenz zwischen Fragmenten während der vom Benutzer angegebenen globalen Verfeinerungsdiffusion zu verbessern. Schließlich reduziert ein fein abgestimmter VAE-Decoder Flimmerartefakte und erreicht eine Konsistenz auf niedrigem Niveau.

„Famous Scenes from Huaguo Mountain hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor
„Famous Scenes from Huaguo Mountain hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor

Experimentelle Ergebnisse

Upscale-A-Video erreicht SOTA-Leistung bei bestehenden Benchmarks und demonstriert hervorragenden visuellen Realismus und zeitliche Konsistenz.

Quantitative Bewertung. Wie in Tabelle 1 gezeigt, erreicht Upscale-A-Video das höchste PSNR in allen vier synthetischen Datensätzen, was auf seine hervorragenden Rekonstruktionsfähigkeiten hinweist.

„Famous Scenes from Huaguo Mountain hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor

Qualitative Beurteilung. Die Studie zeigt die visuellen Ergebnisse synthetischer und realer Videos in den Abbildungen 4 und 5. Upscale-A-Video übertrifft bestehende CNN- und diffusionsbasierte Methoden sowohl bei der Artefaktentfernung als auch bei der Detailgenerierung deutlich.

„Famous Scenes from Huaguo Mountain hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor

„Famous Scenes from Huaguo Mountain hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor

Das obige ist der detaillierte Inhalt von„Famous Scenes from Huaguo Mountain' hat eine hochauflösende Version, und NTU schlägt ein Video-Super-Resolution-Framework Upscale-A-Video vor. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Der Autor von ControlNet hat einen weiteren Hit! Der gesamte Prozess der Generierung eines Gemäldes aus einem Bild, der in zwei Tagen 1,4.000 Sterne verdient Der Autor von ControlNet hat einen weiteren Hit! Der gesamte Prozess der Generierung eines Gemäldes aus einem Bild, der in zwei Tagen 1,4.000 Sterne verdient Jul 17, 2024 am 01:56 AM

Es ist ebenfalls ein Tusheng-Video, aber PaintsUndo ist einen anderen Weg gegangen. ControlNet-Autor LvminZhang begann wieder zu leben! Dieses Mal ziele ich auf den Bereich der Malerei. Das neue Projekt PaintsUndo hat nicht lange nach seinem Start 1,4.000 Sterne erhalten (die immer noch wahnsinnig steigen). Projektadresse: https://github.com/lllyasviel/Paints-UNDO Bei diesem Projekt gibt der Benutzer ein statisches Bild ein, und PaintsUndo kann Ihnen dabei helfen, automatisch ein Video des gesamten Malprozesses zu erstellen, vom Linienentwurf bis zum fertigen Produkt . Während des Zeichenvorgangs sind die Linienänderungen erstaunlich. Das Endergebnis des Videos ist dem Originalbild sehr ähnlich: Schauen wir uns eine vollständige Zeichnung an.

Von RLHF über DPO bis TDPO sind große Modellausrichtungsalgorithmen bereits auf „Token-Ebene' Von RLHF über DPO bis TDPO sind große Modellausrichtungsalgorithmen bereits auf „Token-Ebene' Jun 24, 2024 pm 03:04 PM

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einreichungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com Im Entwicklungsprozess der künstlichen Intelligenz war die Steuerung und Führung großer Sprachmodelle (LLM) schon immer eine der zentralen Herausforderungen, um sicherzustellen, dass diese Modelle beides sind kraftvoll und sicher dienen der menschlichen Gesellschaft. Frühe Bemühungen konzentrierten sich auf Methoden des verstärkenden Lernens durch menschliches Feedback (RL

Die agentenlose Lösung von UIUC steht ganz oben auf der Liste der Open-Source-KI-Softwareentwickler und löst problemlos echte Programmierprobleme im SWE-Bench Die agentenlose Lösung von UIUC steht ganz oben auf der Liste der Open-Source-KI-Softwareentwickler und löst problemlos echte Programmierprobleme im SWE-Bench Jul 17, 2024 pm 10:02 PM

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einreichungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com Die Autoren dieses Artikels stammen alle aus dem Team von Lehrer Zhang Lingming an der University of Illinois in Urbana-Champaign, darunter: Steven Code Repair; Doktorand im vierten Jahr, Forscher

Posthume Arbeit des OpenAI Super Alignment Teams: Zwei große Modelle spielen ein Spiel und die Ausgabe wird verständlicher Posthume Arbeit des OpenAI Super Alignment Teams: Zwei große Modelle spielen ein Spiel und die Ausgabe wird verständlicher Jul 19, 2024 am 01:29 AM

Wenn die Antwort des KI-Modells überhaupt unverständlich ist, würden Sie es wagen, sie zu verwenden? Da maschinelle Lernsysteme in immer wichtigeren Bereichen eingesetzt werden, wird es immer wichtiger zu zeigen, warum wir ihren Ergebnissen vertrauen können und wann wir ihnen nicht vertrauen sollten. Eine Möglichkeit, Vertrauen in die Ausgabe eines komplexen Systems zu gewinnen, besteht darin, vom System zu verlangen, dass es eine Interpretation seiner Ausgabe erstellt, die für einen Menschen oder ein anderes vertrauenswürdiges System lesbar ist, d. h. so vollständig verständlich, dass mögliche Fehler erkannt werden können gefunden. Um beispielsweise Vertrauen in das Justizsystem aufzubauen, verlangen wir von den Gerichten, dass sie klare und lesbare schriftliche Stellungnahmen abgeben, die ihre Entscheidungen erläutern und stützen. Für große Sprachmodelle können wir auch einen ähnlichen Ansatz verfolgen. Stellen Sie bei diesem Ansatz jedoch sicher, dass das Sprachmodell generiert wird

Axiomatisches Training ermöglicht es LLM, kausales Denken zu erlernen: Das 67-Millionen-Parameter-Modell ist vergleichbar mit der Billionen-Parameter-Ebene GPT-4 Axiomatisches Training ermöglicht es LLM, kausales Denken zu erlernen: Das 67-Millionen-Parameter-Modell ist vergleichbar mit der Billionen-Parameter-Ebene GPT-4 Jul 17, 2024 am 10:14 AM

Zeigen Sie LLM die Kausalkette und es lernt die Axiome. KI hilft Mathematikern und Wissenschaftlern bereits bei der Forschung. Beispielsweise hat der berühmte Mathematiker Terence Tao wiederholt seine Forschungs- und Forschungserfahrungen mit Hilfe von KI-Tools wie GPT geteilt. Damit KI in diesen Bereichen konkurrenzfähig sein kann, sind starke und zuverlässige Fähigkeiten zum kausalen Denken unerlässlich. Die in diesem Artikel vorgestellte Forschung ergab, dass ein Transformer-Modell, das auf die Demonstration des kausalen Transitivitätsaxioms für kleine Graphen trainiert wurde, auf das Transitivitätsaxiom für große Graphen verallgemeinern kann. Mit anderen Worten: Wenn der Transformer lernt, einfache kausale Überlegungen anzustellen, kann er für komplexere kausale Überlegungen verwendet werden. Der vom Team vorgeschlagene axiomatische Trainingsrahmen ist ein neues Paradigma zum Erlernen des kausalen Denkens auf der Grundlage passiver Daten, nur mit Demonstrationen

Ein bedeutender Durchbruch in der Riemann-Hypothese! Tao Zhexuan empfiehlt dringend neue Arbeiten vom MIT und Oxford, und der 37-jährige Fields-Medaillengewinner nahm daran teil Ein bedeutender Durchbruch in der Riemann-Hypothese! Tao Zhexuan empfiehlt dringend neue Arbeiten vom MIT und Oxford, und der 37-jährige Fields-Medaillengewinner nahm daran teil Aug 05, 2024 pm 03:32 PM

Kürzlich gelang der Riemann-Hypothese, die als eines der sieben großen Probleme des Jahrtausends bekannt ist, ein neuer Durchbruch. Die Riemann-Hypothese ist ein sehr wichtiges ungelöstes Problem in der Mathematik, das sich auf die genauen Eigenschaften der Verteilung von Primzahlen bezieht (Primzahlen sind Zahlen, die nur durch 1 und sich selbst teilbar sind, und sie spielen eine grundlegende Rolle in der Zahlentheorie). In der heutigen mathematischen Literatur gibt es mehr als tausend mathematische Thesen, die auf der Aufstellung der Riemann-Hypothese (oder ihrer verallgemeinerten Form) basieren. Mit anderen Worten: Sobald die Riemann-Hypothese und ihre verallgemeinerte Form bewiesen sind, werden diese mehr als tausend Sätze als Theoreme etabliert, die einen tiefgreifenden Einfluss auf das Gebiet der Mathematik haben werden, und wenn sich die Riemann-Hypothese als falsch erweist, dann unter anderem Auch diese Sätze werden teilweise ihre Gültigkeit verlieren. Neuer Durchbruch kommt von MIT-Mathematikprofessor Larry Guth und der Universität Oxford

arXiv-Artikel können als „Barrage' gepostet werden, die Diskussionsplattform von Stanford alphaXiv ist online, LeCun gefällt es arXiv-Artikel können als „Barrage' gepostet werden, die Diskussionsplattform von Stanford alphaXiv ist online, LeCun gefällt es Aug 01, 2024 pm 05:18 PM

Prost! Wie ist es, wenn es bei einer Papierdiskussion auf Worte ankommt? Kürzlich haben Studenten der Stanford University alphaXiv erstellt, ein offenes Diskussionsforum für arXiv-Artikel, das es ermöglicht, Fragen und Kommentare direkt zu jedem arXiv-Artikel zu posten. Website-Link: https://alphaxiv.org/ Tatsächlich ist es nicht erforderlich, diese Website speziell zu besuchen. Ändern Sie einfach arXiv in einer beliebigen URL in alphaXiv, um den entsprechenden Artikel direkt im alphaXiv-Forum zu öffnen: Sie können die Absätze darin genau lokalisieren das Papier, Satz: Im Diskussionsbereich auf der rechten Seite können Benutzer Fragen stellen, um dem Autor Fragen zu den Ideen und Details des Papiers zu stellen. Sie können beispielsweise auch den Inhalt des Papiers kommentieren, wie zum Beispiel: „Gegeben an.“

Unbegrenzte Videogenerierung, Planung und Entscheidungsfindung, erzwungene Verbreitung der nächsten Token-Vorhersage und vollständige Sequenzverbreitung Unbegrenzte Videogenerierung, Planung und Entscheidungsfindung, erzwungene Verbreitung der nächsten Token-Vorhersage und vollständige Sequenzverbreitung Jul 23, 2024 pm 02:05 PM

Derzeit sind autoregressive groß angelegte Sprachmodelle, die das nächste Token-Vorhersageparadigma verwenden, auf der ganzen Welt populär geworden. Gleichzeitig haben uns zahlreiche synthetische Bilder und Videos im Internet bereits die Leistungsfähigkeit von Diffusionsmodellen gezeigt. Kürzlich hat ein Forschungsteam am MITCSAIL (darunter Chen Boyuan, ein Doktorand am MIT) erfolgreich die leistungsstarken Fähigkeiten des Vollsequenz-Diffusionsmodells und des nächsten Token-Modells integriert und ein Trainings- und Sampling-Paradigma vorgeschlagen: Diffusion Forcing (DF). ). Papiertitel: DiffusionForcing:Next-tokenPredictionMeetsFull-SequenceDiffusion Papieradresse: https:/

See all articles