Stabile Videoverbreitung ist da! Die 3D-Synthesefunktion erregt Aufmerksamkeit, Internetnutzer: Der Fortschritt ist zu schnell

Stable Video Diffusion hat endlich mit der Verarbeitung von Videos begonnen –

Veröffentlichung des generativen Videomodells Stable Video Diffusion (SVD).

Der offizielle Blog von Stability AI zeigt, dass die neue SVD die Text-zu-Video- und Bild-zu-Video-Generierung unterstützt:

und auch die Konvertierung von Objekten aus einer einzelnen Perspektive in mehrere Perspektiven unterstützt, d. h. 3D-Synthese :

Laut externer Auswertung behaupten Beamte, dass SVD bei Nutzern noch beliebter ist als die Videogenerierungs-KI von Runway und Pika.

Obwohl bisher nur das Basismodell veröffentlicht wurde, gab der Beamte bekannt, dass „es geplant ist, weiter zu expandieren und ein Ökosystem ähnlich der stabilen Diffusion aufzubauen“

Das Gewicht des Papiercodes ist jetzt online.

In letzter Zeit sind im Bereich der Videogenerierung neue Methoden aufgetaucht. Jetzt ist die stabile Verbreitung an der Reihe, so dass die Internetnutzer „schnell“ beklagt haben, ein solcher Fortschritt sei zu schnell!

Aber allein aufgrund des Demo-Effekts sagten mehr Internetnutzer, sie seien nicht sehr überrascht.

Obwohl ich SD mag und diese Demos großartig sind ... aber es gibt auch einige Mängel, die Beleuchtung und der Schatten sind falsch und die allgemeine Inkohärenz (Flimmern zwischen Videobildern).

Alles in allem sind die Internetnutzer sehr optimistisch, was die 3D-Synthesefunktion von SVD angeht:

Ich kann garantieren, dass bald etwas Besseres herauskommt, um es vorzustellen. Eine komplette 3D-Szene

Die offizielle Version des SD-Videos kommt

Zusätzlich zu dem, was oben gezeigt wird, hat der Beamte auch weitere Demos veröffentlicht, werfen wir zuerst einen Blick darauf:

Weltraumspaziergänge gibt es auch geplant:

Sie können den Hintergrund auch ruhig halten und nur die beiden Vögel bewegen lassen:

Berichten zufolge basiert SVD auch auf Stable Diffusion 2.1 und verwendet ein Videodatensatz mit etwa 600 Millionen Samples. Das Basismodell ist vorab trainiert.

Einfache Anpassung an eine Vielzahl nachgelagerter Aufgaben, einschließlich der Multi-View-Synthese aus einem einzelnen Bild durch Feinabstimmung von Multi-View-Datensätzen.

Nach der Feinabstimmung wurden zwei Bild-zu-Video-Modelle offiziell angekündigt. Diese Modelle können Videos mit 14 Bildern (SVD) und 25 Bildern (SVD-XT) mit benutzerdefinierten Bildraten von 3 bis 30 Bildern pro Sekunde erzeugen, je nach Benutzeranforderungen , wir haben es SVD-MV genannt

Den Testergebnissen zufolge schnitt SVD-MV im GSO-Datensatz besser ab als die Multi-View-Generationsmodelle Zero123, Zero123XL, SyncDreamer:

Es ist erwähnenswert, dass Stability AI angegeben hat, dass SVD derzeit auf die Forschung beschränkt ist und nicht für praktische oder kommerzielle Anwendungen geeignet ist. SVD ist derzeit nicht für jedermann verfügbar, die Registrierung für Benutzerwartelisten ist jedoch möglich.

Die Videogenerierung ist explodiert

Vor kurzem gab es einen „Nahkampf“ im Bereich der Videogenerierung

Zuvor gab es Vincent Video AI, das von PikaLabs entwickelt wurde:

Später gab es ein anderes namens „das leistungsstärkste Video der Geschichte“ Generierende KIMoonvalleygestartet:

Kürzlich wurde auch die „Bewegungspinsel“-Funktion der Gen-2 offiziell eingeführt, Sie können zeichnen, wo immer Sie wollen:

Jetzt ist SVD wieder aufgetaucht, und es besteht ein weiterer Bedarf. Es ist möglich, 3D-Videos zu generieren

Aber es scheint keine großen Fortschritte bei der Text- bis 3D-Generierung zu geben, und die Internetnutzer sind auch sehr verwirrt über dieses Phänomen

Einige Die Leute denken, dass Daten der Engpass sind, der die Entwicklung behindert:

Einige Internetnutzer denken, dass das Problem darin besteht, dass die Fähigkeit des verstärkenden Lernens nicht stark genug ist

Kennen Sie die neuesten Fortschritte in diesem Bereich? Willkommen bei Im Kommentarbereich teilen~

Papierlink: https://static1.squarespace .com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf Was neu geschrieben werden muss ist:

Das obige ist der detaillierte Inhalt vonStabile Videoverbreitung ist da! Die 3D-Synthesefunktion erregt Aufmerksamkeit, Internetnutzer: Der Fortschritt ist zu schnell. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!