Stable AI veröffentlicht ein stabiles Videodiffusionsmodell, um Videos basierend auf Bildern zu generieren

IT House News hat am 22. November Stability AI, ein Startup-Unternehmen, das sich auf die Entwicklung von Produkten für künstliche Intelligenz (KI) konzentriert, sein neuestes KI-Modell veröffentlicht – Stable Video Diffusion. Dieses Modell kann Videos aus vorhandenen Bildern generieren und ist eine Erweiterung des zuvor veröffentlichten Text-zu-Bild-Modells Stable Diffusion. Es ist auch eines der wenigen KI-Modelle auf dem Markt, das bisher Videos generieren kann.

Dieses Modell steht jedoch derzeit nicht jedem offen. Stable Video Diffusion befindet sich derzeit in einer Phase, die Stability AI als „Forschungsvorschau“ bezeichnet. Wer dieses Modell nutzen möchte, muss einigen Nutzungsbedingungen zustimmen, die die beabsichtigten Anwendungsfälle der stabilen Videoverbreitung (z. B. „pädagogische oder kreative Werkzeuge“, „Design und andere künstlerische Prozesse“ usw.) und unbeabsichtigte Anwendungsfälle spezifizieren (z. B. „ein sachlicher oder wahrer Ausdruck einer Person oder eines Ereignisses“).

Stable Video Diffusion besteht eigentlich aus zwei Modellen – SVD und SVD-XT. SVD kann statische Bilder in Videos mit 14 Bildern und 576 x 1024 Pixeln konvertieren. SVD-XT verwendet die gleiche Struktur, aber die Anzahl der Frames ist auf 24 erhöht. Beide können Videos mit 3 bis 30 Bildern pro Sekunde erzeugen

Laut einem von Stability AI zusammen mit Stable Video Diffusion veröffentlichten Whitepaper wurden SVD und SVD-XT zunächst an einem Datensatz mit Millionen von Videos und dann an einem kleineren Datensatz „Feinabstimmung“ trainiert, dieser Datensatz umfasst nur einige Hundert Tausend bis etwa eine Million Videoclips. Die Quelle dieser Videos ist nicht ganz klar, und das Whitepaper legt nahe, dass viele aus öffentlich zugänglichen Forschungsdatensätzen stammen, sodass es unmöglich ist, zu sagen, ob es urheberrechtliche Probleme gibt.

Sowohl SVD als auch SVD-XT sind in der Lage, hochwertige Vier-Sekunden-Videos zu erzeugen, und nach sorgfältig ausgewählten Beispielen im Stability AI-Blog zu urteilen, ist die Qualität vergleichbar mit den neuesten Videogenerationsmodellen von Meta, AI von Google, AI-Startup Runway, und Pika Labs generieren Videos vergleichbar mit

IT House hat festgestellt, dass es auch Einschränkungen bei der Verbreitung stabiler Videos gibt. Stabilitäts-KI ist diesbezüglich ebenfalls sehr offen und sagt, dass die Modelle keine Videos ohne Bewegung oder langsame Kameraschwenks erzeugen können, nicht mit Text gesteuert werden können, keinen Text wiedergeben können (zumindest nicht klar) und nicht durchgehend „richtig“ Gesichter und Charaktere erzeugen können

Obwohl Stability AI bereits in einem frühen Stadium feststellt, dass diese Modelle hoch skalierbar sind und an eine Vielzahl von Anwendungsfällen angepasst werden können, beispielsweise die Generierung von 360-Grad-Ansichten von Objekten

Das ultimative Ziel von Stability AI scheint es zu sein, es zu kommerzialisieren, da Stable Video Diffusion potenzielle Anwendungen in „Werbung, Bildung, Unterhaltung und anderen Bereichen“ hat.

Das obige ist der detaillierte Inhalt vonStable AI veröffentlicht ein stabiles Videodiffusionsmodell, um Videos basierend auf Bildern zu generieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!