


Die Wirkung ist explosiv! Das erste Videogenerierungsmodell von OpenAI wurde veröffentlicht, flüssig und hochauflösend in 1 Minute, Internetnutzer: Die gesamte Branche ist RIP
Feb 19, 2024 am 09:30 AMGerade hat Ultraman das erste Videogenerierungsmodell von OpenAI veröffentlicht: Sora.
Erbt perfekt die Bildqualität und die Befehlsverfolgungsfunktionen von DALL·E 3 und kann hochauflösende Videos mit einer Länge von bis zu 1 Minute erstellen.
Das von der KI vorgestellte Frühlingsfest des Jahres des Drachen, mit wehenden roten Fahnen und riesigen Menschenmengen.
Viele Kinder schauten neugierig dem Drachentanzteam zu, und einige Leute zückten ihre Mobiltelefone, um das unterschiedliche Verhalten der Menschen aufzuzeichnen.
Die Straßen von Tokio nach dem Regen, der nasse Boden ReflexionDer Neonlicht-Schatteneffekt ist vergleichbar mit RTX ON.
Das Fenster des fahrenden Zuges ist gelegentlich blockiert und das Spiegelbild der Menschen im Waggon erscheint kurz, was sehr beeindruckend ist.
Sie können sich auch einen Filmtrailer mit der Qualität eines Hollywood-Blockbusters ansehen:
Aus der supernahen Perspektive der vertikalen Leinwand ist diese Eidechse voller Details:
Netizens nennen es „Game Over, Arbeit ist zu viel“ Verloren:
Einige Leute haben sogar begonnen, um eine ganze Branche zu „trauern“:
KI versteht die physische Welt in Bewegung
OpenAI gab an, dass es ist Der KI beibringen, die physische Welt in Bewegung zu verstehen und zu simulieren Ziel ist es, Modelle zu trainieren, um Menschen bei der Lösung von Problemen zu helfen, die eine Interaktion in der realen Welt erfordern.
Das Generieren von Videos basierend auf Textaufforderungen ist nur ein Schritt des gesamten Plans.
Derzeit kann Sora komplexe Szenen mit mehreren Charakteren und spezifischen Bewegungen generieren Es kann nicht nur die von Benutzern in Eingabeaufforderungen gestellten Anforderungen verstehen, sondern auch verstehen, wie diese Objekte in der physischen Welt existieren.
Sora kann auch mehrere Aufnahmen in einem einzigen Video erstellen und sich auf sein tiefes Verständnis der Sprache verlassen, um Stichworte genau zu interpretieren und dabei Charakter und visuellen Stil zu bewahren.
Das wunderschöne, verschneite Tokio ist voller Menschen. Die Kamera bewegt sich durch die belebten Straßen der Stadt und folgt mehreren Menschen, die einen wunderschönen verschneiten Tag genießen und an nahegelegenen Ständen einkaufen. Die wunderschönen Kirschblütenblätter flattern zusammen mit den Schneeflocken im Wind.
OpenAI scheut sich nicht vor Soras aktuellen Schwächen und weist darauf hin, dass es möglicherweise schwierig ist, die physikalischen Prinzipien komplexer Szenen genau zu simulieren, und möglicherweise nicht in der Lage ist, Ursache-Wirkungs-Beziehungen zu verstehen .
Zum Beispiel: „Fünf graue Wolfswelpen spielten und jagten einander auf einer abgelegenen Schotterstraße.“ Die Anzahl der Wölfe wird sich ändern und einige werden aus dem Nichts auftauchen oder verschwinden.
Das Modell kann auch die räumlichen Details der Hinweise verschleiern , wie z. B. die Verwechslung von links und rechts, und kann Schwierigkeiten haben, Ereignisse im Zeitverlauf genau zu beschreiben , wie z. B. das Verfolgen einer bestimmten Kamerabahn.
Zum Beispiel wird bei dem Aufforderungswort „Der Basketball geht durch den Korb und explodiert“ der Basketball nicht richtig vom Korb blockiert.
In Bezug auf die Technologie hat OpenAI derzeit nicht viel preisgegeben. Eine kurze Einführung lautet wie folgt:
Sora ist ein Diffusionsmodell, das ausgehend von Rauschen das gesamte Video auf einmal generieren oder die Länge des Videos verlängern kann.
Der Schlüssel besteht darin, dass Vorhersagen für mehrere Bilder gleichzeitig generiert Das Motiv des Bildes kann auch dann erkannt werden, wenn es vorübergehend das Sichtfeld verlässt. Kann unverändert bleiben. Ähnlich wie das GPT-Modell verwendet Sora die Transformer-Architektur, die hoch skalierbar ist.
In Bezug auf die Daten stellt OpenAI Videos und Bilder als Patches dar, ähnlich wie Tokens in GPT.
Mit dieser
einheitlichen Datendarstellung können Modelle auf einem breiteren Spektrum an visuellen Daten als zuvor trainiert werden, die unterschiedliche Dauern, Auflösungen und Seitenverhältnisse abdecken. Sora baut auf früheren Forschungen zu DALL·E- und GPT-Modellen auf. Es nutzt die Restatement-Prompt-Word-Technologie von DALL·E 3, um aussagekräftige Anmerkungen für visuelle Trainingsdaten zu generieren, sodass es den Textanweisungen des Benutzers besser folgen kann.
Neben der Möglichkeit, Videos ausschließlich auf Basis von Textanweisungen zu generieren, ist das Modell auch in der Lage, vorhandene statische Bilder aufzunehmen und daraus Videos zu generieren, wobei der Bildinhalt präzise animiert wird und auf kleine Details geachtet wird.
Das Modell kann auch ein vorhandenes Video aufnehmen und es erweitern oder fehlende Frames ergänzen. Weitere Informationen finden Sie im technischen Dokument
(wird später veröffentlicht). Sora ist die Grundlage für Modelle, die die reale Welt verstehen und simulieren können. OpenAI ist davon überzeugt, dass diese Funktion ein wichtiger Meilenstein bei der Erreichung von AGI sein wird.
Ultraman nimmt Bestellungen online entgegen
Eine Reihe bildender Künstler, Designer und Filmemacher
(sowie OpenAI-Mitarbeiter)haben bereits Zugang zu Sora erhalten. Sie begannen, kontinuierlich neue Werke zu veröffentlichen, und Ultraman begann auch, Bestellungen online entgegenzunehmen.
Geben Sie Ihr Aufforderungswort @sama ein und Sie erhalten möglicherweise eine generierte Videoantwort.
Das obige ist der detaillierte Inhalt vonDie Wirkung ist explosiv! Das erste Videogenerierungsmodell von OpenAI wurde veröffentlicht, flüssig und hochauflösend in 1 Minute, Internetnutzer: Die gesamte Branche ist RIP. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heißer Artikel

Hot-Tools-Tags

Heißer Artikel

Heiße Artikel -Tags

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung!

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert

Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao

Die Kuaishou-Version von Sora „Ke Ling' steht zum Testen offen: Sie generiert über 120 Sekunden Videos, versteht die Physik besser und kann komplexe Bewegungen genau modellieren

Die U.S. Air Force präsentiert ihren ersten KI-Kampfjet mit großem Aufsehen! Der Minister führte die Testfahrt persönlich durch, ohne in den gesamten Prozess einzugreifen, und 100.000 Codezeilen wurden 21 Mal getestet.
