Ein hochauflösendes 16-Sekunden-720p-Video mit einem Objektiv wird mit einem Klick erstellt, und die Open-Source-Version von Sora hält neue Überraschungen bereit

Das Team von Luchen Open-Sora hat bahnbrechende Fortschritte bei der HD-Vincent-Videoqualität und -Generierungszeit in 720p erzielt und unterstützt die nahtlose Produktion hochwertiger Kurzfilme in jedem Stil. Überraschenderweise haben sie sich dafür entschieden ein weiterer Schock für die Open-Source-Community und weiterhin alles als Open-Source-Lösung anzubieten.

Open-Source-Adresse: https://github.com/hpcaitech/Open-Sora

Durch ihre Modellgewichte können sie eine Vielzahl cooler Kurzfilme erzeugen, wie zum Beispiel den engen Kontakt zwischen Wellen und Muscheln und solche, die das tun sind unergründlich Das Geheimnis des Waldes.

Auch die Darstellung von Charakterporträts ist recht realistisch.

kann auch den Cyberpunk-Stil präzise wiedergeben, wodurch der Kurzfilm sofort ein starkes Gefühl für die Zukunft und Technologie vermittelt. Die Bilder sind komprimiert.

kann auch interessante und lebendige Animationsaufnahmen erzeugen und so ein ausdrucksstarkes visuelles Erlebnis bieten. Die Bilder sind komprimiert.

^{Sogar die Produktion von Objektiven auf Filmniveau ist problemlos möglich.} Erzielen Sie beispielsweise sanfte Zoomeffekte und fügen Sie Videos professionelle visuelle Effekte hinzu. Die Bilder sind komprimiert.

Es hilft Filmemachern auch dabei, realistische Filmaufnahmen zu erstellen. Die Bilder sind komprimiert.

Luchens Open-Sora-Modell eröffnet mit seiner hervorragenden Leistung breite Perspektiven im Bereich der Videogenerierung, und ihre Modellgewichte und Trainingscodes sind vollständig Open Source. Interessierte Freunde können ihre GitHub-Adresse besuchen: https://github .com/hpcaitech/Open-Sora. Quelle: LEGO Universe vom Luchen-Team, wo LEGO-Fans das ultimative kreative Erlebnis finden.

Das Luchen-Team ist sich der Beschleunigung von Open Source für die technologischen Durchbrüche von Vincent Video bewusst. Sie veröffentlichen nicht nur weiterhin die Modellgewichte, sondern veröffentlichen auch die technische Route auf Github, damit jeder Spieler es werden kann der Meister des großen Modells von Vincent Video Sie sind nicht mehr nur Zuschauer. Sobald der Bericht herauskam, führten wir schnell eine gründliche Recherche und Analyse durch und versuchten, die neuesten Trends in der Vincent-Videotechnologie zu erfassen. (Berichtsadresse: https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md)

Technische Tiefendekodierung

In diesem vom Luchen OpenSora-Team veröffentlichten technischen Bericht haben sie die Kern- und Schlüsselpunkte dieses Modelltrainings eingehend analysiert. Basierend auf der vorherigen Version wurden das Videokomprimierungsnetzwerk, ein besserer Diffusionsmodellalgorithmus und mehr Steuerbarkeit eingeführt und mehr Daten zum Trainieren eines 1,1B-Diffusionsgenerierungsmodells verwendet. 🔜 Dem Luchen Open-Sora-Team gelang es, mit einer minimalistischen und effektiven Lösung ein Gleichgewicht zwischen Kosten und Qualität zu finden.

Das OpenSora-Team schlug ein innovatives Videokomprimierungsnetzwerk (VAE) vor, das in zwei Dimensionen komprimiert: Raum und Zeit. Konkret führten sie zunächst eine 8x8-fache Komprimierung in der räumlichen Dimension durch, gefolgt von einer weiteren 4-fachen Komprimierung in der zeitlichen Dimension. Durch diese innovative Komprimierungsstrategie wird nicht nur der Nachteil vermieden, dass die Videoglätte aufgrund der Bildextraktion beeinträchtigt wird, sondern auch die Schulungskosten erheblich gesenkt, wodurch eine doppelte Optimierung von Kosten und Qualität erreicht wird.

                                                                                                                                                 Videokomprimierungsnetzwerkstruktur Stable Diffusion 3, das neueste Diffusionsmodell, um die Bildqualität deutlich zu verbessern und Videogenerierung durch Verwendung der Rectified-Flow-Technologie als Ersatz für DDPM. Obwohl der Rectified-Flow-Trainingscode von SD3 noch nicht veröffentlicht wurde, hat das Luchen Open-Sora-Team eine vollständige Trainingslösung basierend auf den Forschungsergebnissen von SD3 bereitgestellt, einschließlich:

Einfacher und benutzerfreundlicher Rectified-Flow Training
Logit-Norm-Zeitschritt-Sampling zur Trainingsbeschleunigung
Zeitschritt-Sampling basierend auf Auflösung und Videolänge
Durch die Integration dieser Technologien können wir nicht nur das Training des Modells beschleunigen, Außerdem kann es die Wartezeit in der Inferenzphase erheblich verkürzen und ein reibungsloses Benutzererlebnis gewährleisten. Darüber hinaus unterstützt diese Schulungslösung auch die Ausgabe mehrerer Video-Seitenverhältnisse während des Inferenzprozesses, erfüllt die Anforderungen von Videomaterialien in verschiedenen Szenarien und stellt den Erstellern von Videoinhalten umfangreichere kreative Werkzeuge zur Verfügung.

Sie enthüllten im Bericht auch weitere Kerndetails zum Modelltraining, einschließlich praktischer Tipps zur Datenbereinigung und Modelloptimierung sowie zum Aufbau eines umfassenderen Modellbewertungssystems, um die Robustheit und Generalisierungsfähigkeiten des Modells sicherzustellen. Sie bieten außerdem eine Gradio-Anwendung, die mit einem Klick bereitgestellt werden kann und die Anpassung von Parametern wie Ausgabe-Bewegungsbewertungen, ästhetischen Bewertungen und Linsenbewegungsmethoden unterstützt. Sie kann sogar Anweisungen automatisch über GPT-4o mit einem Klick ändern und unterstützt chinesische Eingaben. Wenn Sie nicht anders können, als sich die Hände schmutzig zu machen, klicken Sie bitte auf https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md

Durchbrechen Sie den geschlossenen Kreislauf, Open-Source-Empowerment

Von OpenAI Sora Seit seiner Veröffentlichung sind die Erwartungen der Branche an die Offenheit von Sora in die Höhe geschossen, aber die Realität ist, dass es sich weiterhin um ein Wartespiel handelt. Die offene Quelle von Luchen Open-Sora hat der Innovation und Entwicklung von Vincent Video große Dynamik verliehen. „Einem Mann das Fischen beizubringen ist schlimmer, als ihm das Fischen beizubringen.“ Wenn Sie ihre Github-Adresse besuchen, können Sie die Modellgewichte und einen vollständigen Satz an Trainingscodes kostenlos ohne Schwellenwert erhalten, was es Benutzern ermöglicht, von passiven Inhaltskonsumenten zu werden aktive Content-Ersteller. Diese Transformation hat Unternehmensanwendern neue Fähigkeiten eröffnet, um selbständig Vincent Video-Anwendungen zu entwickeln, sei es die Erstellung immersiver Spiele, kreativer Werbung oder die Produktion von Film- und Fernsehblockbustern – die Anwendungsszenarien der Vincent Video-Technologie wurden exponentiell erweitert.

Wir hoffen, dass dieser Funke die Leidenschaft für Innovation im gesamten Vincent-Videobereich entfachen und ein Präriefeuer von der Spitze bis zur Oberfläche entfachen kann.

Schließlich beigefügt ist der Open-Source-Link zu Luchen OpenSora:

https://github.com/hpcaitech/Open-Sora

Referenzlink:

https://wandb.ai/lambdalabs/lego/ Berichte /Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours--Vmlldzo4MDE3MTky

https://hpc-ai.com/blog/open-sora-from-hpc- ai -tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use

Das obige ist der detaillierte Inhalt vonEin hochauflösendes 16-Sekunden-720p-Video mit einem Objektiv wird mit einem Klick erstellt, und die Open-Source-Version von Sora hält neue Überraschungen bereit. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!