Open-Source-KI-Videotool, Sie müssen nur Regisseur sein, erstellt von HuggingFace-Ingenieuren

Um Videos mit Clapper zu erstellen, müssen Sie nur der Regisseur sein.

Sobald Sora herauskam, scheint die Videobranche in die Ära der generativen KI eingetreten zu sein. Aber bis heute haben wir das offizielle Tool zur Videogenerierung von OpenAI noch nicht genutzt und Leute, die es kaum erwarten können, haben begonnen, nach anderen Methoden zu suchen.

In den letzten Wochen hat Clapper, ein Open-Source-Videobearbeitungstool, die Aufmerksamkeit der Menschen auf sich gezogen.

Im Gegensatz zu den Videogeneratoren vieler Technologieunternehmen ist Clapper ein Open-Source-Tool zur Visualisierung von KI-Storys, das vor einem Jahr als Prototyp auf den Markt kam. Es ist nicht dazu gedacht, herkömmliche Videoeditoren oder moderne KI-Editoren zu ersetzen, die 3D-Szenen als Eingabe verwenden.

Die Philosophie von Clapper besteht darin, verschiedene generative KI-Technologien zusammenzuführen, um es jedem zu ermöglichen, mithilfe von KI durch einen interaktiven, iterativen und intuitiven Prozess Videos zu erstellen. Es sind keine externen Tools, Filmemachen oder KI-Ingenieurkenntnisse erforderlich. In Clapper müssen Sie Sequenzen von Video- und Audiodateien nicht direkt bearbeiten, sondern iterieren stattdessen Ihre Geschichte basierend auf KI-Agenten, indem Sie übergeordnete, abstrakte Konzepte wie Charaktere, Orte, Wetter, Zeiträume, Stile usw. anpassen mehr.

Clapper-Autor Julian Bilcke ist KI-Frontend-Ingenieur bei HuggingFace. Er sagte, dass er, um in dieser Richtung weiterzuarbeiten, auch einen Regisseurmodus entwickelt: Ziel ist es, Benutzern die Möglichkeit zu geben, Videos im Vollbildmodus abzuspielen, bequem auf dem Regiestuhl (oder Sofa) zu sitzen, dem Agenten Befehle zuzurufen, und lassen Sie die KI Filme machen.

In den letzten Tagen hat Julian Bilcke neue Funktionen eingeführt, beispielsweise die Verwendung großer Modelle, um beliebigen Text in Zeitleisten umzuwandeln. Auch die Popularität von Clapper hat zugenommen und es hat bereits mehr als 1.100 Sterne auf GitHub.

• GitHub-Link: https://github.com/jbilcke-hf/clapper
• HuggingFace-Link: https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
• Test-URL: https://clapper.app/

Anwendung

Da es sich um ein Open-Source-Tool handelt, schauen wir uns natürlich vor allem an, ob es funktioniert ist einfach zu bedienen.

Erinnern Sie sich noch an die Erfahrung von KI-Meister Karpathy bei der Erstellung von KI-Kurzvideos? Um die ersten drei Sätze von „Pride and Prejudice“ in eine animierte Version zu verwandeln, brauchte dieser Top-Experte eine ganze Stunde. Obwohl es nur drei Sätze und drei Szenen gibt, ist dieser Arbeitsablauf weitaus komplizierter als drei Sätze. Er verwendete zunächst Claude, um eine Reihe von Bildaufforderungswörtern basierend auf dem Originaltext zu generieren, gab diese Aufforderungswörter dann in das Vincent-Grafikmodell ein, um die entsprechenden Bilder zu generieren, und übergab sie dann an das Videomodell, um Animationen zu erstellen wurde Elevenlabs zugewiesen und schließlich setzte er alle Teile in Veed Studio zusammen.

Nachdem Karpathy fertig war, twitterte er, um sich zu beschweren: „Unternehmer, die Gelegenheit ist gekommen! Der Markt braucht dringend ein KI-Tool, das diese Prozesse integrieren und vereinfachen kann.“ Clapper ist genau eine One-Stop-Plattform, die all diese Funktionen integriert.

Wenn Sie ein kurzes Video erstellen möchten, müssen Sie normalerweise die folgenden Schritte ausführen. Zuerst benötigen Sie eine Geschichte und ein Drehbuch, dann zeichnen Sie Storyboards auf der Grundlage des Drehbuchs, drehen dann Materialien auf der Grundlage der Storyboards oder finden sie, fügen sie in einer Bearbeitungssoftware zusammen, fügen Animationseffekte und Spezialeffekte hinzu und fügen dann selektiv gesprochenes Wort und Hintergrundmusik hinzu Oder Soundeffekte. Daraus entstand die Arbeitsteilung in der Film- und Fernsehproduktionsbranche wie Choreografie, Regie, Fotografie, Schnitt, Postproduktion und Synchronisation.

Bei Clapper folgt die Videoproduktion einer anderen Logik. Jede Spur davon entspricht nicht Video- oder Bildmaterial wie Premier, Cutting und anderen Bearbeitungsprogrammen, sondern entspricht einer bestimmten Art von Arbeit.

                                                                                                                                                            的 Clappers Track

^{Wenn es um den Einsatz von KI für Videos geht, sind wir Partei A. Clapper ist wie eine Crew bestehend aus der besten KI der Branche. Clapper hat eine Reihe „erstklassiger“ großer Modelle wie GPT-4o, Claude 3.5 (Sonnet) usw. eingebaut. Es ist wie der Geschäftsführer von Partei B, der dafür verantwortlich ist, Ihre Bedürfnisse mit dem entsprechenden „KI-Direktor“ zu verbinden.}

Wie Sie auf dem Bild oben sehen können, stellt der erste Track das Storyboard dar und kommuniziert mit dem integrierten großen Modell von Clapper. Es ruft das Vincent-Diagrammmodell über die API auf und lässt den KI-Storyboard-Lehrer das generieren Entsprechende Bilder dienen als Grundlage für Videobilder. Über CLAPPER können Sie auf das obige Wensheng-Kartenmodell zugreifen. Nehmen Sie die von Clapper bereitgestellten Beispiele. Der nächste Titel entspricht der Szene, der Erzählung, der Kameraperspektive, der Hintergrundmusik und den Soundeffekten. Sie können ElevenLabs oder Fal.ai bitten, für diese westliche Ödlandgeschichte Windgeräusche aus Ruinen oder Explosionen aus Schießereien zu erzeugen.

Und Clapper hat auch eine Funktion, die dem Traum vom „Filmemachen durch Sprechen“ wirklich einen großen Schritt näher kommen könnte. Wir können das Drehbuch direkt in Clapper importieren und in der Spalte „Story“ sorgfältig einen Charakter für Ihren Protagonisten erstellen.

Am Beispiel von „Der Zauberer von Oz“ können wir den Charakteren nicht nur individuellere Charakterbeschreibungen hinzufügen, sondern auch Bilder hochladen, um das visuelle Bild der Heldin Dorothy festzulegen. Das heißt, wir können jeden Schauspieler auf der Welt bitten, diese Rolle zu spielen, selbst wenn Sie einen 18-jährigen DiCaprio in der Rolle der Dorothy sehen möchten, können Sie das tun. Die Funktionen von Clapper sind so detailliert, dass Sie das Alter und die Klangfarbe der Charaktere, die Einrichtung jeder Szene, die Möbel in Dorothys Zimmer und das Aussehen des Hauses in ihrem Abenteuerziel „Emerald City“ anpassen können – alles kann angepasst werden in der Klappeneinstellung angepasst.

Natürlich können Sie KI auch nutzen, um zunächst einige Atmosphärenbilder zu zeichnen, was Ihre Inspiration und Kreativität weiter anregen kann.

Obwohl die Funktion von Clapper die Anforderungen beim Erstellen von Videos vollständig berücksichtigt hat, ist ihre Wirkung etwas unbefriedigend. Die Bewegungen der Figuren im Bild sind nicht nur etwas „gespenstisch“, sie entsprechen auch nicht den Gesetzen der körperlichen Bewegung. Der Gesamteffekt des Videos gleicht eher einem bewegten PPT, es mangelt an Übergängen und Kontinuität zwischen den Aufnahmen, und der Soundtrack ist ebenfalls voller KI, klingt ohne Melodie und weist etwas Rauschen auf.

Es kann lange dauern, bis generative KI den Videoproduktionsprozess verändert, aber das Aufkommen von Clapper kann großen Herstellern ermöglichen, die KI-Funktionen für herkömmliche Videobearbeitungssoftware weiter zu entwickeln eine neue Umsetzungsidee.

Referenzinhalt:

https://news.ycombinator.com/item?id=41221399

https://x.com/aigclink/status/181 8 111874531205216

Das obige ist der detaillierte Inhalt vonOpen-Source-KI-Videotool, Sie müssen nur Regisseur sein, erstellt von HuggingFace-Ingenieuren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!