Einen Tag nachdem Pika eine neue Funktion zur Audio- und Videosynchronisierung eingeführt hat, ist das Rollover-Video da

Pikas neue Soundeffekt-Funktion „Sound Effects“ hält sowohl große Überraschungen als auch kleine „Schrecken“ bereit.

Das Aufkommen von Sora hat Vincent-Videomodelle und -Anwendungen populär gemacht. Die meisten von solchen Modellen generierten Videos sind jedoch stumm. Daher begannen die Menschen, sich mit der „Synchronisation“ für KI-generierte Videos zu beschäftigen.

Vertreter in diesem Bereich sind unter anderem das AI-Voice-Cloning-Startup ElevenLab, das zuvor die Synchronisation für Soras Demonstrationsvideo erstellte und dessen Soundeffekte nahezu nicht mit dem Videobild kompatibel waren.

Jetzt hat Pika, das Videogenerierungs-Startup, das einst den KI-Kreis zum Explodieren brachte, endlich einen neuen Schritt – die Einführung von Sound Effects, das nahtlos Soundeffekte zu von Pika generierten Videos hinzufügen kann.

Pika bietet zwei Möglichkeiten, Soundeffekte zu erzeugen: Eine besteht darin, eine Aufforderung zur Beschreibung des Sounds zu geben, den Sie hören möchten, und die andere darin, automatisch Sounds direkt basierend auf dem Videoinhalt zu generieren.

Wie gut passen die Soundeffekte zum Videoinhalt? Werfen wir einen ersten Blick.

Die Soundeffektfunktion von Pika steht jedoch nur Super Collaborator- und Pro-Benutzern zum Testen zur Verfügung. Normale Benutzer können nur noch etwas warten.

Derzeit hat Pika offiziell viele Demos veröffentlicht.

Experience-Adresse: https://pika.art/

Zum Beispiel das Geräusch des brutzelnden Grills, man kann auch vage sehen, wie der Rauch aus dem Grill kommt, das hochauflösende Bild gepaart mit realistischem Ton Effekte, die den Menschen sofort das Gefühl geben, knusprig, salzig und würzig zu sein, wenn sie in die Zungenspitze strömen:

Wenn Sie die Stimme ändern möchten, kein Problem, klicken Sie auf die Schaltfläche „Wiederherstellen“ unter dem Video und geben Sie die Audiobeschreibung ein Sie möchten in der angezeigten Dialogbox:

Der kleine Frosch liegt auf dem Lotusblatt und krächzt. Wenn Sie genau hinhören, können Sie in der Ferne auch das Zirpen der Zikaden hören sieht sehr fehlerhaft aus, zum Beispiel ist das Lotusblatt rot. Ja, es gibt Beine am Hinterleib des Frosches): Feuerwerkskörper blühen in der Luft und machen im Moment des Aufblühens ein lautes Krachergeräusch. Das Klicken ist Sehr genau:

Das Obige ist nur ein offizielles Beispiel. Welche Wirkung hat das erzeugte Audio? Werfen wir noch einen Blick auf die wahren Gefühle der ersten Benutzerwelle.

Die ersten Testversionen sind da: Es gibt Überraschungen und Enttäuschungen

Nachdem Pika die Soundeffekt-Funktion gestartet hat, haben die ersten Testbenutzer bereits ihre KI-Videos mit Soundeffekten gepostet.

Zum Beispiel das vom Benutzer @TomLikesRobots erstellte Video von Menschen im Regen, in dem er sagte, dass die Soundeffekte sehr gut zum Video zu passen schienen und viel Atmosphäre hinzufügten.

Zum Beispiel hat der von Benutzer @RetropunkAI generierte Kaninchen-Blockbuster sehr interessante Soundeffekte.

Zum Beispiel hat Benutzer @AiFreak_tool dem generierten Video verschiedene Soundeffekte hinzugefügt.

Natürlich passen die von Soundeffekten erzeugten Soundeffekte nicht immer zum Videothema und Bild, wie im Beispiel unten.

                                                                                                                                                   ^{Das stimmt nicht, aber es befindet sich immerhin im Beta-Stadium, also ist es verständlich.}

Obwohl es gelegentlich zu Überschlägen kommt, freuen sich immer noch mehr Menschen darauf, dass Pika die API so schnell wie möglich öffnet.

Das obige ist der detaillierte Inhalt vonEinen Tag nachdem Pika eine neue Funktion zur Audio- und Videosynchronisierung eingeführt hat, ist das Rollover-Video da. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!