Un jour après que Pika a lancé une nouvelle fonctionnalité de synchronisation audio et vidéo, la vidéo de survol est là

La nouvelle fonction d'effet sonore de Pika, "Effets sonores", réserve à la fois de grandes surprises et de petites "frayeurs".

L'émergence de Sora a rendu les modèles et applications vidéo Vincent populaires. Cependant, la plupart des vidéos générées par ces modèles sont muettes. Par conséquent, les gens ont commencé à explorer le « doublage » des vidéos générées par l’IA.

Les représentants dans ce domaine incluent ElevenLab, une startup de clonage vocal IA, qui générait auparavant le doublage de la vidéo de démonstration de Sora, et les effets sonores étaient presque incompatibles avec l'image vidéo.

Maintenant, Pika, la startup de génération vidéo qui a autrefois fait exploser le cercle de l'IA, a enfin une nouvelle initiative : le lancement de Sound Effects, qui peut ajouter de manière transparente des effets sonores aux vidéos générées par Pika.

Pika a deux façons de générer des effets sonores : l'une consiste à donner une invite pour décrire le son que vous souhaitez entendre ; l'autre consiste à générer automatiquement des sons directement en fonction du contenu vidéo.

Quant à savoir dans quelle mesure les effets sonores correspondent au contenu vidéo ? Jetons un premier coup d’œil.

Cependant, la fonction Effets sonores de Pika n'est ouverte aux tests que pour les utilisateurs Super Collaborator et Pro. Les utilisateurs ordinaires ne peuvent qu'attendre plus longtemps.

Actuellement, Pika a officiellement publié de nombreuses démos.

Adresse d'expérience : https://pika.art/

Par exemple, le bruit d'un barbecue grésillant, on peut aussi vaguement voir la fumée sortir du barbecue, l'image haute définition couplée à un son réaliste effets, laissez-vous Les gens se sentent immédiatement croustillants, salés et épicés en versant dans le bout de la langue :

Si vous souhaitez changer la voix, pas de problème, cliquez sur le bouton Refaire sous la vidéo et entrez l'audiodescription vous voulez dans la boîte de dialogue qui apparaît. Ça y est :

La petite grenouille est allongée sur la feuille de lotus et coasse Si vous écoutez attentivement, vous pouvez aussi entendre le chant des cigales au loin (mais la vidéo générée. a l'air très imparfait, par exemple, la feuille de lotus est rouge Oui, les grenouilles ont des pattes sur l'abdomen) : Des feux d'artifice fleurissent dans l'air, et ils font un fort bruit de pétard au moment de la floraison. Le clic est très précis :

Ce qui précède n'est qu'un exemple officiel. Nous devons encore savoir quel est l'effet audio généré. Jetons un coup d'œil aux sentiments réels de la première vague d'utilisateurs.

Le premier lot d'expériences d'essai est sorti : il y a des surprises et des déceptions

Après que Pika a lancé la fonction Effets sonores, le premier lot d'utilisateurs d'essai a déjà publié ses vidéos d'IA avec des effets sonores.

Par exemple, la vidéo de personnes sous la pluie générée par l'utilisateur @TomLikesRobots, il a dit que les effets sonores semblaient très bien correspondre à la vidéo, ajoutant beaucoup d'ambiance.

Par exemple, le blockbuster de lapin généré par l'utilisateur @RetropunkAI a des effets sonores très intéressants.

Par exemple, l'utilisateur @AiFreak_tool a ajouté différents effets sonores à la vidéo générée.

Bien entendu, les effets sonores générés par Sound Effects peuvent ne pas toujours correspondre au thème et à l'image de la vidéo, comme dans l'exemple ci-dessous.

                                                                                                                                                                                                         ^{Ce n'est pas vrai, mais il est après tout en phase bêta, donc c'est compréhensible.}

Bien qu'il y ait des renversements occasionnels, de plus en plus de personnes attendent avec impatience que Pika ouvre l'API dès que possible.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!