Pika가 새로운 오디오 및 비디오 동기화 기능을 출시한 지 하루 만에 롤오버 비디오가 나왔습니다.

Pika의 새로운 음향 효과 기능인 "음향 효과"에는 큰 놀라움과 작은 "무서움"이 있습니다.

Sora의 등장으로 Vincent 비디오 모델과 애플리케이션이 인기를 끌었습니다. 그러나 이러한 모델에서 생성된 동영상의 대부분은 무음입니다. 따라서 사람들은 AI가 생성한 비디오에 대한 "더빙"을 탐색하기 시작했습니다.

이 분야의 대표자로는 앞서 소라의 시연영상에 더빙을 제작한 AI 음성복제 스타트업 일레븐랩(ElevenLab)이 있는데, 음향효과가 영상사진과 거의 호환되지 않았다.

한때 AI계를 돌풍시켰던 비디오 세대 스타트업 피카(Pika)가 마침내 새로운 움직임을 보였습니다. 피카가 생성한 비디오에 음향 효과를 원활하게 추가할 수 있는 사운드 효과(Sound Effects)를 출시한 것입니다.

Pika에는 사운드 효과를 생성하는 두 가지 방법이 있습니다. 하나는 듣고 싶은 사운드를 설명하라는 프롬프트를 제공하는 것이고, 다른 하나는 비디오 콘텐츠를 기반으로 직접 자동으로 사운드를 생성하는 것입니다.

음향 효과가 영상 내용과 얼마나 잘 어울리는지? 먼저 살펴보겠습니다.

그러나 Pika의 음향 효과 기능은 Super Collaborator 및 Pro 사용자에게만 테스트용으로 열려 있습니다. 일반 사용자는 조금 더 기다릴 수 있습니다.

현재 Pika는 공식적으로 많은 데모를 출시했습니다.

체험주소 : https://pika.art/

예를 들어 지글지글 바베큐 소리, 바비큐에서 나오는 연기도 희미하게 보이는데, 실감나는 소리와 결합된 고화질 사진 효과, 즉시 혀끝에 퍼지는 바삭함, 짠맛, ​​매운맛을 느껴보세요:

목소리를 바꾸고 싶다면 문제 없습니다. 동영상 아래의 다시 실행 버튼을 클릭하고 오디오 설명을 입력하세요. 나타나는 대화 상자에서 원하는 것입니다.

작은 개구리가 연잎 위에 누워 짖고 있습니다. 자세히 들어보면 멀리서 매미가 지저귀는 소리도 들립니다(하지만 생성된 영상은 매우 결함이 있어 보입니다. 예를 들어 연잎이 빨간색입니다. 예, 개구리의 복부에 다리가 있습니다.): 공중에서 불꽃이 피어나는데, 피는 순간 큰 폭죽 소리를 냅니다. 매우 정확함:

위는 단지 공식적인 예일 뿐입니다. 생성된 오디오의 효과는 무엇입니까? 첫 번째 사용자의 실제 감정을 살펴보겠습니다.

첫 번째 평가판 경험이 나왔습니다. 놀라움과 실망이 있습니다.

Pika가 음향 효과 기능을 시작한 후 첫 번째 평가판 사용자는 이미 음향 효과가 포함된 AI 동영상을 게시했습니다.

예를 들어 @TomLikesRobots 사용자가 제작한 빗속의 사람들 영상은 음향 효과가 영상과 너무 잘 어울리는 것 같아 분위기를 많이 더해준다고 하더군요.

예를 들어 @RetropunkAI라는 사용자가 제작한 토끼 블록버스터에는 매우 흥미로운 음향 효과가 있습니다.

예를 들어 @AiFreak_tool 사용자는 생성된 비디오에 다양한 음향 효과를 추가했습니다.

물론, 음향 효과로 생성된 음향 효과는 아래 예와 같이 비디오 테마와 그림에 항상 맞지 않을 수도 있습니다.

 ^{~  사실이 아니지만, 결국 베타 단계이기 때문에 이해는 됩니다.}

가끔 전복되는 경우도 있지만, 여전히 피카가 하루빨리 API를 오픈하길 기대하는 분들이 더 많습니다.

위 내용은 Pika가 새로운 오디오 및 비디오 동기화 기능을 출시한 지 하루 만에 롤오버 비디오가 나왔습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!