ICLR 2024 | 오디오 및 비디오 분리에 대한 새로운 관점을 제공하는 Tsinghua University의 Hu Xiaolin 팀은 RTFS-Net을 출시했습니다.

AVSS(시청각 음성 분리) 기술의 주요 목적은 얼굴 정보를 사용하여 혼합 신호에서 대상 화자의 음성을 식별하고 분리하는 것입니다. 이 기술은 스마트 비서, 원격 회의, 증강 현실 등 다양한 분야에 폭넓게 적용됩니다. AVSS 기술을 통해 시끄러운 환경에서 음성 신호의 품질을 크게 향상시켜 음성 인식 및 통신 효과를 향상시킬 수 있습니다. 이 기술의 발전으로 사람들의 일상 생활과 업무가 편리해졌습니다.

전통적인 시청각 음성 분리 방법은 일반적으로 복잡한 모델과 많은 컴퓨팅 리소스를 필요로 하며, 특히 배경이 시끄럽거나 사람이 많은 경우 더욱 그렇습니다. 이 경우 성능이 쉽게 제한됩니다. 이러한 문제를 극복하기 위해 연구자들은 딥러닝 기반 방법을 탐색하기 시작했습니다. 그러나 기존 딥러닝 기술은 계산 복잡도가 높고, 미지의 환경에 적응하기 어렵다는 과제를 안고 있습니다.

구체적으로 현재의 시청각 음성 분리 방식은 다음과 같은 문제점이 있습니다.

• 시간 영역 방식: 고품질의 오디오 분리 효과를 제공할 수 있지만, 매개 변수가 많아짐에 따라 계산 복잡도가 높아지고 처리 속도가 빨라집니다. 더 느립니다.

• 시간-주파수 영역 방법: 계산적으로 더 효율적이지만 역사적으로 시간 영역 방법에 비해 성능이 좋지 않습니다. 이들은 세 가지 주요 과제에 직면해 있습니다.

1. 시간 및 주파수 차원에 대한 독립적인 모델링이 부족합니다.

2. 모델 성능을 향상시키는 데 여러 수용 필드의 시각적 단서가 완전히 활용되지 않습니다.

3. 복잡한 기능을 부적절하게 처리하면 주요 진폭 및 위상 정보가 손실됩니다.

이러한 문제를 해결하기 위해 Tsinghua University의 Hu Xiaolin 부교수 팀의 연구원들은 RTFS-Net이라는 새로운 시청각 음성 분리 모델을 제안했습니다. 이 모델은 압축 재구성 방법을 채택하여 모델의 계산 복잡성과 매개변수 수를 크게 줄이면서 분리 성능을 향상시킵니다. RTFS-Net은 100만개 미만의 매개변수를 사용하는 최초의 시청각 음성 분리 방법이며, 시간-주파수 영역 다중 모드 분리에서 모든 시간 영역 모델을 능가하는 최초의 방법이기도 합니다.

• 논문 주소: https://arxiv.org/abs/2309.17189

• 논문 홈페이지: https://cslikai.cn/RTFS-Net/AV-Model-Demo.html

• 코드 주소: https://github.com/spkgyk/RTFS-Net (출시 예정)

방법 소개

RTFS-Net의 전체 네트워크 아키텍처는 아래 그림 1에 나와 있습니다.

ㅋㅋ 그림 1. RTFS-Net의 네트워크 프레임워크

RTFS 블록(그림 2 참조)은 음향 차원(시간 및 주파수)을 압축하고 독립적으로 모델링하여 복잡성이 낮은 부분 공간을 생성하려고 시도합니다. 정보 손실을 줄이기 위해 노력하고 있습니다. 특히, RTFS 블록은 시간 및 주파수 차원 모두에서 오디오 신호를 효율적으로 처리하기 위해 이중 경로 아키텍처를 사용합니다. 이 접근 방식을 통해 RTFS 블록은 오디오 신호에 대한 높은 감도와 정확성을 유지하면서 계산 복잡성을 줄일 수 있습니다. 다음은 RTFS 블록의 구체적인 작업 흐름입니다.

1. 시간-주파수 압축: RTFS 블록은 먼저 시간 및 주파수 차원에서 입력 오디오 기능을 압축합니다.

2. 독립 차원 모델링: 압축이 완료된 후 RTFS 블록은 시간 및 주파수 차원을 독립적으로 모델링합니다.

3. 차원 융합: RTFS 블록은 시간과 주파수 차원을 독립적으로 처리한 후 융합 모듈을 통해 두 차원의 정보를 병합합니다.

4. 재구성 및 출력: 마지막으로 융합된 특징은 일련의 디콘볼루션 레이어를 통해 원래의 시간-주파수 공간으로 다시 재구성됩니다. ㅋㅋㅋ 그림 2. RTFS 블록의 네트워크 구조

CAF(Cross-Dimensional Attention Fusion) 모듈(그림 3 참조)은 오디오 및 시각적 정보를 효과적으로 융합하고 음성 분리 효과를 향상시키며 계산 복잡성을 줄입니다. 기존 SOTA 방식에 비해 1.3%에 불과하다. 구체적으로 CAF 모듈은 먼저 깊이 및 그룹화된 컨볼루션 작업을 사용하여 주의 가중치를 생성합니다. 이러한 가중치는 입력 기능의 중요도에 따라 동적으로 조정되므로 모델이 가장 관련성이 높은 정보에 집중할 수 있습니다. 그런 다음 생성된 주의 가중치를 시각적 및 청각적 특징에 적용함으로써 CAF 모듈은 다차원의 주요 정보에 집중할 수 있습니다. 이 단계에는 다양한 차원의 특성에 가중치를 부여하고 융합하여 포괄적인 특성 표현을 생성하는 작업이 포함됩니다. 주의 메커니즘 외에도 CAF 모듈은 게이팅 메커니즘을 채택하여 다양한 소스의 기능 융합 정도를 추가로 제어할 수도 있습니다. 이 접근 방식은 모델의 유연성을 향상시키고 보다 정밀한 정보 흐름 제어를 가능하게 합니다.

                                                                                                                                                 ^{그림 3. CAF 융합 모듈의 개략적인 구조도}

스펙트럼 소스 분리(S^3) 블록의 설계 개념은 음성을 효과적으로 추출하기 위해 복소수로 표현 혼합 오디오 기능에서 대상 스피커의 이 방법은 오디오 신호의 위상 및 진폭 정보를 최대한 활용하여 소스 분리의 정확성과 효율성을 향상시킵니다. 그리고 복잡한 네트워크를 사용하면 S^3 블록이 대상 화자의 음성을 분리할 때 특히 세부 사항을 보존하고 아티팩트를 줄이는 데 있어 아래와 같이 신호를 더 정확하게 처리할 수 있습니다. 마찬가지로 S^3 블록의 설계를 통해 다양한 오디오 처리 프레임워크에 쉽게 통합할 수 있고 다양한 소스 분리 작업에 적합하며 일반화 기능이 뛰어납니다.

실험 결과

분리 효과

아래에 표시된 것처럼 세 가지 벤치마크 다중 모달 음성 분리 데이터 세트(LRS2, LRS3 및 VoxCeleb2)에서 RTFS-Net은 모델 매개변수와 계산 성능을 크게 줄였습니다. 현재의 최첨단 성능에 접근하거나 초과하는 복잡성. 효율성과 성능 간의 균형은 RTFS 블록 수(4, 6, 12개 블록)가 다른 변형을 통해 입증됩니다. 여기서 RTFS-Net-6은 성능과 효율성의 적절한 균형을 제공합니다. RTFS-Net-12는 테스트된 모든 데이터 세트에서 가장 좋은 성능을 발휘하여 복잡한 오디오 및 비디오 동기화 분리 작업을 처리하는 데 시간-주파수 영역 방법의 장점을 입증했습니다.

실제 효과

혼합 동영상: 여성 스피커 오디오: 남성 스피커 오디오:

요약

대형모형 기술개발의 지속적인 발전, 시청각 음성 분리 분야에서도 분리 품질을 향상시키기 위해 대형 모델을 추구하고 있습니다. 그러나 이는 최종 장치에는 적합하지 않습니다. RTFS-Net은 크게 감소된 계산 복잡성과 매개변수 수를 유지하면서 상당한 성능 향상을 달성합니다. 이는 AVSS 성능을 개선하는 데 반드시 더 큰 모델이 필요한 것이 아니라 오디오와 시각적 양식 간의 복잡한 상호 작용을 더 잘 포착하는 혁신적이고 효율적인 아키텍처가 필요하다는 것을 보여줍니다.

위 내용은 ICLR 2024 | 오디오 및 비디오 분리에 대한 새로운 관점을 제공하는 Tsinghua University의 Hu Xiaolin 팀은 RTFS-Net을 출시했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!