지능형 음성 합성의 핵심 원리

통계적 매개변수 음성 합성 방법은 유연성으로 인해 음성 합성 분야에서 광범위한 주목을 받았습니다. 최근 몇 년 동안 기계 학습 연구 분야에서 심층 신경망 모델을 적용하면 기존 방법에 비해 상당한 이점을 얻었습니다. 통계적 매개변수 음성 합성에서 신경망 기반 모델링 방법의 적용은 점차 심화되어 음성 합성의 주류 방법 중 하나가 되었습니다.

통계적 매개변수 음성 합성을 위한 백엔드 음향 모델링이 이 기사의 주제입니다.

파라메트릭 음성 합성의 백엔드 프레임워크

그림에 표시된 것처럼 통계적 파라메트릭 음성 합성의 백엔드 프레임워크가 설명되어 있으며 주로 훈련과 합성의 두 단계로 구성됩니다.

훈련 단계에서는 사운드 라이브러리의 음성 파형과 해당 텍스트 기능이 입력으로 사용됩니다. 음성 파형은 보코더를 통해 추출되고 음향 모델링을 위해 텍스트 기능과 결합됩니다.

합성 단계에서는 훈련된 음향 모델에 따라 합성할 텍스트 특징을 입력하고 해당 음향 특징을 예측합니다. 예측된 음향 특징은 보코더를 사용하여 음성 파형으로 변환됩니다. 보코더 및 음향 모델은 통계적 매개변수 음성 합성 시스템의 핵심 구성 요소입니다.

음성 생성의 소스 필터 모델은 음성 파형 매개변수화 프로세스 중에 음성의 단기 스펙트럼을 기본 주파수와 스펙트럼 포락선으로 분리하는 데 사용됩니다. 일반적으로 시간 영역 파형이나 주파수 영역 고조파를 분석하여 음성의 여기 특성을 얻은 후 음성 파형의 단시간 푸리에 변환을 통해 얻은 진폭 스펙트럼에서 시간과 주파수의 주기성을 제거하여 다음과 같은 스펙트럼 패키지를 얻습니다. 연설. 이 방법은 음성 신호를 더 잘 이해하고 처리하는 데 도움이 될 수 있습니다.

스펙트럼 포락선의 차원이 높기 때문에 모델링이 어려워지기 때문에 스펙트럼 포락선의 차원을 줄여야 하는 경우가 많습니다. 음성 파형 재구성은 음성의 음향 매개변수로부터 원래 음성을 복원하는 역과정입니다. 기본 주파수, 스펙트럼 포락선 및 음성의 여기 특성을 적절한 위상 제약 조건과 결합하여 STFT 진폭 스펙트럼을 재구성할 수 있습니다.

기간 모델링은 통계적 매개변수 음성 합성의 또 다른 모듈입니다. 지속 시간 모델링에는 보코더가 필요하지 않습니다. 기본 프레임워크는 음향 모델링과 유사합니다. 통계 모델은 주어진 텍스트 특징에 해당하는 시간 길이의 확률 분포를 모델링하는 데 사용됩니다.

HMM을 기반으로 한 통계적 매개변수 음성합성 방법은 20년 이상의 개발 끝에 성숙한 음성합성 방법이 되었습니다.

이 섹션에서는 은닉 마르코프 모델과 그 이론적 근거를 소개합니다. 특정 위상 제약 조건과 결합하여 STFT 진폭 스펙트럼이 재구성됩니다. 기간 모델링은 통계적 매개변수 음성 합성의 또 다른 모듈입니다. 지속 시간 모델링에는 보코더가 필요하지 않습니다. 기본 프레임워크는 음향 모델링과 유사합니다. 통계 모델은 주어진 텍스트 특징에 해당하는 시간 길이의 확률 분포를 모델링하는 데 사용됩니다. HMM을 기반으로 한 통계적 매개변수 음성합성 방법은 20년 이상의 개발 끝에 성숙한 음성합성 방법이 되었습니다.

Hidden Markov 모델은 일련의 모델링을 위한 확률 모델로, 숨겨진 상태 변수 세트와 관찰 변수 세트로 구성됩니다. HMM 모델에는 두 가지 가정이 있습니다.

상태 변수는 1차 마르코프 체인을 따릅니다. 즉, 공식(1)에 표시된 것처럼 현재 상태는 이전 상태와만 관련됩니다.

수학식 (2)와 같이 특정 순간의 관측 변수의 확률 분포는 현재 순간의 상태에만 관련될 뿐 다른 순간의 상태나 관측 변수와는 아무런 관련이 없습니다. .

보통 HMM 모델에서는

HMM의 상태 전이 행렬 A를 교묘하게 형성하며, 관측 변수의 확률 밀도는

입니다. HMM 출력 확률:

HMM 기반 통계적 매개변수 음성 합성 방법에서 음향 모델링의 핵심 원리는 HMM 모델을 사용하여 음성 특징 시퀀스의 확률적 모델링을 수행하는 것입니다. 주어진 상황.

전체 시스템 구성에는 음성 음향 기능 선택, 모델링 단위 선택 및 HMM 모델 구성이 포함됩니다. 음성 합성 시스템의 음향 특징에는 여기 특징과 스펙트럼 특징이 포함됩니다.

스펙트럼 특징 선정에는 HMM 모델링의 난이도를 줄이기 위해 Mel cepstrum, Line Spectrum pair 특징 등 차원 간의 상관관계를 제거한 저차원 스펙트럼 표현이 일반적으로 사용됩니다. 음성 신호의 단기 고정 특성과 HM의 모델링 능력을 고려하여 음성 합성 시스템의 HMM은 일반적으로 중국어의 모음 단위와 같은 음소 수준 단위를 모델링합니다. 음성의 타이밍 특성으로 인해 오디오 모델링에서 HMM의 토폴로지는 왼쪽에서 오른쪽으로 단방향 순회 상태인 경우가 많습니다.

HMM 기반 통계 매개변수 음성 합성 시스템 프레임워크

그림은 HMM 기반 통계 매개변수 음성 합성 시스템의 프레임워크를 나타낸 것입니다. 훈련단계와 종합단계로 나누어진다. 훈련 단계에는 음성 음향 특징 추출과 HMM 모델 훈련이 포함됩니다. HMM 모델은 모델링 단위로 음소를 사용하므로 모델링 정확도를 높이기 위해 일반적으로 문맥 관련 음소 3개를 모델링합니다.

첫 번째 시스템 학습 과정에서는 HMM 모델의 분산 하한을 추정한 후 모델 초기화 매개변수로 단일 톤 HMM 모델을 학습한 다음 컨텍스트 관련 트라이폰 HMM 모델을 학습하고, 마지막으로 결정 트리를 기반으로 Mn 압력 클러스터링이 수행됩니다.

합성 단계에서는 먼저 텍스트를 분석하고 예측된 시간 길이와 결합하고 의사 결정 트리를 기반으로 상황 관련 HMM 모델 시퀀스를 결정한 후 최대 우도 매개 변수 생성을 통해 연속 음향 특징 시퀀스를 얻습니다. 알고리즘과 음성 파형은 합성기에 의해 합성됩니다. HMM을 기반으로 한 통계적 매개변수 음성 합성 시스템은 너무 매끄럽습니다. 한 가지 이유는 HMM의 모델링 능력이 제한되어 있기 때문입니다.

최근에는 머신러닝의 한 분야로 딥러닝이 빠르게 발전했습니다. 딥러닝은 다중 비선형 변환과 다중 처리 계층, 즉 신경망으로 구성된 네트워크 모델을 사용하는 것을 말합니다. DNN과 인치의 우수한 모델링 능력으로 인해 DNN과 RNN 기반의 음향 모델링 방법은 통계적 매개변수 음성 합성에 적용되며 그 효과는 HMM 기반의 음향 모델링 방법보다 우수합니다.

이제 통계적 매개변수 음성 합성 음향 모델링의 주류 방법이 되었습니다. DNN과 RNN 기반 음성 합성 시스템은 시스템 프레임워크가 유사합니다.

신경망 기반 음성 합성 방법의 프레임 다이어그램

그림에 표시된 것처럼 그림의 입력 특징은 텍스트에서 추출된 특징입니다. 즉, 이산적이거나 연속적인 수치 특징을 사용하여 설명합니다. 텍스트.

DNN 및 RNN을 기반으로 한 통계적 매개변수 음성 합성 시스템의 훈련은 일반적으로 훈련 기준을 채택하고 BP 알고리즘 및 SGD 알고리즘을 사용하여 모델 매개변수를 업데이트하여 예측된 음향 매개변수가 자연 음향 매개변수에 최대한 가깝도록 합니다. 합성 단계에서는 합성된 텍스트에서 텍스트 특징을 추출한 후 DNN 또는 RNN을 통해 해당 음향 매개변수를 예측하고 마지막으로 보코더를 통해 음성 파형을 합성합니다.

현재 DNN과 RNN을 기반으로 한 모델링 방법은 기본 주파수와 스펙트럼 매개변수를 포함한 음성 음향 매개변수에 주로 적용됩니다. 기간 정보는 여전히 다른 시스템을 통해 얻어야 합니다. 또한 DNN 및 RNN 모델의 입력 및 출력 기능은 시간에 맞춰 정렬되어야 합니다.

위 내용은 지능형 음성 합성의 핵심 원리의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!