Soul 지능형 음성 기술의 실제 구현으로 가는 길-일체 포함-php.cn

저자| Liu Zhongliang

편집| Lu Xinwang

Reviewer| Yun Zhao

최근 몇 년 동안 지능적인 음성 언어 기술이 급속히 발전하면서 특히 사람들이 일하고 생활하는 방식이 점차 변화하고 있습니다. 사회 분야 지능형 음성 기술은 더 높은 요구 사항을 제시합니다.

얼마 전 51CTO가 주최한 AISummit 글로벌 인공 지능 기술 컨퍼런스에서 Soul의 음성 알고리즘 책임자인 Liu Zhongliang이 기조 연설을 했습니다. "The Road to Practiceing Soul's Intelligent Voice Technology" Soul의 비즈니스 시나리오 및 공유 Soul은 지능형 음성 기술에 대한 실무 경험을 보유하고 있습니다.

모두에게 영감을 주기 위해 연설 내용을 다음과 같이 정리했습니다.

Soul의 음성 적용 시나리오

Soul은 관심도 그래프를 기반으로 추천되는 몰입형 소셜 시나리오입니다. 이 시나리오에서는 음성 교환이 많아 그동안 많은 데이터가 축적되었습니다. 현재 음성통화에서 침묵, 소음 등을 일부 제거하고 의미 있는 오디오 클립만 합산하면 하루에 약 수백만 시간이 되는 오디오 클립이 약 6억 7천만 개가 됩니다. 소울의 음성 서비스 입구는 주로 다음과 같습니다.

음성 파티

그룹에서는 여러 사용자가 음성 채팅을 할 수 있는 방을 만들 수 있습니다.

비디오 파티

실제로 Soul 플랫폼의 대부분의 사용자는 자신의 얼굴을 보여주거나 자신을 노출하는 것을 원하지 않기 때문에 사용자가 보다 표현력을 발휘할 수 있도록 자체 개발한 3D 아바타 이미지 또는 헤드기어를 만들었습니다. 자신을 잘 표현하거나 부담 없이 자신을 표현하세요.

늑대게임

역시 많은 사람들이 함께 게임을 할 수 있는 방입니다.

음성 매칭

더 독특한 시나리오는 음성 매칭, 또는 WeChat에서 전화하는 것과 동일합니다. 즉, 일대일 채팅이 가능합니다.

이러한 시나리오를 바탕으로 우리는 주로 두 가지 주요 방향에 초점을 맞춰 자체 개발한 음성 기능을 구축했습니다. 첫 번째는 자연스러운 인간-컴퓨터 상호 작용이고 두 번째는 콘텐츠 이해 및 생성입니다. 네 가지 주요 측면이 있습니다. 첫 번째는 음성 인식 및 음성 합성이고, 두 번째는 음성 분석 및 음성 애니메이션입니다. 아래 그림은 주로 음질, 음향 효과 및 음성 분석을 포함하는 일반적인 음성 도구를 보여줍니다. 음악. 그 다음으로는 중국어 인식, 노래 음성 인식, 중국어와 영어 혼합 읽기 등의 음성 인식이 있습니다. 세 번째는 음성합성에 관한 것으로 예능변환, 음성변환, 노래합성 관련 사항이다. 네 번째는 음성 애니메이션으로, 주로 일부 텍스트 기반 입 모양, 음성 기반 입 모양 및 기타 음성 애니메이션 기술을 포함합니다.

Soul 지능형 음성 기술의 실제 구현으로 가는 길

이러한 음성 알고리즘 기능을 기반으로 향상, 음성 검토, 텍스트 더빙, 음성 주제, 3D 공간 음향 효과와 같은 가상 환경 사운드를 포함한 음성 품질 감지와 같은 다양한 음성 응용 형식을 보유하고 있습니다. , 등. . 다음은 음성 리뷰와 아바타라는 두 가지 비즈니스 시나리오에 사용되는 기술을 소개합니다.

음성 내용 검토

음성 내용 검토는 오디오 클립에 정치, 음란물, 학대, 광고 등과 관련된 내용이 포함된 라벨을 지정하거나 식별하고 이러한 불법 라벨의 탐지 및 검토를 통해 네트워크 보안을 보장하는 것입니다. 여기에 사용된 핵심 기술은 사용자의 오디오를 텍스트로 변환하는 데 도움을 준 다음 다운스트림 검토자에게 2차 품질 검사를 제공하는 엔드투엔드 음성 인식입니다.

엔드 투 엔드 음성 인식 시스템

아래 그림은 현재 우리가 사용하고 있는 엔드 투 엔드 음성 인식 프레임워크입니다. 먼저, 특징 추출을 위해 사용자의 오디오 조각을 캡처합니다. 현재 사용되는 기능은 Alfa-Bank 기능을 주로 사용했으며, 일부 시나리오에서는 Wav2Letter와 같은 사전 학습된 기능을 사용해 보았습니다. 오디오 특징을 얻은 후에는 사람이 말하고 있는지, 오디오 클립에 사람의 목소리가 있는지 여부를 감지하는 엔드포인트 감지가 수행됩니다. 현재 사용되는 것은 기본적으로 일부 고전적인 에너지 VD 및 모델 DNVD입니다.

Soul 지능형 음성 기술의 실제 구현으로 가는 길

이러한 기능을 얻은 후 음향 채점 모듈로 보냅니다. 이 음향 모델의 처음에는 Transformer CDC를 사용했으며 이제는 Conformer CDC로 반복되었습니다. 이 음향 채점 후에 일련의 시퀀스 점수를 디코더에 보냅니다. 디코더는 텍스트 디코딩을 담당하며 인식 결과에 따라 두 번째 점수를 수행합니다. 이 과정에서 우리가 사용하는 모델은 기본적으로 전통적인 EngelM 모델과 같은 일부 모델과 재채점을 위한 현재 더 주류인 Transformer 딥 러닝 모델입니다. 마지막으로 일부 구두점 감지, 텍스트 정규화, 문장 다듬기 등의 후처리도 수행하여 최종적으로 "2022 글로벌 인공지능 컨퍼런스"와 같은 의미 있고 정확한 텍스트 인식 결과를 얻을 것입니다.

엔드 투 엔드 음성 인식 시스템에서 실제로 우리가 말하는 엔드 투 엔드는 주로 음향 채점 부분에 있습니다. 다른 것들은 주로 전통적인 기술을 사용합니다. 그리고 고전적인 딥러닝 방법.

위 시스템을 구축하는 과정에서 실제로 많은 문제에 직면했습니다. 다음은 세 가지 주요 문제입니다.

감독된 음향 데이터가 너무 적습니다. 이는 일반적으로 모든 사람이 직면하는 문제입니다. 주된 이유는 다음과 같습니다. 첫째, 주석을 달기 전에 오디오를 들어야 합니다. 둘째, 라벨링 비용도 매우 높습니다. 따라서 이 부분의 데이터가 부족하다는 것은 모든 사람에게 공통된 문제입니다.
모델 인식 효과가 좋지 않습니다. 이에는 여러 가지 이유가 있습니다. 첫 번째는 중국어와 영어가 혼합되어 있거나 여러 분야를 읽을 때 일반 모델을 사용하여 식별하는 것이 상대적으로 좋지 않다는 것입니다.
모델이 느립니다

이러한 문제를 고려하여 주로 다음 세 가지 방법으로 해결합니다.

데이터 전처리

Soul에는 많고 복잡한 시나리오가 있습니다. 예를 들어 단체 채팅방에서 여러 사람이 겹치거나 AB가 대화를 나누는 상황이 있을 수 있습니다. 예를 들어, 온라인 KTV에서는 사람들이 동시에 노래하고 이야기하는 상황이 있을 것입니다. 그러나 데이터에 레이블을 지정할 때는 상대적으로 비용이 많이 들기 때문에 이러한 시나리오에서는 레이블 지정을 위해 비교적 깨끗한 데이터를 선택합니다. 예를 들어 10,000시간의 깨끗한 데이터에 레이블을 지정할 수 있습니다. 그러나 클린 데이터의 복잡성은 실제 시나리오의 데이터와 다르기 때문에 이러한 클린 데이터를 기반으로 일부 데이터 전처리를 수행합니다. 예를 들어, 일부 고전적인 데이터 전처리 방법에는 소음 추가, 반향 추가, 속도 조정, 속도 더 빠르게 또는 느리게 조정, 에너지 조정, 에너지 증가 또는 감소가 포함됩니다.

이러한 방법 외에도 비즈니스 시나리오에서 발생하는 일부 문제에 대해 일부 타겟 데이터 전처리 또는 데이터 증대를 수행할 것입니다. 예를 들어 방금 그룹 채팅 파티에서 여러 명의 화자가 겹치기 쉽다고 말씀드렸는데, 우리는 다중 화자 스플라이싱 오디오를 만들겠습니다. 즉, 3명의 화자의 오디오 클립을 ABC로 잘라서 만드는 것입니다. 함께 데이터 증대.

일부 음성 및 영상 통화는 자동 반향 제거, 지능형 소음 감소 등 전체 오디오 프런트엔드에서 기본적인 3D 알고리즘 전처리를 수행하므로 온라인 사용에도 적응할 것입니다. 또한 3D 알고리즘의 일부 전처리를 거칩니다.

이러한 방식으로 데이터를 전처리한 후에는 노이즈, 반향이 있는 데이터, 여러 사람 또는 심지어 여러 스타일이 포함된 데이터와 같은 다양한 데이터를 얻을 수 있으며, 이는 증강됩니다. 예를 들어, 10,000시간을 약 50,000시간, 심지어 80,000~90,000시간으로 확장할 예정입니다. 이 경우 데이터의 적용 범위와 폭이 매우 높아집니다.

Soul 지능형 음성 기술의 실제 구현으로 가는 길

모델 마이크로 혁신

우리가 사용하는 모델의 주요 프레임워크는 여전히 Conformer 구조입니다. 이 Conformer 구조의 왼쪽에는 클래식 Encoder CDC 프레임워크가 있습니다. 오른쪽에는 주의 디코더가 있습니다. 하지만 모두가 오른쪽 손실에서 원래 Conformer 구조가 CE 손실이라는 것을 알아차렸고 여기서는 이를 초점 손실로 대체했습니다. 주된 이유는 희소 단위와 희소 데이터 훈련의 비수렴 문제 또는 해결할 수 있는 열악한 훈련 문제를 해결하기 위해 Focal Loss를 사용하기 때문입니다.

예를 들어 한-영 혼합 읽기에서는 학습 데이터에 영어 단어가 거의 없습니다. 이 경우 이 단위를 잘 학습할 수 없습니다. 초점 손실(Focal Loss)을 통해 손실 가중치(Loss Weight)를 높일 수 있으며, 이는 수량 문제나 열악한 훈련 문제를 완화하고 일부 나쁜 사례를 해결할 수 있습니다.

두 번째 요점은 훈련 전략이 다를 것이라는 점입니다. 예를 들어, 초기 훈련에서 디코드 부분의 입력을 훈련할 때에도 몇 가지 혼합된 훈련 방법을 사용할 것입니다. 정밀 훈련을 사용합니다. 대상 레이블 시퀀스 데이터가 입력으로 사용됩니다. 그러나 훈련 모델이 수렴됨에 따라 이후 단계에서는 일부 트릭을 수행하기 위해 특정 확률에 따라 예측된 레이블의 일부를 디코더의 입력으로 샘플링합니다. 훈련 모델과 온라인 추론 모델의 입력 특성이 일치하지 않는 현상을 이러한 방식으로 일부 해결할 수 있습니다.

하지만 사실 또 다른 문제가 있습니다. 원래 Conformer 모델이나 Vnet이나 ESPnet에서 제공하는 모델에서는 기본값이 절대 위치 정보입니다. 그러나 시퀀스가 너무 길면 절대 위치 정보로는 식별 문제를 해결할 수 없으므로 이 문제를 해결하기 위해 절대 위치 정보를 상대 위치 인코딩으로 변경하겠습니다. 이런 식으로 일부 단어가 반복되거나 간헐적으로 단어나 단어가 손실되는 등 인식 과정에서 발생하는 문제도 해결될 수 있습니다.

Soul 지능형 음성 기술의 실제 구현으로 가는 길

추론 가속

첫 번째는 음향 모델입니다. 인코더 CDC+WFST 디코딩을 기반으로 자동 회귀 모델을 이 방법으로 변경하고 먼저 NBest와 같은 인식 결과의 일부를 해결합니다. 10베스트 또는 20베스트. 20best를 기반으로 두 번째 재채점을 위해 Decorde Rescore로 전송합니다. 이를 통해 타이밍 종속성을 방지하고 GPT 병렬 계산 또는 추론을 용이하게 할 수 있습니다.

전통적인 가속 방법 외에도 하이브리드 정량화 방법도 사용합니다. 즉, 딥 러닝 순방향 추론 과정에서 계산 부분에는 8Bit를 사용하지만 금융과 같은 핵심 부분에서는 기능 우리는 속도와 정확성 사이의 적절한 균형을 이루기 위해 이 부분에 여전히 16비트를 사용합니다.

이러한 최적화 후에는 전체 추론 속도가 상대적으로 빠릅니다. 하지만 실제 출시 과정에서 몇 가지 작은 문제도 발견했는데, 이는 일종의 속임수라고 생각됩니다.

예를 들어 언어 모델 수준에서 우리 장면에는 채팅 텍스트가 많지만 말하기와 노래를 모두 해결하려면 동일한 모델이 필요합니다. 채팅 텍스트와 같은 언어 모델의 경우 일반적으로 단편화되고 짧기 때문에 실험 결과 3요소 모델이 더 우수하지만 5요소 모델은 개선을 가져오지 못하는 것으로 나타났습니다.

그러나 예를 들어 노래의 경우 텍스트가 상대적으로 길고 문장 구조와 문법이 상대적으로 고정되어 있으므로 실험 중에는 3위안보다 5위안이 더 좋습니다. 이 경우 채팅 텍스트와 노래 텍스트의 언어 모델을 공동으로 모델링하기 위해 하이브리드 문법을 사용합니다. 우리는 "3원+5원" 혼합 모델을 사용하지만 이 "3원+5원" 혼합은 우리의 전통적인 의미에서 차이가 없지만 채팅의 3원 문법을 사용합니다. 4원 노래와 5원 문법을 직접 병합합니다. 이러한 방식으로 얻은 ARPA는 현재 디코딩 프로세스에서 더 작고 빠릅니다. 더 중요한 것은 비디오 메모리를 덜 차지한다는 것입니다. GPU에서 디코딩할 때 비디오 메모리 크기가 고정되어 있기 때문입니다. 따라서 언어모델을 통한 인식효과를 최대한 향상시키기 위해서는 언어모델의 크기를 어느 정도 조절해야 한다.

음향 모델과 언어 모델을 일부 최적화하고 속인 후 현재 추론 속도도 매우 빠릅니다. 실시간 속도는 기본적으로 0.1 또는 0.2 수준에 도달할 수 있습니다.

Soul 지능형 음성 기술의 실제 구현으로 가는 길

가상 시뮬레이션

은 주로 소리, 입 모양, 표정, 자세 등을 생성하여 사용자가 스트레스 없이 또는 더 자연스럽고 자유롭게 자신을 표현할 수 있도록 도와줍니다. 이를 뒷받침하는 핵심 기술은 하나는 다중 모드 음성 합성입니다.

Multimodal 음성 합성

다음 그림은 현재 사용되고 있는 음성 합성 시스템의 기본 프레임워크입니다. 먼저 "2022 글로벌 인공지능 컨퍼런스"와 같은 사용자의 입력 텍스트를 가져온 후 텍스트 분석 모듈로 전송합니다. 이 모듈에서는 주로 텍스트 정규화, 일부 단어 등 다양한 측면에서 텍스트를 분석합니다. 분할에서 가장 중요한 것은 자기 전달, 단어를 음소로 변환, 일부 운율 예측 및 기타 기능입니다. 이 텍스트 분석 후에는 사용자 문장의 일부 언어적 특징을 얻을 수 있으며 이러한 특징은 음향 모델로 전송됩니다. 음향 모델의 경우 현재 FastSpeech 프레임워크를 기반으로 한 일부 모델 개선 및 교육을 주로 사용합니다.

음향 모델은 Mel 특성과 같은 음향 특성이나 지속 시간, 에너지와 같은 정보를 획득하며 특성 흐름은 두 부분으로 나뉩니다. 그 중 일부를 보코더로 보내겠습니다. 보코더는 주로 우리가 들을 수 있는 오디오 파형을 생성하는 데 사용됩니다. 다른 흐름 방향은 입술 모양 예측 모듈을 통해 입술 모양에 해당하는 BS 계수를 예측할 수 있습니다. BS 기능값을 얻은 후, 비주얼팀이 담당하는 영상생성모듈로 보내면 입 모양과 표정이 담긴 가상 이미지인 가상 아바타를 생성할 수 있습니다. 마지막으로 가상 아바타와 오디오를 병합하고 마지막으로 오디오와 비디오 애니메이션을 생성하겠습니다. 이것이 전체 다중 모드 음성 합성의 기본 프레임워크이자 기본 프로세스입니다.

Soul 지능형 음성 기술의 실제 구현으로 가는 길

다중 모드 음성 합성 프로세스의 주요 문제:

음성 사운드 라이브러리 데이터의 품질이 상대적으로 낮습니다.
합성 음질이 좋지 않습니다.
오디오와 영상의 지연이 크고, 입 모양과 목소리가 일치하지 않습니다.

Soul의 처리 방식은 종단 간 음성 인식 시스템을 개선하는 방식과 유사합니다.

데이터 전처리

우리의 사운드 라이브러리는 다양한 소스에서 나옵니다. 왼쪽 그림은 우리가 수집하고 녹음할 첫 번째 사진입니다. 둘째, 물론 우리는 일부 사운드 라이브러리를 오픈 소스로 제공하고 이를 사용하여 몇 가지 실험을 수행할 오픈 소스 데이터 회사에 매우 감사합니다. 셋째, 우리 플랫폼에는 회사 차원의 공개 마케팅 비디오가 있을 예정입니다. 비디오를 만들 때 고품질 앵커를 초대하여 음질도 매우 높습니다. 넷째, 대화 과정과 같은 일부 공용 네트워크 데이터는 일부 음색의 품질이 상대적으로 높으므로 일부 내부 실험과 사전 훈련을 주로 수행하기 위해 일부를 크롤링한 다음 사전 주석도 수행합니다.

이러한 데이터의 복잡성을 고려하여 방금 언급했듯이 수집 과정에서 문장이 길거나 짧을 수 있습니다. 사운드 라이브러리의 지속 시간 동안 우리는 짧은 문장을 잘라낼 것이며, 그 과정에서 묵음이 너무 길면 어느 정도 영향을 미칠 것입니다.

두 번째로, 우리가 얻는 네트워크 데이터나 마케팅 비디오에서 우리는 몇 가지 음성 향상 방법을 통해 소음을 제거합니다.

셋째, 사실 현재의 주석의 대부분은 음성 대 문자 주석이지만 음소의 경계는 현재 기본적으로 주석으로 사용되지 않으므로 일반적으로 이러한 MFA 강제 정렬 방법 정보를 통해 음소의 경계를 얻습니다. .

그럼 다음 보컬 분리는 꽤 특별합니다. 마케팅 영상에 배경음악이 있기 때문에 보컬 분리를 하고, 배경음악을 제거하고, Dry 음성 데이터를 얻어보겠습니다. 우리는 또한 일부 에너지 정규화를 수행하고 일부 VAD는 주로 대화 또는 네트워크 데이터에 있습니다. 저는 VAD를 사용하여 효과적인 사람의 목소리를 감지한 다음 이를 사용하여 사전 주석 또는 사전 훈련을 수행합니다.

Soul 지능형 음성 기술의 실제 구현으로 가는 길

모델 마이크로 혁신

FastSpeech를 만드는 과정에서 우리는 주로 세 가지 측면에서 변화를 주었습니다. 왼쪽 그림의 왼쪽에 있는 유형은 FastSpeech의 기본 모델입니다. 첫 번째 변경 사항은 모델링을 위해 음소와 톤을 분리한다는 것입니다. 즉, 일반적인 상황에서 텍스트 프런트 엔드가 변환하는 것은 다음과 같습니다. 음소의 순서, 왼쪽 그림과 같습니다. "안녕하세요"와 같은 단조로운 음소의 순서입니다. 하지만 우리는 그것을 오른쪽 부분, 즉 두 부분으로 나눌 것입니다. 즉, 왼쪽 부분은 음소만 있고 성조는 없는 음소 순서입니다. 오른쪽은 성조만 있고 음소는 없습니다. 이 경우 각각 ProNet(사운드)으로 전송하고 두 개의 임베딩을 얻습니다. 이전 Embedding 방법을 대체하기 위해 두 개의 Embedding이 함께 절단됩니다. 이 경우, 희박한 발음 문제를 해결할 수 있거나, 일부 발음이 우리 훈련 코퍼스에 포함되지 않는 문제를 기본적으로 해결할 수 있다는 장점이 있습니다.

두 번째로 변경한 방법은 원래 방법이 먼저 지속 시간(오른쪽 그림)을 예측한 다음 이 지속 시간을 기반으로 사운드 세트를 확장한 다음 에너지와 음조를 예측하는 것입니다. 이제 순서를 변경하여 음소 수준을 기준으로 음높이와 에너지를 예측한 다음 예측 후 프레임 수준 지속 시간으로 확장하겠습니다. 이것의 장점은 완전한 음소의 전체 발음 과정에서 상대적으로 발음이 안정적이라는 것입니다. 이것은 우리 시나리오의 변화입니다.

세 번째는 상단 부분인 디코더 부분에 대체 변경을 가했다는 점입니다. 원래 Decoder는 Attention 메서드를 사용했지만 이제 Iconv 또는 Convolution 메서드로 전환했습니다. 이러한 장점은 Self-Attention이 매우 강력한 과거 정보와 상황 정보를 캡처할 수 있지만 점진적으로 모델링하는 능력이 상대적으로 열악하기 때문입니다. 따라서 컨볼루션으로 전환한 후에는 이러한 종류의 로컬 모델링을 처리하는 능력이 더 좋아질 것입니다. 예를 들어, 발음을 할 때 방금 언급한 발음이 상대적으로 묵직하거나 흐릿한 현상은 기본적으로 해결될 수 있다. 이는 현재 우리가 겪고 있는 주요 변경 사항 중 일부입니다.

Soul 지능형 음성 기술의 실제 구현으로 가는 길

공유 음향 모델

왼쪽은 합성된 입 모양이고, 오른쪽은 합성된 음성입니다. 음향 모델의 일부 인코더 및 지속 시간 정보를 공유합니다.

저희는 주로 3가지 액션을 했습니다. 첫 번째는 실제로 고정밀 데이터를 수집하는 것입니다. 예를 들어 고정밀 센서를 착용하여 예측한 아바타 이미지를 구동하고 고해상도 오디오 및 비디오를 얻고 일부 작업을 수행하는 실제 사람들을 찾을 것입니다. 주석. 이러한 방식으로 텍스트, 오디오 및 비디오의 동기화된 데이터를 얻을 수 있습니다.

두 번째로 오디오와 비디오의 일관성을 어떻게 해결하는지 언급할 수도 있겠죠? 먼저 텍스트 합성을 통해 소리를 합성하기 때문에 소리를 얻은 후 소리부터 입 모양까지 예측을 하게 되는데 이 과정에서 프레임 수준에서 비대칭이 나타나게 됩니다. 현재 우리는 합성된 입 모양과 합성된 소리 간의 음향 모델을 공유하는 이 방법을 사용하고 있으며, 프레임 수준 시퀀스가 확장된 후에 수행합니다. 현재는 프레임 수준에서 정렬이 보장되어 오디오와 비디오의 일관성이 보장됩니다.

마지막으로 현재는 입 모양이나 BS 기반을 예측하기 위해 시퀀스 기반 방법을 사용하지 않습니다. LSTM을 사용하여 BS 기반을 예측합니다. 예측된 BS 계수 후에는 일부 이상을 예측할 수 있지만 정규화와 같은 일부 후처리도 수행합니다. 예를 들어 BS 기준이 너무 크거나 작으면 입 모양이 너무 크게 벌어집니다. 또는 너무 작게 변경하더라도 범위를 너무 크게 설정할 수 없으며 합리적인 범위 내에서 제어됩니다. 현재로서는 오디오와 비디오의 일관성을 보장하는 것이 기본적으로 가능합니다.

Soul 지능형 음성 기술의 실제 구현으로 가는 길