차트 : 텍스트를 연설로 바꾸십시오

차트 : 생명과 같은 대화로 텍스트 음성 연설을 혁신합니다

대화가 자연스럽게 오디오로 팟 캐스트 나 가상 어시스턴트를 제작한다고 상상해보십시오. 최첨단 텍스트 음성 연설 (TTS) 도구 인 Chattts는 서면 텍스트를 현저한 현실적인 오디오로 변환하여 미묘한 뉘앙스와 감정 표현을 포착합니다. 단순히 스크립트를 입력하면 Chattts는 정통하고 매력적인 느낌을주는 목소리로 생명을 얻습니다. Chattts는 매혹적인 콘텐츠를 만들거나 사용자 상호 작용을 향상 시키든, 매끄럽고 자연스러운 소리 대화의 미래를 엿볼 수 있습니다.

주요 학습 지점 :

• TTS 환경 내에서 Chatts의 고유 한 기능과 장점을 이해하십시오.
• 차트를 Bark 및 Vall-E와 같은 다른 저명한 TTS 모델과 비교하여 주요 차별화 요소를 강조합니다.
• 텍스트 사전 처리 및 출력 미세 조정이 생성 된 음성의 사용자 정의 및 표현성을 향상시키는 방법을 살펴보십시오.
• 고급 응용 프로그램을 위해 Chattts를 대형 언어 모델 (LLM)과 통합하는 방법에 대해 알아보십시오.
• 오디오 컨텐츠 ​​제작 및 가상 어시스턴트 개발에서 Chattts의 실제 응용 프로그램을 발견하십시오.

(이 기사는 데이터 과학 블로그의 일부입니다.)

목차 :

• 소개
• 차트 개요
• 차트 기능
• 텍스트 사전 처리 : 특수 토큰을 활용합니다
• 미세 조정 차트 출력
• 오픈 소스 로드맵 및 커뮤니티 참여
• 차트 사용 : 실용 가이드
• 임의의 스피커를 활용합니다
• 차트를 사용한 2 단계 제어
• 차트와의 LLM 통합
• 차트 응용 프로그램
• 결론
• 자주 묻는 질문

차트 : 깊은 다이빙

Chattts는 AI 구동성 음성 생성의 상당한 발전을 나타내며 유체 및 자연스러운 대화를 촉진합니다. Chattts는 LLMS 및 텍스트 생성의 상승과 함께 고품질 음성 생성에 대한 수요가 증가 함을 충족시켜 오디오 대화를하는 것을 단순화합니다. 포괄적 인 데이터 마이닝 및 사전 훈련은 효율성을 크게 향상시킵니다. 최고의 오픈 소스 TTS 모델 인 Chattts는 영어와 중국어 모두에서 탁월하며 10 만 시간 이상의 교육 데이터를 활용하여 두 언어 모두에서 놀라 울 정도로 현실적인 연설을합니다.

차트의 독특한 특징

차트는 잠재적으로 일반적이고 덜 표현적인 LLM과 구별됩니다. 영어와 중국어로 약 10,000 시간의 데이터에 대해 교육을받은 AI 구동 음성 생성의 경계를 크게 추진합니다. 특정 측면에서 Bark 및 Vall-E와 비슷하지만 Chattts는 주요 이점을 제공합니다.

예를 들어, GPT 스타일 아키텍처로 인해 일반적으로 13 초 이내에 출력에 대한 Bark의 제한과 구형 하드웨어의 추론 속도와 달리 Chattts는 더 빠른 추론을 자랑하여 초당 약 7 개의 시맨틱 토큰의 속도로 오디오를 생성합니다. 또한, 우수한 감정 통제는 Vall-e의 감정을 능가합니다.

Chattts의 눈에 띄는 기능을 살펴 보겠습니다.

• 대화 TTS : 표현적인 작업 지향 대화를 위해 설계된 자연스러운 음성 패턴을 통합하고 다중 스피커 합성을 지원합니다.
• 강화 된 통제 및 보안 : 윤리적 문제 해결, Chattts는 이미지 품질 감소 및 인공 연설을 감지하기위한 오픈 소스 도구의 지속적인 개발과 같은 기능을 통합합니다.
• LLM 통합 : 보안 및 제어를 더욱 향상시킨 Chattts는 LLM과 통합하여 워터 마크를 통합하여 신뢰성을 보장하고 잠재적 오용을 해결합니다. 또한 음성 변형 및 출력에 대한 맞춤형 제어도 가능합니다.

텍스트 사전 처리를 통한 정확한 제어

Chattts는 입력 텍스트에 포함 된 특수 토큰을 사용하여 비교할 수없는 제어를 제공합니다. 이 토큰은 명령으로 기능하며 일시 정지 및 웃음과 같은 측면에 영향을 미칩니다. 이 컨트롤은 두 가지 수준에서 작동합니다.

• 문장 수준 제어 : [laugh_(0-2)] 및 명령을 일시 중지하는 토큰.
• 단어 수준 제어 : 표현력 향상을 위해 특정 단어 주위에 삽입 된 토큰.

출력 정제 : 미세 조정 매개 변수

오디오 생성 중에 사용자는 다양한 매개 변수를 사용하여 출력을 개선 할 수 있습니다. 이것은 문장 수준의 제어를 반영하여 화자 정체성, 언어 변형 및 디코딩 전략에 대한 조정을 허용합니다. 이는 텍스트 사전 프로세싱과 결합하여 Chatts를 사용자 정의 가능하고 표현적인 음성 대화를 생성 할 수 있습니다.

 <code>params_infer_code = {'prompt':'[speed_5]', 'temperature':.3} params_refine_text = {'prompt':'[oral_2][laugh_0][break_6]'}</code>

오픈 소스 비전 및 커뮤니티 협업

강력한 미세 조정 기능과 LLM 통합으로 Chattts의 잠재력은 광대합니다. 이 커뮤니티는 훈련 가능한 모델을 오픈 소스로, 추가 개발을 촉진하고 연구원과 개발자가 개선에 기여하도록 유도하는 것을 목표로합니다. 계획에는 확장 된 감정 제어 및 단순화 된 LORA 교육 코드가 포함 된 버전 출시가 포함되어 있으며 기존 LLM 통합을 활용하여 교육 복잡성을 줄입니다. 웹 사용자 인터페이스 ( webui.py 사용)를 사용하면 대화식 텍스트 입력, 매개 변수 조정 및 오디오 생성이 가능합니다.

 <code>python webui.py --server_name 0.0.0.0 --server_port 8080 --local_path /path/to/local/models</code>

(문자 제한으로 인한 다음 반응으로 계속)

위 내용은 차트 : 텍스트를 연설로 바꾸십시오의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!