微软最新推出的NaturalSpeech2语音合成模型:提供更准确的语音重构,避免棒读效果

WBOY
发布: 2023-08-04 09:41:05
转载
1070 人浏览过

微软最新推出的NaturalSpeech2语音合成模型:提供更准确的语音重构,避免棒读效果

7 月 27 日消息,微软日前推出了一款名为 NaturalSpeech2 的语音模型,该模型采用“潜在扩散”式设计,在零样本语音合成层面效果出众,微软宣称该模型提供了“商业级”的语音 / 歌唱解决方案,能够给予用户高质量、多样化的语音合成体验。

微软进行了一系列演示,展示了 NaturalSpeech2 在没有样本的情况下生成具有不同说话人身份、韵律和风格(如唱歌)的语音的能力

微软最新推出的NaturalSpeech2语音合成模型:提供更准确的语音重构,避免棒读效果

▲ 图源来自于 NaturalSpeech 2 论文

据悉,与传统的语音转文字(TTS)系统不同,微软的 NaturalSpeech2 使用“连续向量”取代“离散标记”来表示语音,从而生成更完整的语音片段,不会产生“缺乏感情”的“棒读(一字一顿地讲话)”现象

微软最新推出的NaturalSpeech2语音合成模型:提供更准确的语音重构,避免棒读效果

▲ 图源来自于 NaturalSpeech 2 论文

实验结果表明,NaturalSpeech2 在零样本条件下生成的语音与语音提示和真实语音的韵律近乎一致,并且在 LibriTTS 和 VCTK 测试集上的自然度(以 CMOS 为度量)与真人语音难以区分

该项目的论文目前已经发布于 GitHub 中,感兴趣的IT之家小伙伴们可以点此访问

以上是微软最新推出的NaturalSpeech2语音合成模型:提供更准确的语音重构,避免棒读效果的详细内容。更多信息请关注PHP中文网其他相关文章!

相关标签:
来源:51cto.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板