首頁 科技週邊 人工智慧 薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

Jan 03, 2024 pm 08:10 PM
產業

近日,由清華大學計算機系朱軍教授課題組發布的基於薛定諤橋的語音合成系統[1],憑藉其“數據到數據”的生成範式,在樣本質量和採樣速度兩方面,均擊敗了擴散模型的「雜訊到資料」範式。

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

論文連結:https://arxiv.org/abs/2312.03491
計畫網站:https://bridge-tts.github.io/
程式碼實作:https://github.com/thu-ml/Bridge-TTS

問題背景

自2021 年起,擴散模型(diffusion models)開始成為文字轉語音合成(text-to-speech, TTS)領域的核心生成方法之一,如華為諾亞方舟實驗室提出的Grad-TTS [2]、浙江大學提出的DiffSinger [3] 等方法均實現了較高的生成品質。此後,又有許多研究工作有效提升了擴散模型的採樣速度,如透過先驗優化 [2,3,4]、模型蒸餾 [5,6]、殘差預測 [7] 等方法。然而,如此項研究所示,由於擴散模型受限於「雜訊到資料」的生成範式,其先驗分佈對產生目標提供的資訊始終較為有限,且對條件資訊無法利用充分。

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

本次語音合成領域的最新研究工作,Bridge-TTS,憑藉其基於薛定諤橋的生成框架,實現了“數據到數據”的生成過程,首次將語音合成的先驗資訊由雜訊修改為乾淨資料由分佈修改為確定性表徵

此方法的主要架構如上圖所示,輸入文字首先經由文字編碼器擷取出生成目標(mel-spectrogram, 梅爾譜)的隱空間表徵。此後,與擴散模型將此信息併入噪聲分佈或用作條件信息不同,Bridge-TTS 的方法‍支持直接將其作為先驗信息,並支持通過隨機或確定性採樣的方式,高質量、快速地生成目標。

工作成果

在驗證語音合成品質的在標準資料集LJ-Speech 上,研究團隊將 Bridge-TTS 與9 項高品質的語音合成系統和擴散模型的加速採樣方法進行了比較。如下所示,該方法在樣本品質上(1000 步、50 步採樣)擊敗了基於擴散模型的高品質TTS 系統[2,3,7],並在採樣速度上,在無需任何後處理如額外模型蒸餾的條件下,超過了眾多加速方法,如殘差預測、漸進式蒸餾、以及最新的一致性蒸餾等工作[5,6,7]。
薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰
以下是Bridge-TTS 與基於擴散模型方法的產生效果範例,更多產生樣本比較可存取專案網站:https://bridge-tts.github. io/

  • 1000 步驟合成效果比較

輸入文字:「Printing, then, for our purpose, may be considered as the art of making books by means of movable types.」薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰
  • 4 步驟合成效果比較

#輸入文字:「The first books were printed in black letter, i.e. the letter which was a Gothic development of the ancient Roman character,”薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰
  •  2# 步合成效果比較

輸入文字:「The prison population fluctuated a great deal,」薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰下面展示了Bridge- TTS 一個在2 步和4 步的一個確定性合成(ODE sampling)案例。在 4 步驟合成中,此方法相較於擴散模型顯著合成了更多樣本細節,並沒有雜訊殘留的問題。在 2 步驟合成中,該方法展示了完全純淨的採樣軌跡,並在每一步中採樣完善了更多的生成細節。
薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰
在頻域中,更多的生成樣本如下所示,在1000 步合成中,該方法相較於擴散模型產生了更高品質的梅爾譜,當取樣步數降到50 步時,擴散模型已經犧牲了部分取樣細節,而基於薛丁格橋的方法仍保持著高品質的生成效果。在 4 步和 2 步合成中,該方法不需要蒸餾、多階段訓練、和對抗損失函數,仍然實現了高品質的生成效果。

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

在1000 步驟合成中,Bridge-TTS與基於擴散模型的方法的梅爾譜對比

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

在50 步驟合成中,Bridge-TTS與基於擴散模型的方法的梅爾譜對比

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

在4 步驟合成中,Bridge-TTS與基於擴散模型的方法的梅爾譜對比
薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰
在2 步驟合成中,Bridge-TTS與基於擴散模型的方法的梅爾譜對比

Bridge-TTS一經發布,憑藉其在語音合成上新穎的設計與高品質的合成效果,在Twitter 上引起了熱烈關注,獲得了百餘次轉發和數百次點贊,入選了Huggingface 在12.7 的Daily Paper 並在當日獲得了支持率第一名,同時在LinkedIn、微博、知乎、小紅書等多個國內外平台被關注與轉發報道。

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

多個外文網站也進行了報告和討論:

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

方法介紹

薛丁格橋(Schrodinger Bridge)是一類繼擴散模型之後,近期新興的深度生成模型,在影像生成、影像翻譯等領域都有了初步應用[8,9]。不同於擴散模型在資料和高斯雜訊之間建立變換過程,薛丁格橋支援任兩個邊界分佈之間的轉換。在 Bridge-TTS 的研究中,作者們提出了一個基於成對資料間薛定諤的語音合成框架,靈活支持多種前向過程、預測目標、及取樣過程。其方法概覽如下圖所示:

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

  • #前向過程:此研究在強資訊先驗與產生目標之間搭建了完全可解的薛丁格橋,支援靈活的前向過程選擇,如對稱噪音策略薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰、常數薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰,和非對稱噪音策略: 薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰、線性薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰,以及直接與擴散模型相對應的方差保持(VP)雜訊策略。此方法發現在語音合成任務中非對稱噪音策略:即線性薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰(gmax)和 VP 過程,相較於對稱式噪音策略有較好的生成效果。

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

  • 模型訓練:此方法維持了擴散模型訓練過程的多個優點,如單一階段、單一模型、和單一損失函數等。並且其對比了多種模型參數化(Model parameterization)的方式,即網路訓練目標的選擇,包括噪音預測(Noise)、生成目標預測(Data)、和對應於擴散模型中流匹配技術[10,11]的速度預測(Velocity)等。文章發現以產生目標,即梅爾譜為網路預測目標時,可以達到相對較佳的生成效果。

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

  • #取樣過程:得益於本研究中薛丁格橋完全可解的形式,對薛丁格橋對應的前- 後向SDE 系統進行變換,作者們得到了Bridge SDE 和Bridge ODE 用於推斷。同時,由於直接模擬Bridge SDE/ODE 推斷速度較慢,為加快採樣,該研究借助了擴散模型中常用的指數積分器[12,13],給出了薛定諤橋的一階SDE 與ODE 採樣形式:

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

在1 步驟取樣時,其一階SDE 與ODE 的取樣形式共同退化為網路的單步預測。同時,它們與後驗採樣 / 擴散模型 DDIM 採樣有著密切聯繫,文章在附錄中給出了詳細分析。文章也同時給出了薛丁格橋的二階採樣 SDE 與 ODE 採樣演算法。作者發現,在語音合成中,其生成品質與一階取樣過程類似。

在其他任務如語音增強、語音分離、語音編輯等先驗資訊同樣較強的任務中,作者們期待此研究也會帶來較大的應用價值。

作者簡介

#此項研究有三位共同第一作者:陳澤華,何冠德,鄭凱文,皆屬於清華大學電腦系朱軍課題組,文章通訊作者為朱軍教授,微軟亞洲研究院首席研究經理旭譚為計畫合作者。

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

                                     

#                                               

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

陳澤華是清華大學電腦系水木學者博士後,主要研究方向為機率生成模型,及其在語音、音效、生物電訊號合成等方面的應用。曾在微軟、京東、TikTok 等多家公司實習,並在語音與機器學習領域重要國際會議 ICML/NeurIPS/ICASSP 等發表多篇論文。

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

何冠德是清華大學在學的三年級碩士生,主要研究方向是不確定性估計與生成模型,此前在ICLR 等會議以第一作者身份發表論文。

薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰

鄭凱文是清華大學在學的二年級碩士生,主要研究方向是深度生成模型的理論與演算法,及其在圖像、音訊和 3D 生成中的應用。先前在 ICML/NeurIPS/CVPR 等頂級會議發表多篇論文,涉及了擴散模型中的流匹配和指數積分器等技術。

參考文獻:
#[1] Zehua Chen, Guande He , Kaiwen Zheng, Xu Tan, and Jun Zhu. Schrodinger Bridges Beat Diffusion Models on Text-to-Speech Synthesis. arXiv preprint arXiv:2312.03491, 2023.
[2] Vadim Popov, Ivan Vovk, Vladimir Gogoryan, Tasnima Sadekova, and Mikhail A. Kudinov. Grad-TTS: A Diffusion Probabilistic Model for Text-to-Speech. In ICML, 2021.
[3] Jinglin Liu, Chengxi Li, Yi Ren, Feiyang Chen, and Zhou Zhao. DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism. In AAAI, 2022.
################################### # ###########[4] Sang-gil Lee, Heeseung Kim, Chaehun Shin, Xu Tan, Chang Liu, Qi Meng, Tao Qin, Wei Chen, Sungroh Yoon, and Tie-Yan Liu. PriorGrad : Improving Conditional Denoising Diffusion Models with Data-Dependent Adaptive Prior. In ICLR, 2022.###################[5] Rongjie Huang, Zhou Zhao, Huadai Liu, Jing####[5] Rongjie Huang, Zhou Zhao, Huadai Liu, Jing####[5] Rongjie Huang, Zhou Zhao, Huadai Liu, Jing####[5] Rongjie Huang, Zhou Zhao, Huadai Liu, Jing####[5] Rongjie Huang, Zhou Zhao, Huadai Liu, Jing####[5] Rongjie Huang, Zhou Zhao, Huadai Liu, Jing####[5] Rongjie 漢, Chenye Cui, and Yi Ren. ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech. In ACM Multimedia, 2022.##################[6 ] Zhen Ye, Wei Xue, Xu Tan, Jie Chen, Qifeng Liu, and Yike Guo. CoMoSpeech: One-Step Speech and Singing Voice Synthesis via Consistency Model. In ACM Multimedia, 2023.########## ########[7] Zehua Chen, Yihan Wu, Yichong Leng, Jiawei Chen, Haohe Liu, Xu Tan, Yang Cui, Ke Wang, Lei He, Sheng Zhao, Jiang Bian, and Danilo P. Mandic. ResGrad: Residual Denoising Diffusion Probabilistic Models for Text to Speech. arXiv preprint arXiv:2212.14518, 2022.##################[8] Yuyang Shi, Valentin De Borang Shi, Valentin De Borang, Andrew### , and Arnaud Doucet. Diffusion Schrödinger Bridge Matching. In NeurIPS 2023.##################[9] Guan-Horng Liu, Arash Vahdat, De-An Huang, Evangelos A . Theodorou, Weili Nie, and Anima Anandkumar. I2SB: Image-to-Image Schrödinger Bridge. In ICML, 2023.###################[10] Yaron Lipman, Ricky T. Q. Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. Flow Matching for Generative Modeling. In ICLR, 2023.##################[11] Kaiwen Zheng, Cheng Lu, Jianfei Chen, and Jun Zhu. Improved Techniques for Maximum Likelihood Estimation for Diffusion ODEs. In ICML, 2023.##################[12] Cheng Lu, Yuhao################[12] Cheng Lu, Yuhao################[12] Cheng Lu, Yuhao################[12] Cheng Lu, Yuhao################[12] Cheng Lu, Yuhao################[12] Cheng Lu, Yuhao################[12] Cheng Lu, Yuhao################[12] Cheng Lu、 Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, and Jun Zhu. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps. In NeurIPS, 2022.############ ######[13] Kaiwen Zheng, Cheng Lu, Jianfei Chen, and Jun Zhu. DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics. In NeurIPS, 2023.######## #

以上是薛丁格橋輔助,清華朱軍團隊開發新型語音合成系統應對擴散挑戰的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

DeepMind機器人打乒乓球,正手、反手溜到飛起,全勝人類初學者 DeepMind機器人打乒乓球,正手、反手溜到飛起,全勝人類初學者 Aug 09, 2024 pm 04:01 PM

但可能打不過公園裡的老大爺?巴黎奧運正在如火如荼地進行中,乒乓球項目備受關注。同時,機器人打乒乓球也取得了新突破。剛剛,DeepMind提出了第一個在競技乒乓球比賽中達到人類業餘選手等級的學習型機器人智能體。論文地址:https://arxiv.org/pdf/2408.03906DeepMind這個機器人打乒乓球什麼程度呢?大概和人類業餘選手不相上下:正手反手都會:對手採用多種打法,機器人也能招架得住:接不同旋轉的發球:不過,比賽激烈程度似乎不如公園老大爺對戰。對機器人來說,乒乓球運動

首配機械爪!元蘿蔔亮相2024世界機器人大會,發布首個走進家庭的西洋棋機器人 首配機械爪!元蘿蔔亮相2024世界機器人大會,發布首個走進家庭的西洋棋機器人 Aug 21, 2024 pm 07:33 PM

8月21日,2024世界機器人大會在北京隆重召開。商湯科技旗下家用機器人品牌「元蘿蔔SenseRobot」家族全系產品集體亮相,並最新發布元蘿蔔AI下棋機器人-國際象棋專業版(以下簡稱「元蘿蔔國象機器人」),成為全球首個走進家庭的西洋棋機器人。作為元蘿蔔的第三款下棋機器人產品,全新的國象機器人在AI和工程機械方面進行了大量專項技術升級和創新,首次在家用機器人上實現了透過機械爪拾取立體棋子,並進行人機對弈、人人對弈、記譜複盤等功能,

Claude也變懶了!網友:學會給自己放假了 Claude也變懶了!網友:學會給自己放假了 Sep 02, 2024 pm 01:56 PM

開學將至,該收心的不只即將開啟新學期的同學,可能還有AI大模型。前段時間,Reddit擠滿了吐槽Claude越來越懶的網友。 「它的水平下降了很多,經常停頓,甚至輸出也變得很短。在發布的第一周,它可以一次性翻譯整整4頁文稿,現在連半頁都輸出不了!」https:// www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/在一個名為“對Claude徹底失望了的帖子裡”,滿滿地

世界機器人大會上,這家承載「未來養老希望」的國產機器人被包圍了 世界機器人大會上,這家承載「未來養老希望」的國產機器人被包圍了 Aug 22, 2024 pm 10:35 PM

在北京舉行的世界機器人大會上,人形機器人的展示成為了現場絕對的焦點,在星塵智能的展台上,由於AI機器人助理S1在一個展區上演揚琴、武術、書法三台大戲,能文能武,吸引了大量專業觀眾和媒體的駐足。在有彈性的琴弦上優雅的演奏,讓S1展現出速度、力度、精準度兼具的精細操作與絕對掌控。央視新聞對「書法」背後的模仿學習和智慧控制進行了專題報道,公司創始人來傑解釋到,絲滑動作的背後,是硬體側追求最好力控和最仿人身體指標(速度、負載等),而是在AI側則採集人的真實動作數據,讓機器人遇強則強,快速學習進化。而敏捷

ACL 2024獎項發表:華科大破解甲骨文最佳論文之一、GloVe時間檢驗獎 ACL 2024獎項發表:華科大破解甲骨文最佳論文之一、GloVe時間檢驗獎 Aug 15, 2024 pm 04:37 PM

本屆ACL大會,投稿者「收穫滿滿」。為期六天的ACL2024正在泰國曼谷舉辦。 ACL是計算語言學和自然語言處理領域的頂級國際會議,由國際計算語言學協會組織,每年舉辦一次。一直以來,ACL在NLP領域的學術影響力都名列第一,它也是CCF-A類推薦會議。今年的ACL大會已是第62屆,接收了400餘篇NLP領域的前沿工作。昨天下午,大會公佈了最佳論文等獎項。此次,最佳論文獎7篇(兩篇未公開)、最佳主題論文獎1篇、傑出論文獎35篇。大會也評出了資源論文獎(ResourceAward)3篇、社會影響力獎(

鴻蒙智行享界S9全場景新品發表會,多款重磅新品齊發 鴻蒙智行享界S9全場景新品發表會,多款重磅新品齊發 Aug 08, 2024 am 07:02 AM

今天下午,鸿蒙智行正式迎来了新品牌与新车。8月6日,华为举行鸿蒙智行享界S9及华为全场景新品发布会,带来了全景智慧旗舰轿车享界S9、问界新M7Pro和华为novaFlip、MatePadPro12.2英寸、全新MatePadAir、华为毕昇激光打印机X1系列、FreeBuds6i、WATCHFIT3和智慧屏S5Pro等多款全场景智慧新品,从智慧出行、智慧办公到智能穿戴,华为全场景智慧生态持续构建,为消费者带来万物互联的智慧体验。鸿蒙智行:深度赋能,推动智能汽车产业升级华为联合中国汽车产业伙伴,为

李飛飛團隊提出ReKep,讓機器人具備空間智能,還能整合GPT-4o 李飛飛團隊提出ReKep,讓機器人具備空間智能,還能整合GPT-4o Sep 03, 2024 pm 05:18 PM

視覺與機器人學習的深度融合。當兩隻機器手絲滑地互相合作疊衣服、倒茶、將鞋子打包時,加上最近老上頭條的1X人形機器人NEO,你可能會產生一種感覺:我們似乎開始進入機器人時代了。事實上,這些絲滑動作正是先進機器人技術+精妙框架設計+多模態大模型的產物。我們知道,有用的機器人往往需要與環境進行複雜精妙的交互,而環境則可被表示成空間域和時間域上的限制。舉個例子,如果要讓機器人倒茶,那麼機器人首先需要抓住茶壺手柄並使之保持直立,不潑灑出茶水,然後平穩移動,一直到讓壺口與杯口對齊,之後以一定角度傾斜茶壺。這

分散式人工智慧盛會DAI 2024徵稿:Agent Day,強化學習之父Richard Sutton將出席!顏水成、Sergey Levine以及DeepMind科學家將做主旨報告 分散式人工智慧盛會DAI 2024徵稿:Agent Day,強化學習之父Richard Sutton將出席!顏水成、Sergey Levine以及DeepMind科學家將做主旨報告 Aug 22, 2024 pm 08:02 PM

會議簡介隨著科技的快速發展,人工智慧成為了推動社會進步的重要力量。在這個時代,我們有幸見證並參與分散式人工智慧(DistributedArtificialIntelligence,DAI)的創新與應用。分散式人工智慧是人工智慧領域的重要分支,這幾年引起了越來越多的關注。基於大型語言模型(LLM)的智能體(Agent)異軍突起,透過結合大模型的強大語言理解和生成能力,展現了在自然語言互動、知識推理、任務規劃等方面的巨大潛力。 AIAgent正在接棒大語言模型,成為目前AI圈的熱門話題。 Au

See all articles