首頁 科技週邊 人工智慧 任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2

任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2

Dec 04, 2023 pm 12:39 PM
產業 codi-2

研究者指出,CoDi-2標誌著在開發全面的多模態基礎模型領域取得了重大突破

今年5 月,北卡羅來納大學教堂山分校、微軟提出一個可組合擴散(Composable Diffusion,簡稱CoDi)模型,讓一個模型統一多種模態成為可能。 CoDi 不僅支援從單模態到單模態的生成,還能接收多個條件輸入以及多模態聯合生成。

最近,來自UC柏克萊、微軟Azure AI、Zoom、以及北卡羅萊納大學教堂山分校的多位研究者已將CoDi系統升級至CoDi-2版本

任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2

  • 論文網址:https://arxiv.org/pdf/2311.18775.pdf

  • 計畫網址:https://codi-2. github.io/任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2

#重新寫內容,不改變原意,需要改寫成中文語言,不需要出現原句

根據Zineng Tang的論文,CoDi-2遵循複雜的多模態交錯上下文指令,以零樣本或少樣本交互的方式生成任何模態(文本、視覺和音頻)

任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2

此連結為圖片來源:https://twitter.com/ZinengTang/status/1730658941414371820

可以說,作為一個多功能、互動的多模態大語言模型(MLLM),CoDi-2 能夠以any-to-any 輸入-輸出模態範式進行上下文學習、推理、聊天、編輯等任務。透過對齊編碼與生成時的模態與語言,CoDi-2 使LLM 不僅可以理解複雜的模態交錯指令和上下文範例, 還能在連續的特徵空間內自回歸地產生合理和連貫的多模態輸出。

而為了訓練 CoDi-2,研究者建構了一個大規模生成資料集,包含了跨文字、視覺和音訊的上下文多模態指令。 CoDi-2 展示了一系列多模態生成的零樣本能力,例如上下文學習、推理以及透過多輪互動對話實現的 any-to-any 模態生成組合。其中在主題驅動影像生成、視覺轉換和音訊編輯等任務上超越了以往領域特定的模型。

任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2

人類與 CoDi-2 的多輪對話為影像編輯提供了上下文多模態指令。

需要重新書寫的內容是:模型架構

#CoDi-2 在設計時旨在處理上下文中的文字、圖像和音頻等多模態輸入,利用特定指令促進上下文學習並產生對應的文字、影像和音訊輸出。 CoDi-2 需要重新書寫的內容是:模型架構圖如下。

任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2

以多模態大語言模型作為基礎引擎

這種any-to-any 基礎模型可以消化交錯式模態輸入,理解和推理複雜指令(如多輪對話、上下文範例),並與多模態擴散器交互,實現這一切的前提是需要一個強大的基礎引擎。研究者提出將 MLLM 作為這個引擎,它的建構需要為僅文本的 LLM 提供多模態感知。

利用對齊的多模態編碼器映射,研究者可以無縫地使 LLM 感知到模態交錯的輸入序列。具體地,在處理多模態輸入序列時,他們首先使用多模態編碼器將多模態資料映射到特徵序列,然後特殊token 被添加到特徵序列的前後,例如「〈audio〉 [audio feature sequence ] 〈/audio〉」。

多模態產生的基礎是MLLM

研究者提出將擴散模型(DM)整合到MLLM中,以產生多模態輸出。在此過程中,遵循了詳盡的多模態交錯指令和提示。擴散模型的訓練目標如下所示:

任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2

接著他們提出訓練 MLLM 以產生條件式特徵 c = C_y (y),該特徵被饋入到擴散模型中以合成目標輸出 x。這樣一來,擴散模型的生成損失被用來訓練 MLLM。

任務類型

該模型在以下範例任務類型中展現出強大的能力,它提供了一種獨特的方法,可以促使模型產生或轉換上下文中的多模態內容,包括文字、圖像、音訊、視訊及其組合

#重寫後的內容為:1. 零樣本推理。零樣本推理任務要求模型在沒有任何先前範例的情況下進行推理並產生新的內容

2. 一次/少量樣本提示。一次或少量樣本提示為模型提供了一個或幾個範例,以便在執行類似任務之前從中學習。這種方法在以下任務中很明顯:模型將學習到的概念從一個圖像應用到另一個圖像,或透過理解所提供範例中描述的風格來創建一個新的藝術品。

(1)範例學習在要求模型將此學習應用於新實例之前,向模型明確顯示期望輸出的範例。
(2)概念學習涉及模型從這些給定範例的共享概念/屬性中學習,例如藝術風格或模式,然後創建展示類似概念/屬性的新內容。
(3)主題驅動的學習著重於根據一組提供的圖像產生新的內容。

實驗及結果

#模型設定 

#本文模型的實作是基於Llama2,特別是Llama-2-7b- chat-hf。研究者使用 ImageBind ,它具有對齊的圖像、視訊、音訊、文字、深度、thermal 和 IMU 模式編碼器。研究者使用 ImageBind 對影像和音訊特徵進行編碼,並透過多層感知器(MLP)將其投射到 LLM(Llama-2-7b-chat-hf)的輸入維度。 MLP 由線性映射、活化、歸一化和另一個線性映射組成。當 LLM 產生影像或音訊特徵時,他們會透過另一個 MLP 將其投射回 ImageBind 特徵維度。本文影像擴散模型基於 StableDiffusion2.1 (stabilityai/stable-diffusion-2-1-unclip)、AudioLDM2 和 zeroscope v2。

研究人員為了獲得更高保真度的原始輸入圖像或音頻,將它們輸入到擴散模型中,並透過連接擴散噪聲來產生特徵。這種方法非常有效,它可以最大程度地保留輸入內容的感知特徵,並能夠添加新內容或改變風格等指令編輯

需要進行重寫的內容是:圖像生成評估

下圖展示了Dreambench 上主題驅動影像產生的評估結果和MSCOCO 上的FID 分數。本文方法實現了極具競爭力的零樣本性能,顯示了其對未知新任務的泛化能力。

任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2

音訊產生評估

表5 展示了音訊處理任務的評估結果,即在新增、刪除和取代音軌中的元素。從表中可以明顯看出,與先前的方法相比,本文方法表現出了卓越的性能。值得注意的是,在所有三個編輯任務中,它在所有指標——對數譜距離(LSD)、Kullback-Leibler(KL)發散和Fréchet Distance(FD)上都取得了最低得分

任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2

閱讀原文,了解更多技術細節。

以上是任意文字、視覺、音訊混合生成,多模態有了強大的基礎引擎CoDi-2的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1657
14
CakePHP 教程
1415
52
Laravel 教程
1309
25
PHP教程
1257
29
C# 教程
1230
24
DeepMind機器人打乒乓球,正手、反手溜到飛起,全勝人類初學者 DeepMind機器人打乒乓球,正手、反手溜到飛起,全勝人類初學者 Aug 09, 2024 pm 04:01 PM

但可能打不過公園裡的老大爺?巴黎奧運正在如火如荼地進行中,乒乓球項目備受關注。同時,機器人打乒乓球也取得了新突破。剛剛,DeepMind提出了第一個在競技乒乓球比賽中達到人類業餘選手等級的學習型機器人智能體。論文地址:https://arxiv.org/pdf/2408.03906DeepMind這個機器人打乒乓球什麼程度呢?大概和人類業餘選手不相上下:正手反手都會:對手採用多種打法,機器人也能招架得住:接不同旋轉的發球:不過,比賽激烈程度似乎不如公園老大爺對戰。對機器人來說,乒乓球運動

首配機械爪!元蘿蔔亮相2024世界機器人大會,發布首個走進家庭的西洋棋機器人 首配機械爪!元蘿蔔亮相2024世界機器人大會,發布首個走進家庭的西洋棋機器人 Aug 21, 2024 pm 07:33 PM

8月21日,2024世界機器人大會在北京隆重召開。商湯科技旗下家用機器人品牌「元蘿蔔SenseRobot」家族全系產品集體亮相,並最新發布元蘿蔔AI下棋機器人-國際象棋專業版(以下簡稱「元蘿蔔國象機器人」),成為全球首個走進家庭的西洋棋機器人。作為元蘿蔔的第三款下棋機器人產品,全新的國象機器人在AI和工程機械方面進行了大量專項技術升級和創新,首次在家用機器人上實現了透過機械爪拾取立體棋子,並進行人機對弈、人人對弈、記譜複盤等功能,

Claude也變懶了!網友:學會給自己放假了 Claude也變懶了!網友:學會給自己放假了 Sep 02, 2024 pm 01:56 PM

開學將至,該收心的不只即將開啟新學期的同學,可能還有AI大模型。前段時間,Reddit擠滿了吐槽Claude越來越懶的網友。 「它的水平下降了很多,經常停頓,甚至輸出也變得很短。在發布的第一周,它可以一次性翻譯整整4頁文稿,現在連半頁都輸出不了!」https:// www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/在一個名為“對Claude徹底失望了的帖子裡”,滿滿地

世界機器人大會上,這家承載「未來養老希望」的國產機器人被包圍了 世界機器人大會上,這家承載「未來養老希望」的國產機器人被包圍了 Aug 22, 2024 pm 10:35 PM

在北京舉行的世界機器人大會上,人形機器人的展示成為了現場絕對的焦點,在星塵智能的展台上,由於AI機器人助理S1在一個展區上演揚琴、武術、書法三台大戲,能文能武,吸引了大量專業觀眾和媒體的駐足。在有彈性的琴弦上優雅的演奏,讓S1展現出速度、力度、精準度兼具的精細操作與絕對掌控。央視新聞對「書法」背後的模仿學習和智慧控制進行了專題報道,公司創始人來傑解釋到,絲滑動作的背後,是硬體側追求最好力控和最仿人身體指標(速度、負載等),而是在AI側則採集人的真實動作數據,讓機器人遇強則強,快速學習進化。而敏捷

ACL 2024獎項發表:華科大破解甲骨文最佳論文之一、GloVe時間檢驗獎 ACL 2024獎項發表:華科大破解甲骨文最佳論文之一、GloVe時間檢驗獎 Aug 15, 2024 pm 04:37 PM

本屆ACL大會,投稿者「收穫滿滿」。為期六天的ACL2024正在泰國曼谷舉辦。 ACL是計算語言學和自然語言處理領域的頂級國際會議,由國際計算語言學協會組織,每年舉辦一次。一直以來,ACL在NLP領域的學術影響力都名列第一,它也是CCF-A類推薦會議。今年的ACL大會已是第62屆,接收了400餘篇NLP領域的前沿工作。昨天下午,大會公佈了最佳論文等獎項。此次,最佳論文獎7篇(兩篇未公開)、最佳主題論文獎1篇、傑出論文獎35篇。大會也評出了資源論文獎(ResourceAward)3篇、社會影響力獎(

李飛飛團隊提出ReKep,讓機器人具備空間智能,還能整合GPT-4o 李飛飛團隊提出ReKep,讓機器人具備空間智能,還能整合GPT-4o Sep 03, 2024 pm 05:18 PM

視覺與機器人學習的深度融合。當兩隻機器手絲滑地互相合作疊衣服、倒茶、將鞋子打包時,加上最近老上頭條的1X人形機器人NEO,你可能會產生一種感覺:我們似乎開始進入機器人時代了。事實上,這些絲滑動作正是先進機器人技術+精妙框架設計+多模態大模型的產物。我們知道,有用的機器人往往需要與環境進行複雜精妙的交互,而環境則可被表示成空間域和時間域上的限制。舉個例子,如果要讓機器人倒茶,那麼機器人首先需要抓住茶壺手柄並使之保持直立,不潑灑出茶水,然後平穩移動,一直到讓壺口與杯口對齊,之後以一定角度傾斜茶壺。這

鴻蒙智行享界S9全場景新品發表會,多款重磅新品齊發 鴻蒙智行享界S9全場景新品發表會,多款重磅新品齊發 Aug 08, 2024 am 07:02 AM

今天下午,鸿蒙智行正式迎来了新品牌与新车。8月6日,华为举行鸿蒙智行享界S9及华为全场景新品发布会,带来了全景智慧旗舰轿车享界S9、问界新M7Pro和华为novaFlip、MatePadPro12.2英寸、全新MatePadAir、华为毕昇激光打印机X1系列、FreeBuds6i、WATCHFIT3和智慧屏S5Pro等多款全场景智慧新品,从智慧出行、智慧办公到智能穿戴,华为全场景智慧生态持续构建,为消费者带来万物互联的智慧体验。鸿蒙智行:深度赋能,推动智能汽车产业升级华为联合中国汽车产业伙伴,为

分散式人工智慧盛會DAI 2024徵稿:Agent Day,強化學習之父Richard Sutton將出席!顏水成、Sergey Levine以及DeepMind科學家將做主旨報告 分散式人工智慧盛會DAI 2024徵稿:Agent Day,強化學習之父Richard Sutton將出席!顏水成、Sergey Levine以及DeepMind科學家將做主旨報告 Aug 22, 2024 pm 08:02 PM

會議簡介隨著科技的快速發展,人工智慧成為了推動社會進步的重要力量。在這個時代,我們有幸見證並參與分散式人工智慧(DistributedArtificialIntelligence,DAI)的創新與應用。分散式人工智慧是人工智慧領域的重要分支,這幾年引起了越來越多的關注。基於大型語言模型(LLM)的智能體(Agent)異軍突起,透過結合大模型的強大語言理解和生成能力,展現了在自然語言互動、知識推理、任務規劃等方面的巨大潛力。 AIAgent正在接棒大語言模型,成為目前AI圈的熱門話題。 Au

See all articles