擋不住了!擴散模型只用文字就能PS照片了
動動嘴皮子就能把圖改好是甲方和乙方的共同願望,但通常只有乙方才知道其中的酸楚。如今,AI 卻向這個高難度問題發起了挑戰。
在一篇10 月17 日上傳到arXiv 的論文中,來自谷歌研究院、以色列理工學院、以色列魏茨曼科學研究所的研究者介紹了一種基於擴散模型的真實影像編輯方法-Imagic,只用文字就能實現真實照片的PS,例如讓一個人豎起大拇指、讓兩隻鸚鵡親吻:
「求大神幫忙P 一個讚手勢。」擴散模型:沒問題,包在我身上。
從論文中的圖像可以看出,修改後的圖像仍然非常自然,對需要修改的內容之外的資訊也沒有明顯的破壞。類似的研究還有Google研究院和以色列特拉維夫大學先前合作完成的Prompt-to-Prompt(Imagic 論文中的參考文獻[16]):
專案連結(含論文、程式碼):https://prompt-to-prompt.github.io/
因此,有人感慨說,「這個領域變化快到有點誇張了,」以後甲方真的動動嘴就可以想怎麼改就怎麼改了。
Imagic 論文概覽
#論文連結:https://arxiv.org /pdf/2210.09276.pdf
#將大幅度的語意編輯應用於真實照片一直是影像處理中有趣的任務。近年來,由於基於深度學習的系統取得了長足的進步,該任務已經引起了研究社區相當大的興趣。
用簡單的自然語言文字 prompt 來描述我們想要的編輯(例如讓一隻狗坐下)與人類之間的交流方式高度一致。因此,研究者們開發了許多基於文字的圖像編輯方法,而且這些方法效果也都不錯。
然而,目前的主流方法都或多或少存在一些問題,例如:
1、僅限於一組特定的編輯,如在圖像上作畫、添加物件或遷移風格[6, 28];
2、只能對特定領域的圖像或合成的圖像進行操作[16, 36 ];
3、除了輸入圖像外,它們還需要輔助輸入,例如指示所需編輯位置的圖像mask、同一主題的多個圖像或描述原始圖像的文字[ 6, 13, 40, 44]。
本文提出了一種語意圖像編輯方法「Imagic」以緩解上述問題。只需給定一個待編輯的輸入圖像和一個描述目標編輯的單一文字 prompt,該方法就可以對真實的高解析度圖像進行複雜的非剛性編輯。所產生的影像輸出能夠與目標文字很好地對齊,同時保留了原始影像的整體背景、結構和組成。
如圖 1 所示,Imagic 可以讓兩隻鸚鵡接吻或讓一個人豎起大拇指。它提供的基於文字的語義編輯首次將如此複雜的操作應用於單一真實的高解析度圖像,包括編輯多個物件。除了這些複雜的變化之外,Imagic 還可以進行各種各樣的編輯,包括風格變化、顏色變化和物件添加。
為了實現這一壯舉,研究者利用了最近成功的文本到圖像的擴散模型。擴散模型是強大的生成模型,能夠進行高品質的影像合成。當以自然語言文字 prompt 為條件時,它能夠產生與要求的文字一致的圖像。在這項工作中,研究者將它們用於編輯真實的圖像而不是合成新的圖像。
如圖 3 所示,Imagic 完成上述任務只需要三步驟:首先優化一個文字嵌入,使其產生與輸入圖像相似的圖像。然後,對預訓練的生成擴散模型進行微調,以優化嵌入為條件,更好地重建輸入影像。最後,在目標文字嵌入和最佳化後的嵌入之間進行線性插值,從而得到一個結合了輸入影像和目標文字的表徵。然後,這個表徵被傳遞給帶有微調模型的生成擴散過程,輸出最終編輯的圖像。
為了證明Imagic 的實力,研究者進行了幾個實驗,將該方法應用於不同領域的眾多圖像,並在所有的實驗中都產生了令人印象深刻的結果。 Imagic 輸出的高品質影像與輸入的影像高度相似,並與所需的目標文字保持一致。這些結果展示了 Imagic 的通用性、多功能性和品質。研究者也進行了消融研究,強調了本文所提出的方法中每個組件的效果。與最近的一系列方法相比,Imagic 表現出明顯更好的編輯品質和對原始影像的忠實度,特別是在承擔高度複雜的非剛性編輯任務時。
方法細節
給定一個輸入圖像x 和一個目標文本,本文旨在以滿足給定文本的方式編輯圖像,同時還能保留圖像x的大量細節。為了實現這一目標,本文利用擴散模型的文本嵌入層來執行語意操作,這種方式有點類似於基於 GAN 的方法。研究人員從尋找有意義的表示開始,然後經過生成過程,產生與輸入影像相似的影像。之後再對生成模型進行最佳化,以便更好地重建輸入影像,最後一步是對潛在表示進行處理,得到編輯結果。
如上圖3 所示,本文的方法由三個階段構成:(1)優化文字嵌入以在目標文字嵌入附近找到與給定圖像最匹配的文字嵌入; (2)微調擴散模型以更好地匹配給定圖像;(3)在優化後的嵌入和目標文字嵌入之間進行線性插值,以找到一個既能達到圖像保真度又能達到目標文字對齊的點。
更具體的細節如下:
#文字嵌入最佳化
#首先目標文字被輸入到文字編碼器,該編碼器輸出對應的文字嵌入,其中T 是給定目標文字的token 數,d 是token 嵌入維數。然後,研究者對產生擴散模型 f_θ的參數進行凍結,並利用去噪擴散目標(denoising diffusion objective)優化目標文本嵌入 e_tgt
其中,x 是輸入影像,是 x 的一個雜訊版本,θ為預訓練擴散模型權值。這樣使得文字嵌入盡可能地匹配輸入圖像。此流程運行步驟相對較少,從而保持接近最初的目標文字嵌入,獲得最佳化嵌入 e_opt。
模型微調
這裡要注意的是,此處所獲得的最佳化嵌入e_opt 在透過生成擴散製程時,不一定會完全與輸入影像x 相似,因為它們只運行了少量的最佳化步驟(請參閱圖5 中的左上圖)。因此,在第二個階段,作者透過使用公式 (2) 中提供的相同損失函數來優化模型參數 θ 來縮小這一差距,同時凍結優化嵌入。
文字嵌入插值
#Imagic 的第三個階段是在e_tgt 和e_opt 之間進行簡單的線性內插。對於給定的超參數,得到
然後,作者使用微調模型,以
為條件,應用基礎生成擴散過程。這會產生一個低解析度的編輯圖像,然後使用微調輔助模型對目標文字進行超解析度處理。這個生成過程輸出最終的高解析度編輯影像
。
實驗結果
為了測試效果,研究者將此方法應用於來自不同領域的大量真實圖片,用簡單的文字prompt 來描述不同的編輯類別,如:風格、外觀、顏色、姿勢和構圖。他們從 Unsplash 和 Pixabay 收集了高分辨率的免費使用的圖片,經過優化,用 5 個隨機種子生成每個編輯,並選擇最佳結果。 Imagic 展示了令人印象深刻的結果,它能夠在任何一般的輸入圖像和文字上應用各種編輯類別,如圖 1 和圖 7 所示。
圖 2 中是對同一張圖片進行了不同的文字 prompt 實驗,顯示了 Imagic 的多功能性。
由於研究者利用的底層生成擴散模型是基於機率的,該方法可以對單一的圖像- 文本對生成不同的結果。圖 4 展示了使用不同的隨機種子進行編輯的多個選項(對每個種子的η稍作調整)。這種隨機性允許使用者在這些不同的選項中進行選擇,因為自然語言的文字 prompt 一般都是模糊和不精確的。
研究將Imagic 與目前領先的通用方法進行了比較,這些方法對單一輸入的真實世界圖像進行操作,並根據文字prompt 對其進行編輯。圖 6 展示了 Text2LIVE[7] 和 SDEdit[32] 等不同方法的編輯結果。
可以看出,本文的方法對輸入影像保持了高保真度,同時恰當地進行了所需的編輯。當被賦予複雜的非剛性編輯任務時,例如“讓狗坐下”,本文方法明顯優於以前的技術。 Imagic 是第一個在單一真實世界圖像上應用這種複雜的基於文字的編輯的 demo。
以上是擋不住了!擴散模型只用文字就能PS照片了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

DMA在C 中是指DirectMemoryAccess,直接內存訪問技術,允許硬件設備直接與內存進行數據傳輸,不需要CPU干預。 1)DMA操作高度依賴於硬件設備和驅動程序,實現方式因係統而異。 2)直接訪問內存可能帶來安全風險,需確保代碼的正確性和安全性。 3)DMA可提高性能,但使用不當可能導致系統性能下降。通過實踐和學習,可以掌握DMA的使用技巧,在高速數據傳輸和實時信號處理等場景中發揮其最大效能。

使用C 中的chrono庫可以讓你更加精確地控制時間和時間間隔,讓我們來探討一下這個庫的魅力所在吧。 C 的chrono庫是標準庫的一部分,它提供了一種現代化的方式來處理時間和時間間隔。對於那些曾經飽受time.h和ctime折磨的程序員來說,chrono無疑是一個福音。它不僅提高了代碼的可讀性和可維護性,還提供了更高的精度和靈活性。讓我們從基礎開始,chrono庫主要包括以下幾個關鍵組件:std::chrono::system_clock:表示系統時鐘,用於獲取當前時間。 std::chron

在C 中測量線程性能可以使用標準庫中的計時工具、性能分析工具和自定義計時器。 1.使用庫測量執行時間。 2.使用gprof進行性能分析,步驟包括編譯時添加-pg選項、運行程序生成gmon.out文件、生成性能報告。 3.使用Valgrind的Callgrind模塊進行更詳細的分析,步驟包括運行程序生成callgrind.out文件、使用kcachegrind查看結果。 4.自定義計時器可靈活測量特定代碼段的執行時間。這些方法幫助全面了解線程性能,並優化代碼。

交易所內置量化工具包括:1. Binance(幣安):提供Binance Futures量化模塊,低手續費,支持AI輔助交易。 2. OKX(歐易):支持多賬戶管理和智能訂單路由,提供機構級風控。獨立量化策略平台有:3. 3Commas:拖拽式策略生成器,適用於多平台對沖套利。 4. Quadency:專業級算法策略庫,支持自定義風險閾值。 5. Pionex:內置16 預設策略,低交易手續費。垂直領域工具包括:6. Cryptohopper:雲端量化平台,支持150 技術指標。 7. Bitsgap:

在C 中處理高DPI顯示可以通過以下步驟實現:1)理解DPI和縮放,使用操作系統API獲取DPI信息並調整圖形輸出;2)處理跨平台兼容性,使用如SDL或Qt的跨平台圖形庫;3)進行性能優化,通過緩存、硬件加速和動態調整細節級別來提升性能;4)解決常見問題,如模糊文本和界面元素過小,通過正確應用DPI縮放來解決。

C 在實時操作系統(RTOS)編程中表現出色,提供了高效的執行效率和精確的時間管理。 1)C 通過直接操作硬件資源和高效的內存管理滿足RTOS的需求。 2)利用面向對象特性,C 可以設計靈活的任務調度系統。 3)C 支持高效的中斷處理,但需避免動態內存分配和異常處理以保證實時性。 4)模板編程和內聯函數有助於性能優化。 5)實際應用中,C 可用於實現高效的日誌系統。

在MySQL中,添加字段使用ALTERTABLEtable_nameADDCOLUMNnew_columnVARCHAR(255)AFTERexisting_column,刪除字段使用ALTERTABLEtable_nameDROPCOLUMNcolumn_to_drop。添加字段時,需指定位置以優化查詢性能和數據結構;刪除字段前需確認操作不可逆;使用在線DDL、備份數據、測試環境和低負載時間段修改表結構是性能優化和最佳實踐。

C 中使用字符串流的主要步驟和注意事項如下:1.創建輸出字符串流並轉換數據,如將整數轉換為字符串。 2.應用於復雜數據結構的序列化,如將vector轉換為字符串。 3.注意性能問題,避免在處理大量數據時頻繁使用字符串流,可考慮使用std::string的append方法。 4.注意內存管理,避免頻繁創建和銷毀字符串流對象,可以重用或使用std::stringstream。
