Stable Diffusion XL Turbo可以「即時」的速度產生AI影像

WBOY
發布: 2023-11-30 17:25:43
轉載
728 人瀏覽過

即使在家裡,Stable Diffusion XL Turbo(SDXL Turbo)也可以以驚人的速度創建詳細的圖像。

週二,Stability AI公司發布了一款名為「穩定擴散XL Turbo」的人工智慧影像合成模型。該模型能夠根據書面提示迅速生成圖像。實際上,該模型的速度非常快,以至於該公司將其宣傳為“實時”圖像生成器,因為它還能夠迅速轉換來自網絡攝像頭等來源的圖像

Stable Diffusion XL Turbo可以以“实时”的速度生成AI图像

SDXL Turbo的主要創新在於它能夠在一個步驟中產生影像輸出,比其前身所需的20-50個步驟顯著減少。 Stability AI將這種效率的飛躍歸功於一種被稱為對抗性擴散蒸餾(ADD)的技術。 ADD使用分數提取,其中模型從現有的圖像合成模型中學習,以及對抗性損失,這增強了模型區分真實圖像和生成圖像的能力,提高了輸出的真實性。

在周二發表的一篇專注於ADD技術的研究論文中,Stability AI詳細介紹了該模型的內部工作原理。 SDXL Turbo的優點之一是它與生成對抗網路(GAN)相似,特別是在產生單步影像輸出方面。

SDXL Turbo的圖像並不像SDXL在更高解析度下產生的圖像那樣詳細,因此它並不能完全取代先前的型號。然而,它以其驚人的速度節省了時間

為了進行嘗試,我們使用Automatic111 在Nvidia RTX 3060上本地運行SDXL Turbo(權重與SDXL權重一樣下降),它可以在大約4秒內生成3步1024×1024圖像,而具有類似細節的20步SDXL影像則需要26.4秒。較小的影像產生速度要快得多(對於512×768而言,不到1秒),當然,更強大的顯示卡,如RTX 3090或4090,也將允許更快的生成時間。與Stability的營銷相反,我們發現SDXL Turbo圖像在每張圖像大約3-5步處具有最佳細節。

SDXL Turbo的生成速度就是所謂的「即時」。 Stability AI表示,在NVIDIA A100(一款強大的AI調整圖形處理器)上,該模型可以在207ms內產生一張512×512影像,包括編碼、單一去噪步驟和解碼。如果能夠解決一致性問題,這樣的速度可能會導致即時生成AI視訊濾鏡或實驗性視訊遊戲影像生成。在這種情況下,一致性意味著在多個幀或代之間保持相同的主題。

Stable Diffusion XL Turbo可以以“实时”的速度生成AI图像

目前,SDXL Turbo是在非商業研究許可證下提供的,限制其用於個人非商業目的。這項舉措已經在Stable Diffusion社群受到了一些批評,但Stability AI表示對商業應用持開放態度,並邀請感興趣的各方聯繫以獲取更多資訊。

與此同時,Stability AI面臨內部管理問題,一位投資者最近敦促執行長埃馬德·莫斯塔克(Emad Mostaque)辭職。根據報道,Stability AI管理層一直在探索將公司出售給更大實體的可能性,但這並沒有影響Stability AI發布新產品的速度。就在上週,該公司推出了一款名為「穩定視訊擴散」(Stable Video Diffusion)的軟體,可以將靜止影像轉換成短影片剪輯

Stability AI在其影像編輯平台Clipdrop上提供了SDXL Turbo功能的測試版演示。你也可以在 Hugging Face 上免費試用一個非官方的現場示範。顯然,所有常見的警告都適用,包括缺乏訓練資料的來源和濫用的可能性。即使有這些懸而未決的問題,人工智慧影像合成的技術進步肯定不會放緩。

如果你的朋友喜歡的話,請注意一下「知新了」!

以上是Stable Diffusion XL Turbo可以「即時」的速度產生AI影像的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:sohu.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板