今年很火紅的AI繪畫怎麼玩

1、前言

2022年絕對可以說是AIGC元年，從google搜尋的趨勢來看，在2022年AI繪畫及AI生成藝術的搜尋量激增。

AI繪畫在這一年的爆發一個很重要的原因就是Stable Diffusion 的開源，這也離不開這幾年Diffusion Model擴散模型在這幾年裡的快速發展，結合了OPENAI 已經發展得成熟的文字語言模型GPT-3，從文字到圖片的生成過程變得更加容易。

2、GAN(生成對抗網路)的瓶頸

從14年誕生，到18年的StyleGAN，GAN在圖片生成領域獲得了長足的發展。就好像自然界的掠食者與被掠食者相互競爭共同演化一樣，GAN的原理簡單來說就是使用兩個神經網路：一個作為生成器、一個作為判別器，生成器產生不同的影像讓判別器去判斷結果是否合格，二者互相對抗以此訓練模式。

GAN（生成對抗網路）經過不斷發展其有了不錯的效果，但有些始終難以克服的問題：生成結果多樣性缺乏、模式坍縮（生成器在找到最佳模式後就不再進步了）、訓練難度高。這些困難導致 AI 生成藝術一直難以做出實用的產品。

3、Diffusion Model（擴散模型）的突破

在GAN 多年的瓶頸期後，科學家想出了非常神奇的Diffusion Model（擴散模型）的辦法去訓練模型：把原圖用馬爾科夫鏈將雜訊不斷地添加到其中，最終成為一個隨機噪聲圖像，然後讓訓練神經網路把此過程逆轉過來，從隨機噪聲圖像逐漸還原成原圖，這樣神經網路就有了可以說是從無到有生成圖片的能力。而文字產生圖片就是把描述文字處理後當做雜訊不斷加入原圖中，這樣就可以讓神經網路從文字產生圖片。

Diffusion Model（擴散模型）讓訓練模型變得更加簡單，只需大量的圖片就行了，其生成影像的品質也能達到很高的水平，並且生成結果能有很大的多樣性，這也是新一代AI 能有難以讓人相信的「想像力」的原因。

當然技術也是一直在突破的，英偉達在1月底推出的StyleGAN的升級版StyleGAN-T就有了十分驚豔的進步，在同等算力下相比於Stable Diffusion生成一張圖片需要3秒，StyleGAN-T僅需0.1秒。而且在低解析度影像StyleGAN-T要比Diffusion Model好，但在高解析度影像的生成上，還是Diffusion Model的天下。由於StyleGAN-T並沒有像Stable Diffusion那樣獲得廣泛的應用，本文還是以介紹Stable DIffusion為主。

4、Stable Diffusion

在今年早年，AI作畫圈經歷了Disco Diffusion、DALL-E2、Midjouney 群雄混戰的時代，直到Stable Diffusion 開源後，才進入一段時間的塵埃落定，作為最強的AI 作畫模型，Stable Diffusion 引起了AI 社區的狂歡，基本上每天都有新的模型、新的開源庫誕生。尤其是在Auto1111的WebUI版本推出後，無論是部署在雲端還是本地，使用Stable Diffusion都變成一個非常簡單的事情，並且隨著社區的不斷開發，很多優秀的項目，比如Dreambooth、deforum都作為Stable Diffusion WEBUI版的一個插件加入進來，讓像是微調模型、生成動畫等功能都能一站式完成。

5、AI繪畫玩法及能力介紹

以下介紹目前使用Stable Diffusion 可以有哪些玩法以及能力

#text2img目前效果最好的二次元動漫畫風的模型， 由 NAI 基於danbooru 站的公開圖片作為數據集訓練，但由於danbooru 本身存在版權問題，NovelAI一直比較受爭議，並且此模型是商用服務洩漏流出，使用需謹慎。 ##img2img

#Stable Diffusion 能力簡介（以下圖片使用SD1.5模型輸出）

簡介

輸入

#text2img

透過文字描述產生圖片，可透過文字描述指定藝術家風格、藝術類型。這裡以藝術家 Greg Rutkowski 的風格舉例。

a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand, by Greg Rutkowski

#img2img

透過圖片以及文字描述產生圖片

a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand, by Greg Rutkowski

######inpainting############在img2img的基礎上，透過設定遮罩，只繪製遮罩內的區域，一般用於修改關鍵字微調畫面。 ############a beautiful girl with a flowered shirt gently smiling posing for a picture with her chin resting on her right hand, by Greg Rutkowski####################### ####### ###########################

#使用DreamBooth 基於SD 模型訓練微調的大模型，訓練後使用此模型可使用上述的text2img img2img 等能力

NovelAI

a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand

#NovelAI

使用NovelAI 的模型進行img2img。目前在各個社區很火的意間AI作畫，也是使用的這個能力。但意間在免責聲明中提到他們的動漫模型是自己收集的資料集訓練的。

*右邊範例的文字描述是根據圖片內容根據AI反推得出的，畫師風格隨機

a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand

#AI繪畫

#################################### ###基於使用者照片訓練的主體模型###

基於使用者提供的幾張照片訓練一個針對主體的模型，用這個模型可以根據描述產生任意包含該主體的圖片。

此組圖使用同事的20張照片基於Stable Diffusion 1.5模型訓練2000步驟模型，配合幾個風格化的prompt輸出。

prompt範例（圖1）：

portrait of alicepoizon, highly detailed vfx portrait, unreal engine, greg rutkowski, loish, rhads, caspar david friedrich, makotootoin, and lois van 素kuvshinov, rossdraws, elegent, tom bagshaw, alphonse mucha, global illumination, detailed and intricate environment

*alicepoizon是訓練此模型時為這個人物的命名

基於同類型風格訓練的風格模型

使用相同風格的一組圖片訓練一個微調後的大模型，可以透過這個大模型產生生成風格統一的圖片。

此組圖使用了得物數字收藏ME.X訓練微調出的風格模型產生。

a beautiful girl with a flowered shirt

#Lionel Messi

Leonardo DiCaprio

############# ##################################################＃＃＃＃＃＃＃＃＃＃斯嘉麗約翰遜＃＃＃＃＃＃＃＃＃＃＃＃ ＃＃

#

6、目前主要應用程式介紹

範例

		簡介
	#美圖、抖音、6pen、意間等公司提供的AI繪畫服務	提供更便利的AI繪畫體驗，可以使用眾多風格各異的客製化大模型。
		midjouney 與DallE 2 #兩個商業化的AI 作畫服務。 midjouney有自己特色的模型，產品化程度高；DallE 2則是提供了付費的API服務，有著較高品質的生成效果。
		Lensa、漫遊鏡等提供個人模型訓練服務 提供了前面的Dreambooth Stable Diffusion的服務，大概18-25元一次，上傳15-20張用戶照片，產生客製化的20張左右的藝術照片。
##################################### #######################AI 開源社群Huggingface###	#https://www.php.cn/link/81d7118d88d5570189ace943bd14f142 #目前主流的AI 開源社區，類似github，有大量使用者本身finetuned （微調）的基於Stable Diffusion 模型，可以下載並部署到自己的伺服器或本地電腦。 例如右側的pix2pix模型是一個結合了GPT3的Stable Diffusion模型，可以透過自然語言描述來完成前文提到的inpainting功能。

7、自己搭一個Stable Diffusion WEBUI服務
• 7.1 雲端版本
• 這裡使用AutoDL提供的雲端算力來搭建，也可以使用其他平台例如Google Colab或百度飛槳等。

先在AutoDL上註冊帳號並且租一台 A5000/RTX3090 顯示卡的雲端主機。 https://www.autodl.com/market/list

以此主機建立鏡像，鏡像可在 www.codewithgpu.com 上選擇已打包好的演算法鏡像。這裡以 https://www.codewithgpu.com/i/AUTOMATIC1111/stable-diffusion-webui/Stable-Diffusion-for-NovelAI 這個鏡像為例，選擇後再建立。

建立後開機並啟動JupterLab，

執行下面指令啟動服務即可。如果遇到系統磁碟空間不足的情況，也可以將stable-diffusion-webui/資料夾移入資料碟 autodl-tmp再啟動。如果遇到啟動失敗，可以根據你機器的位置配置學術資源加速。

• cd stable-diffusion-webui/
  rm -rf outputs && ln -s /root/autodl-tmp outputs
  python launch.py --disable-safe-unpickle --port=6006 --deepdanbooru

  6.2 本地版本

• 如果你有一個顯示卡還不錯的電腦，那可以部署在本地，這裡介紹下Windows版本的建造：
• 首先需要安裝Python 3.10.6，並且將環境變數新增至Path
• 安裝git

Clone Stable Diffusion WEBUI 的工程程式碼到本機

將模型檔案置於models/Stable-Diffusion目錄下，相關模型可去https://www.php.cn/link/81d7118d88d5570189ace943bd14f142 下載

執行webui-user.bat，透過本機電腦ip及7860連接埠存取服務。

8、總結
• 本文介紹了AI繪畫的一些相關的信息，有興趣的朋友也可以自己把服務部署起來，自己試著學習用DreamBooth或者最新的Lora微調一下大模型。相信在2023年，隨著 AIGC 熱度的不斷提高，我們的工作和生活都會因為 AI 帶來巨大的改變。前段時間 ChatGPT的推出為我們帶來了巨大的震撼，就好像剛進入網路時期搜尋資訊的能力一樣，今後學會使用 AI 來輔助我們的工作也將是一個非常重要的能力。

9、參考資料

• 從起因到爭議，在AI 生成藝術元年聊聊AI 

   https://sspai.com/ post/76277

• 神經網路學習筆記6－生成式AI繪畫背後的GAN與Diffusion初解

https://blog.csdn.net/ qq_45848817/article/details/127808815

• How diffusion models work: the math from scratch    

  …https://thetheais .com/＃

##GAN 結構概觀              

•     https://developers.google.com/machine-learning/gan/gan_structure

##The absolute bener a magical introduction to AI art

•    https://www.entrogames.com/2022/08/absolute-beginners-guide-to-midjourney-       magical-introduction-to-ai-art/# 

## The viral AI avatar app Lensa undressed me—without my consent

   https://www.technologyreview.com/2022/12/12/1064751/the-viral -ai-avatar-app-         lensa-undressed-me-without-my-consent/

instruct-pix2pix 

    https://www.php.cn/ link/81d7118d88d5570189ace943bd14f142timbrooks/instruct-pix2pix

######

以上是今年很火紅的AI繪畫怎麼玩的詳細內容。更多資訊請關注PHP中文網其他相關文章！