文字到影像生成是 2022 年最火的 AIGC 方向之一，被《science》評選為 2022 年度十大科學突破。最近，Google的一篇文字到圖像生成新論文《Muse: Text-To-Image Generation via Masked Generative Transformers》又引起高度關注。
##研究提出了一種使用掩碼圖像建模方法進行文字到圖像合成的新模型，其中的圖像解碼器架構以來自預訓練和frozen T5-XXL 大型語言模型(LLM) 編碼器的嵌入為條件。
與Google先前的 Imagen 模型類似，該研究發現基於預訓練 LLM 進行調整對於逼真、高品質的圖像生成至關重要。 Muse 模型是建立在 Transformer (Vaswani et al., 2017) 架構之上。
與建立在級聯像素空間（pixel-space）擴散模型上的Imagen (Saharia et al., 2022) 或Dall-E2 (Ramesh et al., 2022) 相比，Muse 由於使用了離散token，效率顯著提升。與 SOTA 自回歸模型 Parti (Yu et al., 2022) 相比，Muse 因使用平行解碼而效率更高。
基於在TPU-v4 上的實驗結果，研究者估計Muse 在推理速度上比Imagen-3B 或Parti-3B 模型快10 倍以上，比Stable Diffusion v1.4 (Rombach et al., 2022) 快2 倍。研究者認為：Muse 比 Stable Diffusion 推理速度更快是因為 Stable Diffusion v1.4 中使用了擴散模型，在推理時明顯需要更多迭代。
另一方面，Muse 效率的提升並沒有造成產生影像品質下降、模型對輸入文字 prompt 的語意理解能力降低的問題。該研究根據多個標準評估了 Muse 的生成結果，包括 CLIP 評分 (Radford et al., 2021) 和 FID (Heusel et al., 2017)。 Muse-3B 模型在 COCO (Lin et al., 2014) 零樣本驗證基準上取得了 0.32 的 CLIP 分數和 7.88 的 FID 分數。
下面我們來看看Muse 產生效果：
文字- 圖像生成：Muse 模型從文字提示快速產生高品質的圖像（在TPUv4 上，對於512x512 解析度的影像需要時間為1.3 秒，產生256x256 解析度的影像需要時間為0.5 秒）。例如生成「一隻熊騎著自行車，一隻鳥棲息在車把上」：
Muse 模型透過對文字提示條件下的圖像token 進行迭代重新取樣，為使用者提供了零樣本、無遮罩編輯（mask-free editing）。
Muse 也提供了基於遮罩的編輯，例如「在美麗的秋葉映照下，有一座涼亭在湖上」。
Muse 建立在許多元件之上，圖 3 提供了模型體系架構概述。
具體而言所包含的元件有：
預先訓練文字編碼器：研究發現利用預訓練大型語言模型（LLM）可以提高影像生成品質。他們假設，Muse 模型學會了將 LLM 嵌入中的豐富視覺和語義概念映射到生成的圖像。給定一個輸入文字字幕，該研究將其通過凍結的 T5-XXL 編碼器，得到一個 4096 維語言嵌入向量序列。這些嵌入向量線性投影到 Transformer 模型。
使用 VQGAN 進行語意 Tokenization：此模型的核心元件是使用從 VQGAN 模型獲得的語意 token。其中，VQGAN 由一個編碼器和一個解碼器組成，一個量化層將輸入影像映射到一個學習碼本中的 token 序列。該研究全部使用卷積層建立編碼器和解碼器，以支援對不同解析度影像進行編碼。
基礎模型：基礎模型是一個遮罩 transformer，其中輸入是投影到 T5 的嵌入和影像 token。研究保留所有的文字嵌入（unmasked），隨機遮罩不同比例的圖像 token，並用一個特殊的 [mask] token 替換它們。
超解析度模型：研究發現使用級聯模型是有益的：首先是產生16 × 16 潛在映射（對應於256 × 256 影像）的基礎模型，然後是將基礎的潛在映射上取樣到的超解析度模型，也就是64 × 64 的潛在映射（對應於一個512 × 512 的圖像）。
解碼器微調：為了進一步提高模型生成精細細節的能力，該研究透過添加更多的殘差層和通道來增加VQGAN 解碼器的容量，同時保持編碼器容量不變。然後微調新的解碼器層，同時凍結 VQGAN 編碼器權重、碼本和 transformer（即基礎模型和超解析度模型）。
除了上述元件外，Muse 還包含可變遮罩比率元件、在推理時迭代並行解碼元件等。
如下表所示，與其他模型相比，Muse 縮短了推理時間。
下表為不同模型在zero-shot COCO 上測量的FID 與CLIP 分數：
如下表所示，Muse（632M (base) 268M (super-res) 參數模型）在CC3M 資料集上訓練和評估時得到了6.06 的SOTA FID 分數。
下圖是 Muse 與 Imagen、DALL-E 2 在相同 prompt 下產生結果的範例。
有興趣的讀者可以閱讀論文原文，了解更多研究細節。
以上是推理速度比Stable Diffusion快2倍，生成、修復圖像Google一個模型搞定，實現新SOTA的詳細內容。更多資訊請關注PHP中文網其他相關文章！
