在過去幾年中，Text-to-Image 領域取得了巨大的進展，特別是在人工智慧生成內容（AIGC）的時代。隨著DALL-E模型的興起，學術界湧現出越來越多的Text-to-Image模型，例如Imagen、Stable Diffusion、ControlNet等模型。然而，儘管Text-to-Image領域發展迅速，現有模型在穩定地產生包含文字的圖像方面仍然面臨一些挑戰
嘗試過現有sota 文生圖模型可以發現，模型生成的文字部分基本上是不可讀的，類似於亂碼，這非常影響圖像的整體美觀。
現有的sota文字產生模型產生的文字資訊可讀性較差
經過調查，學術界在這方面的研究較少。事實上，包含文字的圖像在日常生活中十分常見，例如海報、書籍封面和路牌等。如果 AI 能夠有效地產生這類圖像，將有助於輔助設計師的工作，激發設計靈感，並減輕設計負擔。除此之外，使用者可能只希望修改文生圖模型結果的文字部分，保留其他非文字區域的結果。
為了不改變原始意思，需要將內容改寫成中文。不需要出現原句
#TextDiffuser 的三個功能
##本文提出了TextDiffuser 模型，該模型包含兩個階段，第一階段產生Layout，第二階段產生影像。
#需要重新寫的是：TextDiffuser框架圖
模型接受一段文字Prompt ，然後根據Prompt 中的關鍵字確定每個關鍵字的Layout（也就是座標框）。研究者採用了 Layout Transformer，使用編碼器-解碼器的形式自回歸地輸出關鍵字的座標框，並以 Python 的 PILLOW 函式庫渲染出文字。在這個過程中，也可以利用 Pillow 現成的 API 得到每個字元的座標框，相當於得到了字元層級的 Box-level segmentation mask。基於此信息，研究者嘗試微調 Stable Diffusion。
他們考慮了兩種情況，一種是使用者想直接產生整張圖片（稱為 Whole-Image Generation）。另一種情況是 Part-Image Generation，在論文中也稱之為 Text-inpainting，指的是使用者給定一張圖像，需要修改圖裡的某些文字區域。
為了實現上述兩個目標，研究人員重新設計了輸入特徵，將維度從原來的4維度增加到了17維。其中包括4維加雜訊影像特徵、8維字元資訊、1維影像遮罩以及4維未遮罩的影像特徵。如果是整體影像生成，研究人員將遮罩區域設為整個影像；反之，如果是部分影像生成，只需對影像的一部分進行遮罩。擴散模型的訓練過程類似於LDM，對此感興趣的同伴可以參考原文中的方法部分描述
#在推理階段，TextDiffuser具有非常靈活的使用方式，可以分為三種：
所建構的MARIO 資料
為了訓練TextDiffuser，研究人員收集了一千萬張文字影像，如上圖所示，包括三個子集：MARIO-LAION，MARIO-TMDB和MARIO-OpenLibrary
研究者在篩選資料時考慮了若干方面：例如圖像經過OCR 後，只保留文字數量為[1,8] 的圖像。他們篩選了文本數量超過 8 的文本，因為這些文本往往包含大量密集文本，OCR 的結果一般不太準確，例如報紙或複雜的設計圖紙。除此之外，他們設定文字的區域大於 10%，設定這個規則是為了讓文字區域在圖像的比重不要太小。
在 MARIO-10M 資料集進行訓練後，研究人員對 TextDiffuser 進行了定量和定性的比較，與現有方法進行了對比。例如，在整體圖像生成任務中，本文方法生成的圖像具有更清晰可讀的文本，並且文本區域與背景區域的融合更好，如下圖所示
與現有工作比較文字渲染效能
研究人員也進行了一系列質性實驗，結果如表1所示。評估指標包括FID、CLIPScore和OCR。特別是OCR指標，本研究方法相對於對比方法有顯著的提升
重寫後的內容：實驗結果見表1：定性實驗
對於Part-Image Generation 任務，研究者嘗試在給定的圖像上增加或修改字符，實驗結果表明TextDiffuser 生成的結果很自然。
文字修復功能視覺化
總的來說，本文提出的TextDiffuser 模型在文字渲染領域取得了顯著的進展，能夠產生包含易讀文字的高品質影像。未來，研究者將進一步提升 TextDiffuser 的效果。
以上是新標題：TextDiffuser：無懼圖像中的文字，提供更高品質的文字渲染的詳細內容。更多資訊請關注PHP中文網其他相關文章！
