論文插圖也能自動生成了，用到了擴散模型，還被ICLR接收

生成式 AI 已經風靡了人工智慧社區，無論是個人還是企業，都開始熱衷於創建相關的模態轉換應用，例如文生圖、文生影片、文生音樂等等。

最近呢，來自 ServiceNow Research、LIVIA 等科研機構的幾位研究者嘗試基於文本描述生成論文中的圖表。為此，他們提出了一種 FigGen 的新方法，相關論文也被 ICLR 2023 收錄為了 Tiny Paper。

圖片

論文網址：https://arxiv.org/pdf/2306.00800.pdf

#也許有人會問了，生成論文中的圖表有什麼難的呢？這樣做對於科學研究又有哪些幫助呢？

科研圖表產生有助於以簡潔易懂的方式傳播研究結果，而自動產生圖表可以為研究者帶來很多優勢，例如節省時間和精力，不用花大力氣從頭開始設計圖表。此外設計出具有視覺吸引力且易理解的圖表能讓更多的人存取論文。

然而生成圖表也面臨一些挑戰，它需要表示框、箭頭、文字等離散元件之間的複雜關係。與生成自然圖像不同，論文圖表中的概念可能有不同的表示形式，需要細粒度的理解，例如生成神經網路圖會涉及高方差的不適定問題。

因此，本文研究者在一個論文圖表對資料集上訓練了一個生成式模型，捕捉圖表組件與論文中對應文本之間的關係。這需要處理不同長度和高技術性文字描述、不同圖表樣式、圖像長寬比以及文字渲染字體、大小和方向問題。

在具體實現過程中，研究者受到了最近文本到圖像成果的啟發，利用擴散模型來產生圖表，提出了一種從文本描述生成科研圖表的潛在擴散模型——FigGen。

這個擴散模型有哪些獨到之處呢？我們接著往下看細節。

模型與方法

研究者從頭開始訓練了一個潛在擴散模型。

先學習一個影像自動編碼器，用來將影像對應為壓縮的潛在表示。影像編碼器使用 KL 損失和 OCR 感知損失。調節所使用的文字編碼器在該擴散模型的訓練中端到端進行學習。下表 3 為影像自動編碼器架構的詳細參數。

然後，該擴散模型直接在潛在空間中進行交互，執行資料損壞的前向調度，同時學習利用時間和文字條件去噪 U-Net 來恢復該過程。

至於資料集，研究者使用了Paper2Fig100k，它由論文中的圖表文字對組成，包含了81,194個訓練樣本和21,259 個驗證樣本。下圖 1 為 Paper2Fig100k 測試集中使用文字描述產生的圖表範例。

模型細節

首先是圖像編碼器。第一階段，影像自動編碼器學習一個從像素空間到壓縮潛在表示的映射，使擴散模型訓練更快。圖像編碼器還需要學習將潛在圖像映射回像素空間，同時不丟失圖表重要細節（如文字渲染品質）。

為此，研究者定義了一個具有瓶頸的捲積編解碼器，在因子 f=8 時對影像進行下取樣。編碼器經過訓練可以最小化具有高斯分佈的 KL 損失、VGG 感知損失和 OCR 感知損失。

其次是文字編碼器。研究者發現通用文字編碼器不太適合產生圖表任務。因此他們定義了一個在擴散過程中從頭開始訓練的 Bert transformer，其中使用大小為 512 的嵌入通道，這也是調節 U-Net 的跨注意力層的嵌入大小。研究者也探討了不同設定下（8、32 和 128）的 transformer 層數量的變化。

最後是潛在擴散模型。下表 2 展示了 U-Net 的網路架構。研究者在感知上等效的圖像潛在表示中執行擴散過程，其中圖像的輸入大小被壓縮到了 64x64x4，使擴散模型更快。他們定義了 1,000 個擴散步驟和線性雜訊調度。

訓練細節

為了訓練影像自動編碼器，研究者使用了一個Adam 優化器，它的有效批次大小為4 個樣本、學習率為4.5e−6，期間使用了4 個12GB 的英偉達V100 顯示卡。為了實現訓練穩定性，他們在 50k 次迭代中 warmup 模型，而不使用判別器。

對於訓練潛在擴散模型，研究者也使用 Adam 最佳化器，它的有效批次大小為 32，學習率為 1e−4。在 Paper2Fig100k 資料集上訓練模型時，他們使用了 8 塊 80GB 的英偉達 A100 顯示卡。

實驗結果

在生成過程中，研究者採用了具有200 步驟的DDIM 取樣器，並且為每個模型產生了12,000 個樣本來計算FID, IS, KID 以及OCR-SIM1。穩重使用無分類器指導（CFG）來測試超調節。

下表 1 展示了不同文字編碼器的結果。可見，大型文字編碼器產生了最佳的定性結果，並且可以透過增加 CFG 的規模來改善條件生成。雖然定性樣本沒有足夠的品質來解決問題，但 FigGen 已經掌握了文字和圖像之間的關係。

下圖 2 展示了調整無分類器指導（CFG）參數時產生的額外 FigGen 樣本。研究者觀察到增加 CFG 的規模（這在定量上也得到了體現）可以帶來影像品質的改善。

圖片

下圖 3 展示了 FigGen 的更多生成範例。要注意樣本之間長度的變化，以及文字描述的技術水平，這會密切影響模型正確產生可理解圖像的難度。

圖片

不過研究者也承認，儘管現在這些產生的圖表不能為論文作者提供實際幫助，但仍不失為一個有前景的探索方向。

更多研究細節請參閱原文。

以上是論文插圖也能自動生成了，用到了擴散模型，還被ICLR接收的詳細內容。更多資訊請關注PHP中文網其他相關文章！