五個有前途的AI模型用於圖像翻譯

圖像到圖像的翻譯

根據Solanki、Nayyar和Naved在論文中提供的定義，圖像到圖像的翻譯是將圖像從一個域轉換到另一個域的過程，其目標是學習輸入影像和輸出影像之間的映射。

換句話說，我們希望模型能夠透過學習映射函數f將一張圖像a轉換成另一張圖像b。

有人可能會想，這些模型有什麼用，它們在人工智慧世界有什麼關聯。應用程式往往有很多，這不僅限於藝術或平面設計領域。例如，能夠拍攝影像並將其轉換為另一個影像來創建合成資料(如分割影像)，這對訓練自動駕駛汽車模型非常有用。另一個經過測試的應用程式是地圖設計，其中模型能夠執行兩種轉換(衛星視圖到地圖，反之亦然)。影像翻轉換型也可以應用於建築，模型可以就如何完成未完成的專案提出建議。

影像轉換最引人注目的應用之一是將簡單的繪圖轉換為美麗的風景或繪畫。

用於圖像翻譯的5種最有前途的AI模型

在過去幾年中，已經開發出幾種方法，透過利用生成模型來解決圖像到圖像轉換的問題。最常用的方法是基於以下體系結構：

• 產生對抗網路(GAN)
• 變分自編碼器(VAE)
• 擴散模型(DVAE)
• Transformers

Pix2Pix

Pix2Pix是一個基於條件GAN的模型。這意味著它的架構是由Generator網路(G)和Discriminator (D)組成的。這兩個網路都是在對抗性遊戲中訓練的，其中G的目標是產生與資料集相似的新影像，而D必須決定影像是生成的(假)還是來自資料集(真)。

Pix2Pix和其他GAN模型之間的主要區別是:(1)第一個Generator將圖像作為輸入來啟動生成過程，而普通GAN使用隨機噪聲;(2)Pix2Pix是一個完全監督模型，這意味著資料集由來自兩個域的成對影像組成。

論文中所描述的體系結構是由一個用於生成器的U-Net和用於Discriminator的Markovian Discriminator或Patch Discriminator定義的:

##U-Net:由兩個模組組成（下採樣和上採樣）。使用卷積層將輸入影像簡化為一組較小的影像(稱為特徵映射)，然後透過轉置卷積進行上取樣，直到達到原始的輸入維度。下採樣和上採樣之間存在skip connections。
• Patch Discriminator:卷積網絡，它的輸出是一個矩陣，其中每個元素都是圖像的一個部分(patch)的評估結果。它包括生成的圖像和真實圖像之間的L1距離，以確保生成器學會在給定輸入圖像的情況下映射正確的函數。也稱為馬可夫，因為它依賴來自不同patch的像素是獨立的假設。

Pix2Pix結果

無監督圖像到圖像翻譯（UNIT）

在Pix2Pix中，訓練過程是完全監督的(即我們需要成對的圖像輸入)。 UNIT方法的目的是學習將圖像A映射到圖像B的函數，而不需要訓練兩個成對的圖像。

模型從假設兩個域(A和B)共享一個共同的潛在空間(Z)開始。直觀地說，我們可以將這個潛在空間視為影像域A和B之間的中間階段。因此，使用從繪畫到圖像的例子，我們可以使用相同的潛在空間向後生成繪畫圖像或向前看到令人驚嘆的圖像(見圖X)。

圖中：(a)共享潛空間。 (b)UNIT架構:X1是一幅圖畫，X2是一幅美麗的風景;E1, E2是編碼器，從兩個域(繪圖和風景)提取圖像，並將它們映射到共享潛在空間Z;G1 , G2產生器，D1, D2判別器。虛線表示網路之間的共用層。

UNIT模型是在一對VAE-GAN架構下開發的(見上圖)，其中編碼器的最後一層(E1, E2)和生成器的第一層(G1, G2)是共享的。

UNIT結果

Palette

Palette是加拿大Google研究小組開發的條件擴散模型。此模型經過訓練，可執行與影像轉換相關的4項不同任務，從而獲得高品質的結果：

(i)著色:為灰階影像添加顏色

(ii) Inpainting:用逼真的內容填滿使用者指定的影像區域

(iii)Uncropping:放大影像影格

(iv)JPEG復原:恢復損壞的JPEG影像

在論文中，作者探討了多任務通用模型和多個專門模型之間的區別，兩者都經過一百萬次迭代訓練。此模型的體系結構是基於Dhariwal和Nichol 2021的類別條件U-Net模型，使用1024個批次大小的影像進行1M的訓練步驟。將噪音計畫作為超參數進行預處理和調整，使用不同的計畫進行訓練和預測。

Palette結果

Vision Transformers (ViT)

請注意，儘管以下兩個模型並不是專門為圖像轉換設計的，但它們在將諸如transformers等功能強大的模型引入計算機視覺領域方面邁出了明顯的一步。

Vision Transformers(ViT)是Transformers架構的修改（Vaswani等人，2017年），是為影像分類而開發的。此模型將影像作為輸入，並輸出屬於每個已定義類別的機率。

主要問題在於Transformers被設計成以一維序列作為輸入，而不是二維矩陣。為了進行排序，作者建議將影像分割為小塊，將影像視為序列(或NLP中的句子)，小塊視為標記(或單字)。

簡單總結一下，我們可以將整個過程分為3個階段:

1)嵌入:將小塊拆分並flatten→應用線性變換→添加類標記(此標記將作為分類時考慮的圖像摘要)→位置嵌入

2)Transformer-Encoder區塊:將嵌入的patches放入一系列變transformer encoder區塊中。注意力機制會學習專注於圖像的哪些部分。

3)分類MLP頭:將類別令牌通過MLP頭，該MLP頭輸出影像屬於每個類別的最終機率。

使用ViT的優點:排列不變。與CNN相比，Transformer不受影像中的平移(元素位置的變化)的影響。

缺點:需要大量標記資料進行訓練(至少14M的圖像)

TransGAN

TransGAN是一個基於transform的GAN模型，設計用於圖像生成，不使用任何卷積層。相反，生成器和鑑別器是由一系列由上採樣和下採樣區塊連接的Transformer組成的。

生成器的正向過程取一個一維數組的隨機雜訊樣本，並將其通過MLP。直觀地說，我們可以把數組想像成一個句子，像素的值想像成單字(請注意，一個由64個元素組成的數組可以重塑為1個通道的8✕8的圖像)接下來，作者應用了一系列Transformer塊，每個塊後面都有一個上採樣層，使數組(圖像)的大小增加一倍。

TransGAN的一個關鍵特徵是Grid-self - attention。當達到高維度影像(即非常長的陣列32✕32 = 1024)時，應用transformer可能導致自註意力機制的爆炸性成本，因為您需要將1024數組的每個像素與所有255個可能的像素進行比較(RGB維度)。因此，網格自註意力不是計算給定標記和所有其他標記之間的對應關係，而是將全維度特徵映射劃分為幾個不重疊的網格，並且在每個局部網格中計算標記交互。

判別器體系結構與前面引用的ViT非常相似。

#不同資料集上的TransGAN結果

以上是五個有前途的AI模型用於圖像翻譯的詳細內容。更多資訊請關注PHP中文網其他相關文章！