根據Solanki、Nayyar和Naved在論文中提供的定義，圖像到圖像的翻譯是將圖像從一個域轉換到另一個域的過程，其目標是學習輸入影像和輸出影像之間的映射。
換句話說，我們希望模型能夠透過學習映射函數f將一張圖像a轉換成另一張圖像b。
有人可能會想，這些模型有什麼用，它們在人工智慧世界有什麼關聯。應用程式往往有很多，這不僅限於藝術或平面設計領域。例如，能夠拍攝影像並將其轉換為另一個影像來創建合成資料(如分割影像)，這對訓練自動駕駛汽車模型非常有用。另一個經過測試的應用程式是地圖設計，其中模型能夠執行兩種轉換(衛星視圖到地圖，反之亦然)。影像翻轉換型也可以應用於建築，模型可以就如何完成未完成的專案提出建議。
影像轉換最引人注目的應用之一是將簡單的繪圖轉換為美麗的風景或繪畫。
在過去幾年中，已經開發出幾種方法，透過利用生成模型來解決圖像到圖像轉換的問題。最常用的方法是基於以下體系結構：
Pix2Pix是一個基於條件GAN的模型。這意味著它的架構是由Generator網路(G)和Discriminator (D)組成的。這兩個網路都是在對抗性遊戲中訓練的，其中G的目標是產生與資料集相似的新影像，而D必須決定影像是生成的(假)還是來自資料集(真)。
Pix2Pix和其他GAN模型之間的主要區別是:(1)第一個Generator將圖像作為輸入來啟動生成過程，而普通GAN使用隨機噪聲;(2)Pix2Pix是一個完全監督模型，這意味著資料集由來自兩個域的成對影像組成。
論文中所描述的體系結構是由一個用於生成器的U-Net和用於Discriminator的Markovian Discriminator或Patch Discriminator定義的:
在論文中，作者探討了多任務通用模型和多個專門模型之間的區別，兩者都經過一百萬次迭代訓練。此模型的體系結構是基於Dhariwal和Nichol 2021的類別條件U-Net模型，使用1024個批次大小的影像進行1M的訓練步驟。將噪音計畫作為超參數進行預處理和調整，使用不同的計畫進行訓練和預測。
Palette結果
請注意，儘管以下兩個模型並不是專門為圖像轉換設計的，但它們在將諸如transformers等功能強大的模型引入計算機視覺領域方面邁出了明顯的一步。
Vision Transformers(ViT)是Transformers架構的修改（Vaswani等人，2017年），是為影像分類而開發的。此模型將影像作為輸入，並輸出屬於每個已定義類別的機率。
主要問題在於Transformers被設計成以一維序列作為輸入，而不是二維矩陣。為了進行排序，作者建議將影像分割為小塊，將影像視為序列(或NLP中的句子)，小塊視為標記(或單字)。
簡單總結一下，我們可以將整個過程分為3個階段:
1)嵌入:將小塊拆分並flatten→應用線性變換→添加類標記(此標記將作為分類時考慮的圖像摘要)→位置嵌入
2)Transformer-Encoder區塊:將嵌入的patches放入一系列變transformer encoder區塊中。注意力機制會學習專注於圖像的哪些部分。
3)分類MLP頭:將類別令牌通過MLP頭，該MLP頭輸出影像屬於每個類別的最終機率。
使用ViT的優點:排列不變。與CNN相比，Transformer不受影像中的平移(元素位置的變化)的影響。
缺點:需要大量標記資料進行訓練(至少14M的圖像)
TransGAN是一個基於transform的GAN模型，設計用於圖像生成，不使用任何卷積層。相反，生成器和鑑別器是由一系列由上採樣和下採樣區塊連接的Transformer組成的。
生成器的正向過程取一個一維數組的隨機雜訊樣本，並將其通過MLP。直觀地說，我們可以把數組想像成一個句子，像素的值想像成單字(請注意，一個由64個元素組成的數組可以重塑為1個通道的8✕8的圖像)接下來，作者應用了一系列Transformer塊，每個塊後面都有一個上採樣層，使數組(圖像)的大小增加一倍。
TransGAN的一個關鍵特徵是Grid-self - attention。當達到高維度影像(即非常長的陣列32✕32 = 1024)時，應用transformer可能導致自註意力機制的爆炸性成本，因為您需要將1024數組的每個像素與所有255個可能的像素進行比較(RGB維度)。因此，網格自註意力不是計算給定標記和所有其他標記之間的對應關係，而是將全維度特徵映射劃分為幾個不重疊的網格，並且在每個局部網格中計算標記交互。
判別器體系結構與前面引用的ViT非常相似。
#不同資料集上的TransGAN結果
以上是五個有前途的AI模型用於圖像翻譯的詳細內容。更多資訊請關注PHP中文網其他相關文章！
