目前主流語意分割演算法本質上是基於softmax 分類器的判別式分類模型，直接對p (class|pixel feature) 進行建模，而完全忽略了潛在的像素資料分佈，即p ( class|pixel feature)。這限制了模型的表達能力以及在 OOD (out-of-distribution) 資料上的泛化性。
在最近的一項研究中，來自浙江大學、雪梨科技大學、百度研究院的研究者提出了一種全新的語意分割範式—— 基於高斯混合模型（GMM）的生成式語意分割模型GMMSeg。
GMMSeg 對像素與類別的聯合分佈進行建模，透過EM 演算法在像素特徵空間學習高斯混合分類器(GMM Classifier)，以產生式範式對每個類別的像素特徵分佈進行精細捕捉。同時，GMMSeg 採用判別式損失來端到端的最佳化深度特徵提取器。這使得 GMMSeg 同時具備判別式與生成式模式的優點。
實驗結果表明，GMMSeg 在多種分割網路架構(segmentation architecture) 及骨幹網路(backbone network) 上都獲得了效能提升；同時，無需任何後處理或微調， GMMSeg 可以直接被應用到異常分割(anomaly segmentation) 任務。
迄今為止，這是第一次有語意分割方法能夠使用單一的模型實例，在閉集(closed-set) 及開放世界(open-world) 條件下同時取得進階效能。這也是生成式分類器第一次在大規模視覺任務中展現優勢。
#在深入探討現有分割範式以及所提方法之前，這裡簡略引入判別式以及生成式分類器的概念。
假設有資料集合D，其包含成對的樣本- 標籤對(x, y)；分類器的最終目標是預測樣本分類機率p ( y|x)。分類方法可以分為兩類：判別式分類器以及生成式分類器。
目前主流的逐像素分割模型大多使用深度網路會抽取像素特徵，而後使用softmax 分類器進行像素特徵分類。其網路架構由兩部分組成：
第一部分為像素特徵提取器，其典型架構為編碼器- 解碼器對，透過將RGB 空間的像素輸入映射到D - 維度的高維空間來獲取像素特徵。
第二部分為像素分類器，即主流的softmax 分類器；其將輸入的像素特徵編碼為C - 類實數輸出（logits），而後利用softmax 函數對輸出（logits）歸一化並賦予機率意義，即利用logits 計算像素分類的後驗機率：
最終，由兩個部分構成的完整模型將透過cross-entropy 損失進行端到端的最佳化：
##在此過程中，模型忽略了像素本身的分佈，而直接對像素分類預測的條件機率p (c|x) 進行估計。由此可見，主流的 softmax 分類器本質為判別式分類器。
判別式分類器結構簡單，並因其最佳化目標直接針對於縮小判別誤差，往往能夠取得優異的判別效能。然而同時，其有一些尚未引起已有工作重視的致命缺點，極大的影響了softmax 分類器的分類性能及泛化性：
針對這些問題，作者認為應該對目前主流的判別式範式進行重新思考，並在本文中給出了對應的方案：生成式語義分割模型— —GMMSeg。
產生式語意分割模型：GMMSeg作者從生成式模型的角度重新整理了語意分割過程。相較於直接建模分類機率p (c|x)，生成式分類器對聯合分佈p (x, c) 進行建模，而後使用貝葉斯定理推導出分類機率：
其中，出於泛化性考慮，類別先驗p (c) 往往被設定為uniform 分佈，而如何對像素特徵的類別條件分佈p (x|c) 進行建模，就成為了目前的首要問題。
在本文中，即GMMSeg 中，採用高斯混合模型對p (x|c) 進行建模，其形式如下：
在分模型(component) 數目不受限的情況下，高斯混合模型理論上能夠擬合任意的分佈，因而十分優雅且強大；同時，其混合模型的本質也使得建模多模分佈(multimodality)，即建模類內變化，變得可行。基於此，本文採用極大似然估計來最佳化模型的參數：
#其經典的解法為EM 演算法，即透過交替執行E-M - 兩步驟逐步最佳化F - 函數：#
具體到高斯混合模型的最佳化；EM 演算法實際上在 E - 步驟中，對資料點屬於每一個分模型的機率進行了重新估計。換言之，其相當於在 E - 步中對像素點進行了軟聚類 (soft clustering)；而後，在 M - 步，即可利用聚類結果，再次更新模型參數。
然而在實際應用中，作者發現標準的 EM 演算法收斂緩慢，且最終結果較差。作者懷疑是由於 EM 演算法對參數最佳化初始值過於敏感，導致其難以收斂到更優的局部極值點。受到近期一系列基於最優傳輸理論(optimal transport) 的聚類演算法的啟發，作者對混合分模型分佈額外引入了一個uniform 先驗：
對應的，參數最佳化過程中的E - 步驟被轉換為約束最佳化問題，如下：
##這個過程可以被直觀的理解成，對聚類過程引入了一個均分的限制：在聚類過程中，資料點能夠被一定程度上均勻的分配給每一個分模型。引入此約束之後，此最佳化過程就等價於下式列出的最優傳輸問題：
#此式可以利用Sinkhorn-Knopp算法快速求解。而整個改進後的最佳化過程被命名為 Sinkhorn EM，其被一些理論工作證明，具有與標準 EM 演算法相同的全局最優解，且更不容易陷入局部最優解。
線上混合(Online Hybrid) 優化之後，在完整的優化過程中，文章中使用了一種在線混合(online hybrid) 的優化模式：透過生成式Sinkhorn EM，在逐漸更新的特徵空間中，不斷對高斯混合分類器進行最佳化；而對於完整框架中另一個部分，即像素特徵提取器部分，則基於生成式分類器的預測結果，使用判別式cross-entropy 損失進行最佳化。兩個部分交替優化，互相對齊，使得整個模型緊密耦合，並且能夠進行端到端的訓練：
在此過程中，特徵提取部分只透過梯度反向傳播優化；而生成式分類器部分，則只透過SinkhornEM 進行最佳化。正是這種交替式最佳化的設計，使得整個模型能夠緊湊的融合在一起，並同時繼承來自判別式以及生成式模型的優勢。
最終，GMMSeg 受益於其生成式分類的架構以及線上混合的訓練策略，展示出了判別式softmax 分類器所不具有的優勢：
實驗結果表明，不論是基於CNN 架構或基於Transformer 架構，在廣泛使用的語義分割資料集(ADE20K, Cityscapes , COCO-Stuff) 上，GMMSeg 都能夠取得穩定且明顯的效能提升。
除此之外，在例外分割任務中，無需對在閉集任務，即常規語意分割任務中訓練完畢的模型做任何的修改，GMMSeg 即可在所有一般評量指標上，超越其他需要特殊後處理的方法。
以上是生成式語意分割新範式GMMSeg，可同時處理閉集與開集識別的詳細內容。更多資訊請關注PHP中文網其他相關文章！
