替代MLP的KAN，被開源專案擴展到卷積了

本月初，來自 MIT 等機構的研究者提出了一種非常有潛力的 MLP 替代方法 ——KAN。

KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如，作者表示，他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說，DeepMind的MLP有大約300,000個參數，而KAN只有約200個參數。

KAN 與 MLP 一樣具有強大的數學基礎，MLP 基於通用逼近定理，而 KAN 基於 Kolmogorov-Arnold 表示定理。

如下圖所示，KAN 在邊上具有激活函數，而 MLP 在節點上具有激活函數。 KAN 似乎比 MLP 的參數效率更高，但每個 KAN 層比 MLP 層擁有更多的參數。 圖片： [圖1：示意圖] 簡要解釋： KAN 是一種基於邊的神經網路結構，每個節點都有邊的權重和活化函數。它透過邊的傳播來實現訊息的傳遞和更新。 MLP 是一種基於節點的神經網路結構，每個節點都有輸入的

最近，有研究者將KAN 創新框架的概念擴展到卷積神經網絡，將卷積的經典線性變換改為每個像素中可學習的非線性激活函數，提出並開源KAN 卷積（CKAN）。

計畫地址：https://github.com/AntonioTepsich/Convolutional-KANs

KAN卷積

KAN 卷積與卷積非常相似，但不是在內核和影像中對應像素之間應用點積，而是對每個元素應用可學習的非線性激活函數，然後將它們相加。 KAN 卷積的內核當於 4 個輸入和 1 個輸出神經元的 KAN 線性層。對於每個輸入 i，應用 ϕ_i 可學習函數，該卷積步驟的結果像素是 ϕ_i (x_i) 的總和。

KAN 磁碟區中的參數

假設有一個KxK 內核，對於該矩陣的每個元素，都有一個ϕ，其參數計數為：gridsize 1，ϕ 定義為：

##這為激活函數b 提供了更多的可表達性，線性層的參數計數為gridsize 2。因此，KAN 卷積總共有 K^2​​(gridsize 2) 個參數，而普通卷積只有 K^2​​。

初步評估

作者測試過的不同架構有：

• 連接到KAN 線性層的KAN 卷積層（KKAN）
• 與MLP 相連的KAN 卷積層（CKAN）
• 在卷積之間進行批量歸一化的CKAN (CKAN_BN)
• ConvNet（連接到MLP 的經典卷積）（ConvNet）
• 簡單MLP

作者表示，KAN 卷積的實作是一個很有前景的想法，儘管它仍處於早期階段。他們進行了一些初步實驗，以評估 KAN 卷積的表現。

值得注意的是，之所以公佈這些「初步」結果，是因為他們希望盡快向外界介紹這個想法，並推動社區更廣泛的研究。

卷積層中列表每個元素都包含卷積數和對應的核心大小。

基於 28x28 MNIST 資料集，可以觀察到 KANConv & MLP 模型與 ConvNet（大）相比達到了可接受的準確度。然而，不同之處在於 KANConv & MLP 所需的參數數量是標準 ConvNet 所需的參數數量的 7 倍。此外，KKAN 的準確率比 ConvNet Medium 低 0.04，而參數數量（94k 對 157k）幾乎只有 ConvNet Medium 的一半，這顯示了該架構的潛力。我們還需要在更多的資料集上進行實驗，才能對此得出結論。

在接下來的幾天和幾周里，作者還將徹底調整模型和用於比較的模型的超參數。雖然已經嘗試了一些超參數和架構的變化，但這只是啟發式的，並沒有採取任何精確的方法。由於計算能力和時間的原因，他們還沒有使用大型或更複雜的數據集，並正在努力解決這個問題。

未來，作者將在更複雜的資料集上進行實驗，這意味著 KANS 的參數量將會增加，因為需要實現更多的 KAN 卷積層。

結論

目前，與傳統卷積網路相比，作者表示並沒有看到KAN 卷積網路的效能有顯著提高。他們分析認為，這是由於使用的是簡單資料集和模型，與嘗試過的最佳架構（ConvNet Big，基於規模因素，這種比較是不公平的）相比，該架構的優勢在於它對參數的要求要少得多。

在2 個相同的捲積層和KAN 卷積層與最後連接的相同MLP 之間進行的比較顯示，經典方法略勝一籌，準確率提高了0.06，而KAN 卷積層和KAN 線性層的參數數幾乎只有經典方法的一半，準確​​率卻降低了0.04。

作者表示，隨著模型和資料集複雜度的增加，KAN 卷積網路的效能應該會有所提高。同時，隨著輸入維數的增加，模型的參數數量也會成長得更快。

以上是替代MLP的KAN，被開源專案擴展到卷積了的詳細內容。更多資訊請關注PHP中文網其他相關文章！