GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型效能超群

自 GPT-4 問世以來，人們一直驚艷於它強大的湧現能力，包括出色的語言理解能力、生成能力、邏輯推理能力等等。這些能力讓 GPT-4 成為機器學習領域最前衛的模型之一。然而，OpenAI 至今未公開 GPT-4 的任何技術細節。

上個月，喬治・霍茲（George Hotz）在接受名為Latent Space 的AI 技術播客的採訪時提到了GPT-4，並稱GPT-4 其實是一個混合模型。具體來說，喬治・霍茲稱GPT-4 採用由8 個專家模型組成的整合系統，每個專家模型都有2,200 億個參數（比GPT-3 的1750 億參數量略多一些），而這些模型經過了針對不同數據和任務分佈的訓練。

Latent Space 的訪談內容。

這或許只是喬治・霍茲的一種推測，但這種模式確實有一定的合理性。最近，由來自Google、UC 柏克萊、MIT 等機構的研究者共同發表的一篇論文證實：混合專家模型（MoE）與指令調優的結合能夠讓大型語言模型（LLM）的表現大幅提升。

圖片

論文網址：https://arxiv.org/pdf/2305.14705.pdf

#稀疏混合專家模型是一種特殊的神經網路架構，可以在不增加推理成本的情況下，為大型語言模型（LLM）增加可學習的參數。指令調優（instruction tuning）是一種訓練 LLM 遵循指令的技術。研究發現 MoE 模型比密集模型更能從指令調優中獲益，因此提出將 MoE 和指令調優結合。

研究在三種實驗設定下進行了實證研究，包括

• 在沒有指令調優的情況下在單一下游任務進行直接微調；
• 指令調優後對下游任務進行in-context 少樣本或零樣本泛化；

指令調優後對單一下游任務進行進一步微調。

在第一種情況下，MoE 模型整體上不如具有相同運算能力的密集模型。然而，隨著指令調優的引入（第二和第三種情況），FLAN-MoE_32B（Fine-tuned LAnguage Net，簡寫為Flan，是一種經過指令調優的模型，Flan-MoE 即為指令調優MoE）在四個基準任務上效能超過了FLAN-PALM_62B，卻只用了三分之一的FLOPs。

如下圖所示，在使用指令調優前，MoE→FT 不如 T5→FT。指令調優後，Flan-MoE→FT 優於 Flan-T5→FT。 MoE 從指令調優中獲得的收益( 15.6) 大於密集模型( 10.2)：

圖片

看來GPT -4 採用混合模型還是有點根據的，MoE 確實能夠從指令調優中獲得更大的收益：

圖片

方法概述

研究者在FLAN-MOE （是一組經過指令微調的稀疏混合專家模型）模型中使用了稀疏激活MoE（Mixture-of-Experts）。此外，他們還用 MoE 層取代了其他 Transformer 層的前饋組件。

###每個 MoE 層可理解為一個「專家」，然後，使用 softmax 激活函數對這些專家進行建模，得到一個機率分佈。 ############儘管每個 MoE 層有很多參數，但專家是稀疏激活的。這意味著對於給定的輸入 token，只使用有限的專家子集就能完成任務，從而為模型提供了更大的容量。 ############對於具有 E 個專家的 MoE 層，這實際上提供了 O (E^2) 種不同的前饋網路組合，從而實現了更大的運算靈活性。 ################

由於 FLAN-MoE 是經過指令調優的模型，因而指令調優非常重要，該研究在 FLAN 集合資料集的基礎上對 FLAN-MOE 進行微調。此外，研究將每個 FLAN-MOE 的輸入序列長度調整為 2048，輸出長度調整為 512。

實驗與分析

平均而言，在不增加任何額外計算的情況下，Flan-MoE 在所有模型尺度上都優於密集的同類產品(Flan-T5)。

圖片

專家數。圖 4 顯示，隨著專家數量的增加，初始時，模型受益於更豐富的專門子網絡，每個子網絡能夠處理問題空間中的不同任務或方面。這種方式使得 MoE 在處理複雜任務時具有很強的適應性和效率，從而整體上改善性能。然而，隨著專家數量的不斷增加，模型效能增益開始減少，最終達到飽和點。

圖片

圖3 和表1 詳細研究了不同的路由決策如何影響指令調優效能：透過FLAN- Switch 和FLAN-GS 策略之間的比較可以得出，啟動更多的專家會在四個基準測試中提高效能。在這些基準測試中，MMLU-Direct 模型顯示出最顯著的改進，對於 BASE/LARGE 尺寸的模型，從 38.0% 增加到 39.9%。

值得注意的是，與等效容量的密集模型相比，指令調優顯著放大了MoE 模型在保留MMLU、BBH 和內部QA 和推理基準測試方面的性能。對於較大的 MoE 模型，這些優勢進一步放大。例如，指令調優使 ST_32B 的效能提升了 45.2%，而對於 FLAN-PALM_62B，這種改進相對較小，約為 6.6%。

當模型擴展時，Flan-MoE (Flan-ST-32B) 優於 Flan-PaLM-62B 。

圖片

此外，研究透過freeze 給定模型的閘控函數（gating function）、專家模組和MoE參數進行了一些分析實驗。如下表 2 所示，實驗結果表明，freeze 專家模組或 MoE 組件對模型性能有負面影響。

相反，freeze 閘控函數會使模型效能略有改善，儘管並不明顯。研究者推測這項觀察結果與 FLAN-MOE 的欠擬合有關。該研究也進行了消融實驗來探究下圖 5 描述了微調資料效率消融研究。

最後，為了比較直接對MoE 進行微調和FLAN-MOE 之間的差距，該研究對單任務微調的MoE、單任務微調的FLAN-MoE 和密集模型進行了實驗，結果如下圖6 所示：

#有興趣的讀者可以閱讀論文原文，了解更多研究內容。

以上是GPT-4使用混合大模型？研究證明MoE+指令調優確實讓大模型效能超群的詳細內容。更多資訊請關注PHP中文網其他相關文章！