被GPT帶飛的In-Context Learning為什麼會起作用？模型在秘密執行梯度下降

繼 BERT 之後，研究者註意到了大規模預訓練模型的潛力，不同的預訓練任務、模型架構、訓練策略等被提出。但 BERT 類別模型通常有兩大缺點：一是過度依賴有標籤資料；二是存在過度擬合現象。

具體而言，現在的語言模型都傾向於兩段式框架，即預訓練下游任務微調，但是在針對下游任務的微調過程中又需要大量的樣本，否則效果很差，然而標註資料的成本高昂。還有就是標註資料有限，模型只能擬合訓練資料分佈，但資料較少的話容易造成過擬合，致使模型的泛化能力下降。

作為大模型的開路先鋒，大型預訓練語言模型，特別是 GPT-3 已經顯示出令人驚訝的 ICL（In-Context Learning）能力。與微調需要額外的參數更新不同，ICL 只需要一些演示“輸入 - 標籤”對，模型就可以預測標籤甚至是沒見過的輸入標籤。在許多下游任務中，一個大型 GPT 模型可以獲得相當好的性能，甚至超過了一些經過監督微調的小型模型。

為何ICL 的表現如此優秀，在來自OpenAI 的一篇長達70 多頁的論文《Language Models are Few-Shot Learners》中，他們對ICL 進行了探索，其目的是讓GPT-3 使用更少的領域資料、且不經過微調去解決問題。

如下圖所示，ICL 包含三種分類：Few-shot learning，允許輸入數條範例和一則任務說明；One-shot learning，只允許輸入一個範例和一則任務說明；Zero-shot learning，不允許輸入任何範例，只允許輸入一則任務說明。結果顯示 ICL 不需要反向傳播，只需要把少量標註樣本放在輸入文字的上下文中即可誘導 GPT-3 輸出答案。

#GPT-3 in-context learning

實驗證明在Few-shot 下GPT-3 有很好的表現：

為什麼GPT可以在In-Context 學習？

儘管 ICL 在效能上取得了巨大的成功，但其工作機制仍然是一個有待研究的開放性問題。為了更好地理解 ICL 是如何運作的，我們接下來介紹一篇來自北大、清華等機構的研究是如何解釋的。

• 論文網址：https://arxiv.org/pdf/2212.10559v2.pdf
• #專案網址：https://github.com/microsoft/LMOps

用網友的話來總結，即：「這項工作表明，GPT 自然地學會了使用內部優化來執行某些運行。該研究同時提供了經驗性證據來證明In-Context Learning 和顯式微調在多個層面上表現相似。」

為了更好地理解ICL 是如何運作的，該研究將語言模型解釋為元優化器，ICL 解釋為一個元優化過程，並將ICL 理解為一種隱式微調，試圖在基於GPT 的ICL 和微調之間建立聯繫。從理論上講，該研究發現 Transformer 的注意力具有基於梯度下降的對偶優化形式。

在此基礎上，研究提出了一個新的視角來解釋ICL：GPT 首先根據示範範例產生元梯度，然後將這些元梯度應用於原始GPT 以建立ICL模型。

如圖 1 所示，ICL 和明確微調共享基於梯度下降的對偶最佳化形式。唯一的差異是 ICL 透過前向計算產生元梯度，而微調透過反向傳播計算梯度。因此，將 ICL 理解為某種隱式微調是合理的。

ICR 執行隱含微調 

該研究首先定性分析了鬆弛線性注意力（relaxed linear attention）形式下的Transformer 注意力，以找出它與基於梯度下降最佳化之間的對偶形式。然後，該研究將 ICL 與顯式微調進行比較，並在這兩種最佳化形式之間建立聯繫。基於這些理論發現，他們建議將 ICL 理解為一種隱式微調。

首先該研究將Transforme 注意力看作元優化，將ICL 解釋為一個元優化過程：（1）一個基於Transformer 的預訓練語言模型作為元優化器；（ 2）透過前向計算根據實例產生元梯度；（3）透過注意力，將元梯度應用於原始語言模型，建構ICL。

接下來是 ICL 與微調的比較。經過一系列設定後，研究發現 ICL 與微調有許多共同特性。他們從以下四個面向來組織這些共通點：兩者都執行梯度下降；相同的訓練資訊；訓練例子的因果順序相同；都是圍繞著注意力。

考慮到 ICL 和微調之間的所有這些共同屬性，該研究認為將 ICL 理解為一種隱式微調是合理的。在本文的其餘部分，該研究從多個方面根據經驗比較 ICL 和微調，以提供支持這種理解的定量結果。

實驗結果

研究進行了一系列實驗來全面比較ICL 的行為和基於實際任務的明確微調，在六個分類任務上，他們比較了預訓練GPT 在ICL 和微調設定中關於預測、注意力輸出和注意力得分的情況。正如預期的那樣，ICL 在預測、表示和注意力水平等方面都與顯式微調高度相似。這些結果有力地證明了這一合理性：ICL 執行隱式微調。

 此外，受元最佳化理解的啟發，該研究透過類比基於動量的梯度下降演算法設計了一種基於動量的注意力。它始終優於 vanilla attention 的性能。

表 2 顯示了在六個分類資料集上 ZSL（ Zero-Shot Learning ）、ICL 和微調（FT）設定中的驗證精確度。與 ZSL 相比，ICL 和微調都取得了相當大的改進，這意味著所做的最佳化都有助於這些下游任務。此外，研究發現 ICL 在 Few-shot 場景中比微調更好。

表 3 中顯示了 6 個資料集上 2 個 GPT 模型的 Rec2FTP 分數。平均而言，ICL 可以從 ZSL 中正確預測 87.64% 的微調能夠修正的範例。這些結果顯示在預測層面，ICL 可以涵蓋大多數正確的微調行為。

表 3 也顯示了 6 個資料集上 2 個 GPT 模型的範例與圖層的平均 SimAOU 分數。為了進行比較，研究也提供了一個基準指標（Random SimAOU），用來計算 ICL 更新和隨機產生更新之間的相似性。從表中可以看出，ICL 更新更類似於微調更新而非隨機更新，這意味著在表示層面上，ICL 傾向於按照微調改變的方向來改變注意力結果。

最後，表 3 也顯示了 6 個資料集上 2 個 GPT 模型的範例與圖層的平均 SimAM 分數。作為 SimAM 的基準指標，ZSL SimAM 計算 ICL 注意力權重和 ZSL 注意力權重之間的相似性。透過比較這兩個指標，研究發現，與 ZSL 相比，ICL 更傾向於產生類似微調的注意力權重。同樣在註意力行為層面，研究證明 ICL 的行為類似於微調。

為了更徹底地探討 ICL 和微調之間的相似性，研究比較了不同層的 SimAOU 和 SimAM 分數。透過從每個資料集中隨機抽取 50 個驗證範例，分別繪製瞭如下圖 2 和圖 3 所示的 SimAOU 和 SimAM 箱形圖。

從圖中可以發現，SimAOU 和 SimAM 在較低層出現波動，並且往往在較高層更穩定。這種現象說明了 ICL 進行的元優化具有前向累積效應，隨著累積的增加，ICL 的行為更類似於較高層的微調。

總結

#總結而言，本文旨在解釋基於GPT 的ICL 工作機制。從理論上講，該研究找出了 ICL 的對偶形式，並建議將 ICL 理解為元最佳化過程。此外，該研究在 ICL 和特定微調設定之間建立了聯繫，發現將 ICL 視為一種隱式微調是合理的。為了支持對 ICL 執行隱式微調的理解，研究綜合比較了 ICL 和基於實際任務的微調的行為。結果證明，ICL 類似於顯式微調。

此外，受元最佳化的啟發，該研究設計了一種基於動量的注意力，以實現一致的性能改進。作者希望研究能幫助更多的人深入了解 ICL 應用和模型設計。

以上是被GPT帶飛的In-Context Learning為什麼會起作用？模型在秘密執行梯度下降的詳細內容。更多資訊請關注PHP中文網其他相關文章！