目錄
ICL的原理
ICL和微調對比
實驗部分
首頁 科技週邊 人工智慧 清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

May 10, 2023 pm 09:37 PM
ai

大型預訓練語言模型其中一個重要的特點是上下文學習(In-Context Learning,ICL)能力,即透過一些示範性的輸入-標籤對,就可以在不更新參數的情況下對新輸入的標籤進行預測。

性能雖然上去了,但大模型的ICL能力到底從何而來仍然是一個開放的問題。

為了更好地理解ICL的工作原理,清華大學、北京大學和微軟的研究人員共同發表了一篇論文,將語言模型解釋為元優化器(meta- optimizer),並將ICL理解為一種隱性的(implicit)微調。

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

論文連結:https://arxiv.org/abs/2212.10559

#從理論上講,這篇文章弄清楚了Transformer注意力中存在一個基於梯度下降優化的對偶形式(dual form),並在此基礎上,對ICL的理解如下。 GPT首先根據示範實例產生元梯度,然後將這些元梯度應用於原始的GPT,並建立ICL模型。

在實驗中,研究人員綜合比較了ICL和基於真實任務的明確微調的行為,以提供支持該理解的經驗證據。

結果證明,ICL在預測層面、表徵層面和注意力行為層面的表現與明確微調類似。

此外,受到元優化理解的啟發,透過與基於動量的梯度下降演算法的類比,文中還設計了一個基於動量的注意力,比普通的注意力有更好的表現,從另一個方面再次支持了該理解的正確性,也展現了利用該理解對模型做進一步設計的潛力。

ICL的原理

研究人員首先對Transformer中的線性注意力機制進行了定性分析,以找出它與基於梯度下降的最佳化之間的對偶形式。然後將ICL與顯式微調進行比較,並在這兩種最佳化形式之間建立連結。

Transformer注意力就是元優化

#設X是整個query的輸入表徵,X'是範例的表徵,q是查詢向量,則在ICL設定下,模型中一個head的注意力結果如下:

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

可以看到,移除縮放因子根號d和softmax後,標準的注意力機制可以近似為:

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

#將Wzsl設為Zero-Shot Learning(ZSL)的初始參數後,Transformer注意力可以轉換為下面的對偶形式:

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

#可以看到,ICL可以解釋為一個元最佳化(meta -optimization)的過程:

1. 將基於Transformer的預訓練語言模型作為一個元優化器;

2. 透過正向計算,根據示範樣例計算元梯度;

3. 透過注意力機制,將元梯度應用於原始語言模型上,建立一個ICL模型。

ICL和微調對比

為了比較ICL的元優化和顯式優化,研究人員設計了一個具體的微調設定作為比較的基線:考慮到ICL只直接作用在註意力的key和value,所以微調也只更新key和value投影的參數。

同樣在非嚴謹形式下的線性注意力中,微調後的head注意力結果可以被表述為:

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

為了與ICL進行更公平的比較,實驗中進一步將微調設定限制如下:

#1. 將訓練範例指定為ICL的示範範例;

2. 只對每個例子進行一步訓練,其順序與ICL的示範順序相同;

3. 用ICL所用的模板對每個訓練樣例進行格式化,並使用因果語言建模目標進行微調。

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

比較後可以發現,ICL與微調有許多共同的屬性,主要包括四個面向。

都是梯度下降

#可以發現ICL和微調都對Wzsl進行了更新,即梯度下降,唯一的區別是,ICL透過正向計算產生元梯度,而finetuning則透過反向傳播獲得真正的梯度。

相同的訓練資訊

ICL的元梯度是根據示範範例獲得的,微調的梯度也是從相同的訓練樣本中得到的,也就是說,ICL和微調共享相同的訓練資訊來源。

訓練範例的因果順序相同

#ICL和微調共享訓練範例的因果順序,ICL用的是decoder-only Transformers,因此示例中的後續token不會影響到前面的token;而對於微調,由於訓練示例的順序相同,並且只訓練一個epoch,所以也可以保證後面的樣本對前面的樣本沒有影響。

都作用於注意力

#與zero-shot學習相比,ICL和微調的直接影響都僅限於注意力中key和value的計算。對於ICL來說,模型參數是不變的,它將範例資訊編碼為額外的key和value以改變注意力行為;對於微調中引入的限制,訓練資訊也只能作用到注意力key和value的投影矩陣中。

基於ICL和微調之間的這些共同特性,研究人員認為將ICL理解為一種隱性微調是合理的。

實驗部分

任務與資料集

研究人員選擇了橫跨三個分類任務的六個資料集來對比ICL和微調,包括SST2、SST-5、MR和Subj四個用於情感分類的資料集;AGNews是一個主題分類資料集;CB用於自然語言推理。

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

實驗設定

模型部分使用了兩個類似GPT的預訓練語言模型,由fairseq發布,其參數量分別為1.3B和2.7B.

對於每個任務,使用相同的模板來對ZSL、ICL和微調的樣本進行格式化。

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

結果

#準確度

與ZSL相比,ICL和微調都取得了相當大的改進,這意味著它們的最佳化,對這些下游任務都有幫助。此外,ICL在少數情況下比微調更好。

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

Rec2FTP(Recall to Finetuning Predictions)

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

#GPT模型在六個資料集上的得分結果顯示,平均而言,ICL可以正確預測87.64%的例子,而微調可以修正ZSL。在預測層面,ICL可以涵蓋大部分正確的行為進行微調。

SimAOU(Similarity of Attention Output Updates)

從結果可以發現,ICL更新與微調更新的相似度遠高於隨機更新,也意味著在表示層面上,ICL傾向於以與微調變化相同的方向改變注意力結果。

SimAM(Similarity of Attention Map)

清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已

######作為SimAM的基準指標,ZSL SimAM計算了ICL注意力權重和ZSL注意力權重之間的相似度。透過比較這兩個指標,可以觀察到,與ZSL相比,ICL更傾向於產生與微調相似的注意力權重。 ############同樣,在註意力行為層面,實驗結果證明了ICL的行為與微調相似。 ################

以上是清北微軟深挖GPT,把上下文學習整明白了!和微調基本一致,只是參數沒變而已的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1654
14
CakePHP 教程
1413
52
Laravel 教程
1306
25
PHP教程
1252
29
C# 教程
1225
24
排名前十的虛擬幣交易app有哪 最新數字貨幣交易所排行榜 排名前十的虛擬幣交易app有哪 最新數字貨幣交易所排行榜 Apr 28, 2025 pm 08:03 PM

Binance、OKX、gate.io等十大數字貨幣交易所完善系統、高效多元化交易和嚴密安全措施嚴重推崇。

全球幣圈十大交易所有哪些 排名前十的貨幣交易平台最新版 全球幣圈十大交易所有哪些 排名前十的貨幣交易平台最新版 Apr 28, 2025 pm 08:09 PM

全球十大加密貨幣交易平台包括Binance、OKX、Gate.io、Coinbase、Kraken、Huobi Global、Bitfinex、Bittrex、KuCoin和Poloniex,均提供多種交易方式和強大的安全措施。

靠譜的數字貨幣交易平台推薦 全球十大數字貨幣交易所排行榜2025 靠譜的數字貨幣交易平台推薦 全球十大數字貨幣交易所排行榜2025 Apr 28, 2025 pm 04:30 PM

靠谱的数字货币交易平台推荐:1. OKX,2. Binance,3. Coinbase,4. Kraken,5. Huobi,6. KuCoin,7. Bitfinex,8. Gemini,9. Bitstamp,10. Poloniex,这些平台均以其安全性、用户体验和多样化的功能著称,适合不同层次的用户进行数字货币交易

排名靠前的貨幣交易平台有哪些 最新虛擬幣交易所排名榜前10 排名靠前的貨幣交易平台有哪些 最新虛擬幣交易所排名榜前10 Apr 28, 2025 pm 08:06 PM

目前排名前十的虛擬幣交易所:1.幣安,2. OKX,3. Gate.io,4。幣庫,5。海妖,6。火幣全球站,7.拜比特,8.庫幣,9.比特幣,10。比特戳。

解密Gate.io戰略升級:MeMebox 2.0如何重新定義加密資產管理? 解密Gate.io戰略升級:MeMebox 2.0如何重新定義加密資產管理? Apr 28, 2025 pm 03:33 PM

MeMebox 2.0通過創新架構和性能突破重新定義了加密資產管理。 1) 它解決了資產孤島、收益衰減和安全與便利悖論三大痛點。 2) 通過智能資產樞紐、動態風險管理和收益增強引擎,提升了跨鏈轉賬速度、平均收益率和安全事件響應速度。 3) 為用戶提供資產可視化、策略自動化和治理一體化,實現了用戶價值重構。 4) 通過生態協同和合規化創新,增強了平台的整體效能。 5) 未來將推出智能合約保險池、預測市場集成和AI驅動資產配置,繼續引領行業發展。

比特幣值多少美金 比特幣值多少美金 Apr 28, 2025 pm 07:42 PM

比特幣的價格在20,000到30,000美元之間。 1. 比特幣自2009年以來價格波動劇烈,2017年達到近20,000美元,2021年達到近60,000美元。 2. 價格受市場需求、供應量、宏觀經濟環境等因素影響。 3. 通過交易所、移動應用和網站可獲取實時價格。 4. 比特幣價格波動性大,受市場情緒和外部因素驅動。 5. 與傳統金融市場有一定關係,受全球股市、美元強弱等影響。 6. 長期趨勢看漲,但需謹慎評估風險。

全球幣圈十大交易所有哪些 排名前十的貨幣交易平台2025 全球幣圈十大交易所有哪些 排名前十的貨幣交易平台2025 Apr 28, 2025 pm 08:12 PM

2025年全球十大加密貨幣交易所包括Binance、OKX、Gate.io、Coinbase、Kraken、Huobi、Bitfinex、KuCoin、Bittrex和Poloniex,均以高交易量和安全性著稱。

C  中的chrono庫如何使用? C 中的chrono庫如何使用? Apr 28, 2025 pm 10:18 PM

使用C 中的chrono庫可以讓你更加精確地控制時間和時間間隔,讓我們來探討一下這個庫的魅力所在吧。 C 的chrono庫是標準庫的一部分,它提供了一種現代化的方式來處理時間和時間間隔。對於那些曾經飽受time.h和ctime折磨的程序員來說,chrono無疑是一個福音。它不僅提高了代碼的可讀性和可維護性,還提供了更高的精度和靈活性。讓我們從基礎開始,chrono庫主要包括以下幾個關鍵組件:std::chrono::system_clock:表示系統時鐘,用於獲取當前時間。 std::chron

See all articles