目錄
實驗設定
實驗結果
首頁 科技週邊 人工智慧 全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

Jun 01, 2024 pm 04:41 PM
模型 訓練

為了將大型語言模型(LLM)與人類的價值和意圖對齊,學習人類回饋至關重要,這能確保它們是有用的、誠實的和無害的。在對齊 LLM 方面,一種有效的方法是根據人類回饋的強化學習(RLHF)。儘管 RLHF 方法的結果很出色,但其中涉及了一些最佳化難題。其中涉及訓練一個獎勵模型,然後優化一個策略模型來最大化該獎勵。

近段時間已有一些研究者探索了更簡單的離線演算法,其中之一就是直接偏好最佳化(DPO)。 DPO 是透過參數化 RLHF 中的獎勵函數來直接根據偏好資料學習策略模型,這樣就無需顯示式的獎勵模型了。該方法簡單穩定,已被廣泛用於實踐。

使用 DPO 時,得到隱式獎勵的方式是使用當前策略模型和監督式微調(SFT)模型之間的響應似然比的對數。但是,這種建構獎勵的方式並未與引導產生的指標直接對齊,該指標大約是策略模型產生回應的平均對數比然。訓練和推理之間的這種差異可能導致表現不佳。

為此,維吉尼亞大學的助理教授孟瑞與普林斯頓大學的在讀博士夏夢舟和助理教授陳丹琦三人共同提出了SimPO——一種簡單且有效的離線偏好優化演算法. SimPO的設計是基於將最佳化問題建模為連續黑盒函數的最小化問題。透過不斷迭代,SimPO能夠找到最佳的最佳化策略,並實現高效的收斂。與傳統的最佳化演算法相比,

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型


  • #論文標題:SimPO: Simple Preference Optimization with a Reference-Free Reward
  • #論文網址:https://arxiv.org/pdf/2405.14734
  • #程式碼& 模型:https://github.com/princeton-nlp/SimPO

##該演算法的核心是將偏好優化目標中的獎勵函數與生成指標對齊。 SimPO 包含兩個主要組件:(1)在長度上歸一化的獎勵,其計算方式是使用策略模型的獎勵中所有token 的平均對數機率;(2)目標獎勵差額,用以確保獲勝和失敗響應之間的獎勵差超過這個差額。

總結起來,SimPO 有以下特點:

  • #簡單:SimPO 不需要參考模型,因此比DPO 等其它依賴參考模型的方法更輕量更容易實現。
  • 效能優勢明顯:儘管 SimPO 很簡單,但其效能卻明顯優於 DPO 及其最新變體(例如近期的無參考式目標 ORPO)。如圖 1 所示。並且在不同的訓練設定和多種指示遵循基準(包括 AlpacaEval 2 和高難度的 Arena-Hard 基準)上,SimPO 都有穩定的優勢。
  • 盡量小的長度利用:相較於 SFT 或 DPO 模型,SimPO 不會顯著增加反應長度(見表 1),這說明其長度利用是最小的。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

該團隊進行了大量分析,結果表明SimPO 能更有效地利用偏好數據,從而在驗證集上對高質量和低品質響應的似然進行更準確的排序,這進一步能造就更好的策略模型。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

如表1 所示,該團隊基於Llama3-8B-instruct 建構了一個具有頂尖性能的模型,其在AlpacaEval 2 上得到的長度受控勝率為44.7,在排行榜上超過了Claude 3 Opus;另外其在Arena-Hard 上的勝率為33.8,使其成為了目前最強大的8B 開源模型。

SimPO:簡單偏好優化

為便於理解,以下先介紹DPO 的背景,然後說明DPO 的獎勵與生成所用的似然度量之間的差異,並提出一個無參考的替代獎勵公式來緩解這個問題。最後,將目標獎勵差額項整合進 Bradley-Terry 模型中,推導出 SimPO 目標。 #

背景:直接偏好最佳化(DPO)

DPO 是最常用的離線偏好最佳化方法之一。 DPO 並不會學習一個明確的獎勵模型,而是使用一個具有最佳策略的閉式表達式來重新參數化獎勵函數r:

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型


其中π_θ 是策略模型,π_ref 是參考策略(通常是SFT 模型),Z (x) 是配分函數。透過將此獎勵建構方式整合進Bradley-Terry (BT) 排名目標,全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型,DPO 可使用策略模型而非獎勵模型來表示偏好資料的機率,從而得到以下目標:

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

其中(x, y_w, y_l) 是由偏好資料集D 的prompt、獲勝回應和失敗回應所構成的偏好對。

一種與產生結果對齊的簡單無參考獎勵

DPO 的獎勵與產生之間的差異。使用(1) 式作為隱式的獎勵表達式有以下缺點:(1) 訓練階段需要參考模型π_ref,這會帶來額外的記憶體和計算成本;(2) 訓練階段優化的獎勵與推理所用的生成指標之間存在差異。具體來說,在生成階段,會使用策略模型π_θ 產生一個能近似最大化平均對數似然的序列,定義如下:

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

在解碼過程中直接最大化該指標是非常困難的,為此可以使用多種解碼策略,如貪婪解碼、波束搜尋、核採樣和top-k 採樣。此外,此指標通常用於在語言模型執行多選任務時對選項進行排名。在DPO 中,對於任意三元組(x, y_w, y_l),滿足獎勵排名r (x, y_w) > r (x, y_l) 並不一定意味著滿足似然排名全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型。事實上,在使用 DPO 訓練時,留存集中大約只有 50% 的三元組滿足這個條件(見圖 4b)。

建構在長度上歸一化的獎勵。很自然地,我們會考慮使用 (3) 式中的 p_θ 來替換 DPO 中的獎勵構建,使其與引導生成的似然指標對齊。這會得到一個在長度上歸一化的獎勵:

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

#其中 β 是控制獎勵差異大小的常數。團隊發現,根據反應長度對獎勵進行歸一化非常關鍵;從獎勵公式中移除長度歸一化項會導致模型傾向於產生更長但品質較低的序列。這樣一來,建構的獎勵中就無需參考模型了,從而實現比依賴參考模型的演算法更高的記憶體和計算效率。

SimPO 目標

#目標獎勵差額。另外,該團隊還為Bradley-Terry 目標引入了一個目標獎勵差額項γ > 0,以確保獲勝響應的獎勵r (x, y_w) 超過失敗響應的獎勵r (x, y_l) 至少γ:

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

兩個類別之間的差額已知會影響分類器的泛化能力。在使用隨機模型初始化的標準訓練設定中,增加目標差額通常能提升泛化表現。在偏好優化中,這兩個類別是單一輸入的獲勝或失敗回應。

在實踐中,團隊觀察到隨著目標差額增大,生成品質一開始會提升,但當這個差額變得過大時,生成品質就會下降。 DPO 的變體 IPO 也建構了與 SimPO 類似的目標獎勵差額,但其整體目標的效果不如 SimPO。

目標。最後,透過將(4) 式代入到(5) 式中,可以得到SimPO 目標:

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

總結起來,SimPO 採用了與生成指標直接對齊的隱式獎勵形式,從而消除了對參考模型的需求。此外,其還引入了一個目標獎勵差額 γ 來分離獲勝和失敗響應。

實驗設定

模型與訓練設定。團隊的實驗使用了 Base 和 Instruct 兩種設定下的兩類模型 Llama3-8B 和 Mistral-7B。

評估基準。團隊使用了三個最常用的開放式指示遵循基準:MT-Bench、AlpacaEval 2 和 Arena-Hard v0.1。這些基準可評估模型在各種查詢上的多樣化對話能力,並已被社群廣泛採用。表 2 給出了一些細節。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

基線方法。表 3 列出了與 SimPO 做比較的其它離線偏好最佳化方法。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

實驗結果

#主要結果與消融研究

#SimPO 的表現總是顯著優於先前已有的偏好最佳化方法。如表 4 所示,儘管所有的偏好最佳化演算法的表現都優於 SFT 模型,但簡單的 SimPO 卻在所有基準和設定上都取得了最佳表現。這樣全面的大幅領先彰顯了 SimPO 的穩健性和有效性。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

基準品質各不相同。可以觀察到,在 Arena-Hard 上的勝率明顯低於在 AlpacaEval 2 上勝率,這說明 Arena-Hard 是更困難的基準。

Instruct 設定會帶來顯著的效能增益。可以看到,Instruct 設定在所有基準上都全面優於 Base 設定。這可能是因為這些模型使用了更高品質的 SFT 模型來進行初始化以及這些模型產生的偏好資料的品質更高。

SimPO 的兩個關鍵設計都很重要。表 5 展示了 SimPO 的每種關鍵設計進行消融實驗的結果。 (1) 移除 (4) 式中的長度歸一化(即 w/o LN);(2) 將 (6) 式中的目標獎勵差額設為 0(即 γ = 0)。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

移除長度歸一化對結果的影響最大。團隊研究發現,這會導致模型產生長且重複的模式,因此嚴重拉低輸出的整體品質。將 γ 設為 0 也會導致 SimPO 的效能下降,這說明 0 並非最優的目標獎勵差額。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

有關這兩項設計選擇的更深度分析請參閱原始論文。

深度對比DPO 與SimPO

#最後,團隊也從四個角度全面比較了DPO 與SimPO:(1) 似然- 長度相關性、(2) 獎勵建構、(3) 獎勵準確度、(4) 演算法效率。結果顯示 SimPO 在準確度和效率方面優於 DPO。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

DPO 獎勵會隱含地促進長度歸一化。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型


儘管DPO 獎勵表達式 全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型(不包含配分函數)缺乏一個用於長度歸一化的顯式項,但策略模型和參考模型之間的對數比可以隱式地抵消長度偏差。如表6 與圖4a 所示,相較於沒有任何長度歸一化的方法(記為SimPO w/o LN),使用DPO 會降低平均對數似然與反應長度之間的斯皮爾曼相關係數。但是,當與 SimPO 比較時,其仍然表現出更強的正相關性。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

DPO 獎勵與產生似然不符。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型


DPO 的獎勵與平均對數似然指標之間存在差異,這會直接影響生成。如圖 4b 所示,在 UltraFeedback 訓練集上的實例中,其中 全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型#,幾乎一半的資料對都有全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型##。相較之下,SimPO 是直接將平均對數似然(由 β 縮放)用作獎勵表達式,由此完全消除了其中的差異。

DPO 在獎勵準確度方面不如 SimPO。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

圖4c 比較了SimPO 和DPO 的獎勵準確度,這評估的是它們最終學習到的獎勵與留存集上的偏好標籤的對齊程度。可以觀察到,SimPO 的獎勵準確度高於 DPO,這說明 SimPO 的獎勵設計有助於實現更有效的泛化和更高品質的生成。

SimPO 的記憶體效率和運算效率都比 DPO 高。

全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型

SimPO 的另一個優點是效率,畢竟它不使用參考模型。圖 4d 給出了在 8×H100 GPU 上使用 Llama3-Base 設定時,SimPO 和 DPO 的整體運行時間和每台 GPU 的峰值記憶體使用量。相較於原版 DPO 實現,得益於消除了使用參考模型的前向通過,SimPO 可將運行時間降低約 20%,將 GPU 記憶體使用量降低約 10%。

 更多詳細內容,請閱讀原文。


以上是全面超越DPO:陳丹琦團隊提出簡單偏好優化SimPO,也煉出最強8B開源模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora:巫婆樹的耳語 - 如何解鎖抓鉤
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1667
14
CakePHP 教程
1426
52
Laravel 教程
1328
25
PHP教程
1273
29
C# 教程
1255
24
開源!超越ZoeDepth! DepthFM:快速且精確的單目深度估計! 開源!超越ZoeDepth! DepthFM:快速且精確的單目深度估計! Apr 03, 2024 pm 12:04 PM

0.這篇文章乾了啥?提出了DepthFM:一個多功能且快速的最先進的生成式單目深度估計模型。除了傳統的深度估計任務外,DepthFM還展示了在深度修復等下游任務中的最先進能力。 DepthFM效率高,可以在少數推理步驟內合成深度圖。以下一起來閱讀這項工作~1.論文資訊標題:DepthFM:FastMonocularDepthEstimationwithFlowMatching作者:MingGui,JohannesS.Fischer,UlrichPrestel,PingchuanMa,Dmytr

全球最強開源 MoE 模型來了,中文能力比肩 GPT-4,價格僅 GPT-4-Turbo 的近百分之一 全球最強開源 MoE 模型來了,中文能力比肩 GPT-4,價格僅 GPT-4-Turbo 的近百分之一 May 07, 2024 pm 04:13 PM

想像一下,一個人工智慧模型,不僅擁有超越傳統運算的能力,還能以更低的成本實現更有效率的效能。這不是科幻,DeepSeek-V2[1],全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合(MoE)語言模型,具有訓練經濟、推理高效的特點。它由236B個參數組成,其中21B個參數用於啟動每個標記。與DeepSeek67B相比,DeepSeek-V2效能更強,同時節省了42.5%的訓練成本,減少了93.3%的KV緩存,最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

AI顛覆數學研究!菲爾茲獎得主、華裔數學家領銜11篇頂刊論文|陶哲軒轉贊 AI顛覆數學研究!菲爾茲獎得主、華裔數學家領銜11篇頂刊論文|陶哲軒轉贊 Apr 09, 2024 am 11:52 AM

AI,的確正在改變數學。最近,一直十分關注這個議題的陶哲軒,轉發了最近一期的《美國數學學會通報》(BulletinoftheAmericanMathematicalSociety)。圍繞著「機器會改變數學嗎?」這個話題,許多數學家發表了自己的觀點,全程火花四射,內容硬核,精彩紛呈。作者陣容強大,包括菲爾茲獎得主AkshayVenkatesh、華裔數學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業界知名學者。 AI的世界已經發生了天翻地覆的變化,要知道,其中許多文章是在一年前提交的,而在這一

替代MLP的KAN,被開源專案擴展到卷積了 替代MLP的KAN,被開源專案擴展到卷積了 Jun 01, 2024 pm 10:03 PM

本月初,來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。 KAN與MLP一樣具有強大的數學基礎,MLP基於通用逼近定理,而KAN基於Kolmogorov-Arnold表示定理。如下圖所示,KAN在邊上具

你好,電動Atlas!波士頓動力機器人復活,180度詭異動作嚇到馬斯克 你好,電動Atlas!波士頓動力機器人復活,180度詭異動作嚇到馬斯克 Apr 18, 2024 pm 07:58 PM

波士頓動力Atlas,正式進入電動機器人時代!昨天,液壓Atlas剛「含淚」退出歷史舞台,今天波士頓動力就宣布:電動Atlas上崗。看來,在商用人形機器人領域,波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後,短短十幾小時內,就已經有一百多萬觀看。舊人離去,新角色登場,這是歷史的必然。毫無疑問,今年是人形機器人的爆發年。網友銳評:機器人的進步,讓今年看起來像人類的開幕式動作、自由度遠超人類,但這真不是恐怖片?影片一開始,Atlas平靜地躺在地上,看起來應該是仰面朝天。接下來,讓人驚掉下巴

特斯拉機器人進廠打工,馬斯克:手的自由度今年將達到22個! 特斯拉機器人進廠打工,馬斯克:手的自由度今年將達到22個! May 06, 2024 pm 04:13 PM

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

FisheyeDetNet:首個以魚眼相機為基礎的目標偵測演算法 FisheyeDetNet:首個以魚眼相機為基礎的目標偵測演算法 Apr 26, 2024 am 11:37 AM

目標偵測在自動駕駛系統當中是一個比較成熟的問題,其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而,利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大,標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述,我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示,並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型,並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP

快手版Sora「可靈」開放測試:生成超120s視頻,更懂物理,複雜運動也能精準建模 快手版Sora「可靈」開放測試:生成超120s視頻,更懂物理,複雜運動也能精準建模 Jun 11, 2024 am 09:51 AM

什麼?瘋狂動物城被國產AI搬進現實了?與影片一同曝光的,是一款名為「可靈」全新國產影片生成大模型。 Sora利用了相似的技術路線,結合多項自研技術創新,生產的影片不僅運動幅度大且合理,還能模擬物理世界特性,具備強大的概念組合能力與想像。數據上看,可靈支持生成長達2分鐘的30fps的超長視頻,分辨率高達1080p,且支援多種寬高比。另外再劃個重點,可靈不是實驗室放出的Demo或影片結果演示,而是短影片領域頭部玩家快手推出的產品級應用。而且主打一個務實,不開空頭支票、發布即上線,可靈大模型已在快影

See all articles