自我獎勵下的大型模型:Llama2透過Meta學習自行優化,超越GPT-4的表現
人工智慧的回饋(AIF)要取代 RLHF 了?

論文標題:Self-Rewarding Language Models
論文連結:https://arxiv. org/abs/2401.10020
研究者在AlpacaEval 2 排行榜上評估了自獎勵模型,結果如表1 所示。他們觀察到了與 head-to-head 評估相同的結論,即訓練迭代的勝率比 GPT4-Turbo 高,從迭代 1 的 9.94%,到迭代 2 的 15.38%,再到迭代 3 的 20.44%。同時,迭代 3 模型優於許多現有模型,包括 Claude 2、Gemini Pro 和 GPT4 0613。
EFT在SFT基線上有所改進,使用IFT EFT與單獨使用IFT相比,五個測量指標都有所提升。例如,與人類的配對準確率一致性從65.1%上升到78.7%。
透過自我訓練提升獎勵建模能力。在進行一輪自我獎勵訓練後,模型為下一次迭代提供自我獎勵的能力得到了提高,此外它的指令跟隨能力也得到了提高。
LLMas-a-Judge 提示的重要性。研究者使用了各種提示格式發現,LLMas-a-Judge 提示在使用 SFT 基線時成對準確率更高。
以上是自我獎勵下的大型模型:Llama2透過Meta學習自行優化,超越GPT-4的表現的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

同樣是圖生視頻,PaintsUndo走出了不一樣的路線。 ControlNet作者LvminZhang又開始整活了!這次瞄準繪畫領域。新項目PaintsUndo剛上線不久,就收穫1.4kstar(還在瘋狂漲)。項目地址:https://github.com/lllyasviel/Paints-UNDO透過這個項目,用戶輸入一張靜態圖像,PaintsUndo就能自動幫你生成整個繪畫的全過程視頻,從線稿到成品都有跡可循。繪製過程,線條變化多端甚是神奇,最終視頻結果和原始圖像非常相似:我們再來看一個完整的繪

AIxiv專欄是本站發布學術、技術內容的欄位。過去數年,本站AIxiv專欄接收通報了2,000多篇內容,涵蓋全球各大專院校與企業的頂尖實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或聯絡報道。投稿信箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com這篇論文的作者皆來自伊利諾大學香檳分校(UIUC)張令明老師團隊,包括:StevenXia,四年級博士生,研究方向是基於AI大模型的自動代碼修復;鄧茵琳,四年級博士生,研究方

如果AI模型給的答案一點也看不懂,你敢用嗎?隨著機器學習系統在更重要的領域中得到應用,證明為什麼我們可以信任它們的輸出,並明確何時不應信任它們,變得越來越重要。獲得對複雜系統輸出結果信任的一個可行方法是,要求系統對其輸出產生一種解釋,這種解釋對人類或另一個受信任的系統來說是可讀的,即可以完全理解以至於任何可能的錯誤都可以被發現。例如,為了建立對司法系統的信任,我們要求法院提供清晰易讀的書面意見,解釋並支持其決策。對於大型語言模型來說,我們也可以採用類似的方法。不過,在採用這種方法時,確保語言模型生

快準備好你的GPU! Llama3.1終於現身了,不過出處卻不是Meta官方。今日,Reddit上新版Llama大模型洩漏的消息遭到了瘋傳,除了基礎模型,還包括8B、70B和最大參數的405B的基準測試結果。下圖為Llama3.1各版本與OpenAIGPT-4o、Llama38B/70B的比較結果。可以看到,即使是70B的版本,也在多項基準上超過了GPT-4o。圖源:https://x.com/mattshumer_/status/1815444612414087294顯然,3.1版本的8B和70

乾杯!當論文討論細緻到詞句,是什麼體驗?最近,史丹佛大學的學生針對arXiv論文創建了一個開放討論論壇——alphaXiv,可以直接在任何arXiv論文之上發布問題和評論。網站連結:https://alphaxiv.org/其實不需要專門訪問這個網站,只需將任何URL中的arXiv更改為alphaXiv就可以直接在alphaXiv論壇上打開相應論文:可以精準定位到論文中的段落、句子:右側討論區,使用者可以發表問題詢問作者論文想法、細節,例如:也可以針對論文內容發表評論,例如:「給出至

最近,被稱為千禧年七大難題之一的黎曼猜想迎來了新突破。黎曼猜想是數學中一個非常重要的未解決問題,與素數分佈的精確性質有關(素數是那些只能被1和自身整除的數字,它們在數論中扮演著基礎性的角色)。在當今的數學文獻中,已有超過一千個數學命題以黎曼猜想(或其推廣形式)的成立為前提。也就是說,黎曼猜想及其推廣形式一旦被證明,這一千多個命題將被確立為定理,對數學領域產生深遠的影響;而如果黎曼猜想被證明是錯誤的,那麼這些命題中的一部分也將隨之失去其有效性。新的突破來自MIT數學教授LarryGuth和牛津大學

剛剛,大家期待已久的Llama3.1官方正式發售了! Meta官方發出了「開源引領新時代」的聲音。在官方部落格中,Meta表示:「直到今天,開源大語言模型在功能和效能方面大多落後於封閉模型。現在,我們正在迎來一個開源引領的新時代。我們公開發布MetaLlama3.1405B,我們認為這是世界上最大、功能最強大的開源基礎模型。長文《OpenSourceAIIsthePathForward》,

Meta Connect 2024 活動定於 9 月 25 日至 26 日舉行,在本次活動中,該公司預計將推出一款價格實惠的新型虛擬實境耳機。據傳這款 VR 耳機是 Meta Quest 3S,它似乎已經出現在 FCC 清單上。這個建議
