首頁 科技週邊 人工智慧 被GPT帶飛的In-Context Learning發展現況如何?這篇綜述梳理明白了

被GPT帶飛的In-Context Learning發展現況如何?這篇綜述梳理明白了

Apr 11, 2023 pm 05:10 PM
模型 論文

隨著語言模型和語料庫規模的逐漸擴大,大型語言模型(LLM)展現出更多的潛力。近來一些研究表明,LLM 可以使用 in-context learning(ICL)執行一系列複雜任務,例如解決數學推理問題。

來自北京大學、上海AI Lab 和加州大學聖塔芭芭拉分校的十位研究者近期發布了一篇關於in-context learning 的綜述論文,詳細梳理了ICL 研究的當前進展。

被GPT帶飛的In-Context Learning發展現況如何?這篇綜述梳理明白了

論文網址:https://arxiv.org/pdf/2301.00234v1.pdf

#in-context learning 的核心思路是類比學習,下圖描述了語言模型如何使用ICL 進行決策。

被GPT帶飛的In-Context Learning發展現況如何?這篇綜述梳理明白了

首先,ICL 需要一些範例來形成示範語境,這些範例通常用自然語言範本編寫。然後,ICL 將查詢問題和演示語境相聯繫,形成 prompt,並將其輸入語言模型進行預測。與監督學習需要使用反向梯度更新模型參數的訓練階段不同,ICL 不需要參數更新即可使預訓練語言模型直接執行預測任務,並且模型有望學習演示樣例中隱藏的模式,並據此做出正確的預測。

作為新的範式,ICL 有許多吸引人的優勢。首先,示範範例用自然語言格式編寫,這為與大語言模型關聯提供了一個可解釋的介面。透過改變示範範例和模板(Liu et al., 2022; Lu et al., 2022; Wu et al., 2022; Wei et al., 2022c),這種範式使將人類知識納入語言模型變得更加容易。第二,in-context learning 類似於人類透過類比學習的決策過程。第三,與監督式訓練相比,ICL 是一個無需訓練的學習架構。這不僅可以大大降低模型適應新任務的計算成本,還可以使語言模型即服務(LMaaS,Sun et al., 2022)成為可能,並輕鬆應用於大規模的現實任務。

儘管 ICL 有著大好的前景,但仍有許多值得探究的問題,包括它的效能。例如原始的 GPT-3 模型就具備一定的 ICL 能力,但一些研究發現,透過預訓練期間的適應,這種能力還可以獲得顯著的提升。此外,ICL 的表現對特定的設定很敏銳,包括 prompt 模板、語境樣例的選擇和樣例順序等。此外,ICL 的工作機制雖然看似合理,但仍不夠清晰明了,能夠初步解釋其工作機制的研究也不多。

本篇綜述論文總結道,ICL 的強大表現依賴於兩個階段:

  • 培養大型語言模型ICL 能力的訓練階段;
  • 大型語言模型根據特定任務演示進行預測的推理階段。

在訓練階段,語言模型直接按照語言建模目標進行訓練,例如從左到右的生成。儘管這些模型並沒有專門針對 in-context learning 進行最佳化,但 ICL 的能力依舊令人驚訝。現有的 ICL 研究基本上以訓練良好的語言模型為主幹。

在推理階段,由於輸入和輸出的 label 都是用可解釋的自然語言模板表徵的,因此 ICL 性能可以從多個角度優化。這篇綜述論文進行了詳細的描述和比較,並選擇合適的例子進行演示,針對不同的任務設計具體的評分方法。

這篇綜述論文的大致內容與架構如下圖所示,包括:ICL 的正式定義(§3)、warmup 方法(§4)、prompt 設計策略(§5 ) 和評分函數(§6)。

被GPT帶飛的In-Context Learning發展現況如何?這篇綜述梳理明白了

#

此外,§7 深入闡述了目前為揭開 ICL 背後運作所做的探索。 §8 進一步為 ICL 提供了有用的評估與資源,§9 介紹了能顯示 ICL 有效性的潛在應用情境。最後,§10 總結了 ICL 領域存在的挑戰和潛在的方向,為該領域的進一步發展提供參考。

有興趣的讀者可以閱讀論文原文,了解更多研究細節。

以上是被GPT帶飛的In-Context Learning發展現況如何?這篇綜述梳理明白了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1318
25
PHP教程
1269
29
C# 教程
1248
24
全球最強開源 MoE 模型來了,中文能力比肩 GPT-4,價格僅 GPT-4-Turbo 的近百分之一 全球最強開源 MoE 模型來了,中文能力比肩 GPT-4,價格僅 GPT-4-Turbo 的近百分之一 May 07, 2024 pm 04:13 PM

想像一下,一個人工智慧模型,不僅擁有超越傳統運算的能力,還能以更低的成本實現更有效率的效能。這不是科幻,DeepSeek-V2[1],全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合(MoE)語言模型,具有訓練經濟、推理高效的特點。它由236B個參數組成,其中21B個參數用於啟動每個標記。與DeepSeek67B相比,DeepSeek-V2效能更強,同時節省了42.5%的訓練成本,減少了93.3%的KV緩存,最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

AI顛覆數學研究!菲爾茲獎得主、華裔數學家領銜11篇頂刊論文|陶哲軒轉贊 AI顛覆數學研究!菲爾茲獎得主、華裔數學家領銜11篇頂刊論文|陶哲軒轉贊 Apr 09, 2024 am 11:52 AM

AI,的確正在改變數學。最近,一直十分關注這個議題的陶哲軒,轉發了最近一期的《美國數學學會通報》(BulletinoftheAmericanMathematicalSociety)。圍繞著「機器會改變數學嗎?」這個話題,許多數學家發表了自己的觀點,全程火花四射,內容硬核,精彩紛呈。作者陣容強大,包括菲爾茲獎得主AkshayVenkatesh、華裔數學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業界知名學者。 AI的世界已經發生了天翻地覆的變化,要知道,其中許多文章是在一年前提交的,而在這一

Google狂喜:JAX性能超越Pytorch、TensorFlow!或成GPU推理訓練最快選擇 Google狂喜:JAX性能超越Pytorch、TensorFlow!或成GPU推理訓練最快選擇 Apr 01, 2024 pm 07:46 PM

谷歌力推的JAX在最近的基準測試中表現已經超過Pytorch和TensorFlow,7項指標排名第一。而且測試並不是JAX性能表現最好的TPU上完成的。雖然現在在開發者中,Pytorch依然比Tensorflow更受歡迎。但未來,也許有更多的大型模型會基於JAX平台進行訓練和運行。模型最近,Keras團隊為三個後端(TensorFlow、JAX、PyTorch)與原生PyTorch實作以及搭配TensorFlow的Keras2進行了基準測試。首先,他們為生成式和非生成式人工智慧任務選擇了一組主流

你好,電動Atlas!波士頓動力機器人復活,180度詭異動作嚇到馬斯克 你好,電動Atlas!波士頓動力機器人復活,180度詭異動作嚇到馬斯克 Apr 18, 2024 pm 07:58 PM

波士頓動力Atlas,正式進入電動機器人時代!昨天,液壓Atlas剛「含淚」退出歷史舞台,今天波士頓動力就宣布:電動Atlas上崗。看來,在商用人形機器人領域,波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後,短短十幾小時內,就已經有一百多萬觀看。舊人離去,新角色登場,這是歷史的必然。毫無疑問,今年是人形機器人的爆發年。網友銳評:機器人的進步,讓今年看起來像人類的開幕式動作、自由度遠超人類,但這真不是恐怖片?影片一開始,Atlas平靜地躺在地上,看起來應該是仰面朝天。接下來,讓人驚掉下巴

替代MLP的KAN,被開源專案擴展到卷積了 替代MLP的KAN,被開源專案擴展到卷積了 Jun 01, 2024 pm 10:03 PM

本月初,來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。 KAN與MLP一樣具有強大的數學基礎,MLP基於通用逼近定理,而KAN基於Kolmogorov-Arnold表示定理。如下圖所示,KAN在邊上具

特斯拉機器人進廠打工,馬斯克:手的自由度今年將達到22個! 特斯拉機器人進廠打工,馬斯克:手的自由度今年將達到22個! May 06, 2024 pm 04:13 PM

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

DualBEV:大幅超越BEVFormer、BEVDet4D,開卷! DualBEV:大幅超越BEVFormer、BEVDet4D,開卷! Mar 21, 2024 pm 05:21 PM

這篇論文探討了在自動駕駛中,從不同視角(如透視圖和鳥瞰圖)準確檢測物體的問題,特別是如何有效地從透視圖(PV)到鳥瞰圖(BEV)空間轉換特徵,這一轉換是透過視覺轉換(VT)模組實施的。現有的方法大致分為兩種策略:2D到3D和3D到2D轉換。 2D到3D的方法透過預測深度機率來提升密集的2D特徵,但深度預測的固有不確定性,尤其是在遠處區域,可能會引入不準確性。而3D到2D的方法通常使用3D查詢來採樣2D特徵,並透過Transformer學習3D和2D特徵之間對應關係的注意力權重,這增加了計算和部署的

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\'24) 牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\'24) Apr 23, 2024 pm 01:20 PM

寫在前面項目連結:https://nianticlabs.github.io/mickey/給定兩張圖片,可以透過建立圖片之間的對應關係來估計它們之間的相機姿態。通常,這些對應關係是二維到二維的,而我們估計的姿態在尺度上是不確定的。一些應用,例如隨時隨地實現即時增強現實,需要尺度度量的姿態估計,因此它們依賴外部的深度估計器來恢復尺度。本文提出了MicKey,這是一個關鍵點匹配流程,能夠夠預測三維相機空間中的度量對應關係。透過學習跨影像的三維座標匹配,我們能夠在沒有深度測試的情況下推斷度量相對

See all articles