被GPT帶飛的In-Context Learning發展現況如何?這篇綜述梳理明白了
隨著語言模型和語料庫規模的逐漸擴大,大型語言模型(LLM)展現出更多的潛力。近來一些研究表明,LLM 可以使用 in-context learning(ICL)執行一系列複雜任務,例如解決數學推理問題。
來自北京大學、上海AI Lab 和加州大學聖塔芭芭拉分校的十位研究者近期發布了一篇關於in-context learning 的綜述論文,詳細梳理了ICL 研究的當前進展。
論文網址:https://arxiv.org/pdf/2301.00234v1.pdf
#in-context learning 的核心思路是類比學習,下圖描述了語言模型如何使用ICL 進行決策。
首先,ICL 需要一些範例來形成示範語境,這些範例通常用自然語言範本編寫。然後,ICL 將查詢問題和演示語境相聯繫,形成 prompt,並將其輸入語言模型進行預測。與監督學習需要使用反向梯度更新模型參數的訓練階段不同,ICL 不需要參數更新即可使預訓練語言模型直接執行預測任務,並且模型有望學習演示樣例中隱藏的模式,並據此做出正確的預測。
作為新的範式,ICL 有許多吸引人的優勢。首先,示範範例用自然語言格式編寫,這為與大語言模型關聯提供了一個可解釋的介面。透過改變示範範例和模板(Liu et al., 2022; Lu et al., 2022; Wu et al., 2022; Wei et al., 2022c),這種範式使將人類知識納入語言模型變得更加容易。第二,in-context learning 類似於人類透過類比學習的決策過程。第三,與監督式訓練相比,ICL 是一個無需訓練的學習架構。這不僅可以大大降低模型適應新任務的計算成本,還可以使語言模型即服務(LMaaS,Sun et al., 2022)成為可能,並輕鬆應用於大規模的現實任務。
儘管 ICL 有著大好的前景,但仍有許多值得探究的問題,包括它的效能。例如原始的 GPT-3 模型就具備一定的 ICL 能力,但一些研究發現,透過預訓練期間的適應,這種能力還可以獲得顯著的提升。此外,ICL 的表現對特定的設定很敏銳,包括 prompt 模板、語境樣例的選擇和樣例順序等。此外,ICL 的工作機制雖然看似合理,但仍不夠清晰明了,能夠初步解釋其工作機制的研究也不多。
本篇綜述論文總結道,ICL 的強大表現依賴於兩個階段:
- 培養大型語言模型ICL 能力的訓練階段;
- 大型語言模型根據特定任務演示進行預測的推理階段。
在訓練階段,語言模型直接按照語言建模目標進行訓練,例如從左到右的生成。儘管這些模型並沒有專門針對 in-context learning 進行最佳化,但 ICL 的能力依舊令人驚訝。現有的 ICL 研究基本上以訓練良好的語言模型為主幹。
在推理階段,由於輸入和輸出的 label 都是用可解釋的自然語言模板表徵的,因此 ICL 性能可以從多個角度優化。這篇綜述論文進行了詳細的描述和比較,並選擇合適的例子進行演示,針對不同的任務設計具體的評分方法。
這篇綜述論文的大致內容與架構如下圖所示,包括:ICL 的正式定義(§3)、warmup 方法(§4)、prompt 設計策略(§5 ) 和評分函數(§6)。
此外,§7 深入闡述了目前為揭開 ICL 背後運作所做的探索。 §8 進一步為 ICL 提供了有用的評估與資源,§9 介紹了能顯示 ICL 有效性的潛在應用情境。最後,§10 總結了 ICL 領域存在的挑戰和潛在的方向,為該領域的進一步發展提供參考。
有興趣的讀者可以閱讀論文原文,了解更多研究細節。
以上是被GPT帶飛的In-Context Learning發展現況如何?這篇綜述梳理明白了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

想像一下,一個人工智慧模型,不僅擁有超越傳統運算的能力,還能以更低的成本實現更有效率的效能。這不是科幻,DeepSeek-V2[1],全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合(MoE)語言模型,具有訓練經濟、推理高效的特點。它由236B個參數組成,其中21B個參數用於啟動每個標記。與DeepSeek67B相比,DeepSeek-V2效能更強,同時節省了42.5%的訓練成本,減少了93.3%的KV緩存,最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

AI,的確正在改變數學。最近,一直十分關注這個議題的陶哲軒,轉發了最近一期的《美國數學學會通報》(BulletinoftheAmericanMathematicalSociety)。圍繞著「機器會改變數學嗎?」這個話題,許多數學家發表了自己的觀點,全程火花四射,內容硬核,精彩紛呈。作者陣容強大,包括菲爾茲獎得主AkshayVenkatesh、華裔數學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業界知名學者。 AI的世界已經發生了天翻地覆的變化,要知道,其中許多文章是在一年前提交的,而在這一

谷歌力推的JAX在最近的基準測試中表現已經超過Pytorch和TensorFlow,7項指標排名第一。而且測試並不是JAX性能表現最好的TPU上完成的。雖然現在在開發者中,Pytorch依然比Tensorflow更受歡迎。但未來,也許有更多的大型模型會基於JAX平台進行訓練和運行。模型最近,Keras團隊為三個後端(TensorFlow、JAX、PyTorch)與原生PyTorch實作以及搭配TensorFlow的Keras2進行了基準測試。首先,他們為生成式和非生成式人工智慧任務選擇了一組主流

波士頓動力Atlas,正式進入電動機器人時代!昨天,液壓Atlas剛「含淚」退出歷史舞台,今天波士頓動力就宣布:電動Atlas上崗。看來,在商用人形機器人領域,波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後,短短十幾小時內,就已經有一百多萬觀看。舊人離去,新角色登場,這是歷史的必然。毫無疑問,今年是人形機器人的爆發年。網友銳評:機器人的進步,讓今年看起來像人類的開幕式動作、自由度遠超人類,但這真不是恐怖片?影片一開始,Atlas平靜地躺在地上,看起來應該是仰面朝天。接下來,讓人驚掉下巴

本月初,來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。 KAN與MLP一樣具有強大的數學基礎,MLP基於通用逼近定理,而KAN基於Kolmogorov-Arnold表示定理。如下圖所示,KAN在邊上具

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

這篇論文探討了在自動駕駛中,從不同視角(如透視圖和鳥瞰圖)準確檢測物體的問題,特別是如何有效地從透視圖(PV)到鳥瞰圖(BEV)空間轉換特徵,這一轉換是透過視覺轉換(VT)模組實施的。現有的方法大致分為兩種策略:2D到3D和3D到2D轉換。 2D到3D的方法透過預測深度機率來提升密集的2D特徵,但深度預測的固有不確定性,尤其是在遠處區域,可能會引入不準確性。而3D到2D的方法通常使用3D查詢來採樣2D特徵,並透過Transformer學習3D和2D特徵之間對應關係的注意力權重,這增加了計算和部署的

寫在前面項目連結:https://nianticlabs.github.io/mickey/給定兩張圖片,可以透過建立圖片之間的對應關係來估計它們之間的相機姿態。通常,這些對應關係是二維到二維的,而我們估計的姿態在尺度上是不確定的。一些應用,例如隨時隨地實現即時增強現實,需要尺度度量的姿態估計,因此它們依賴外部的深度估計器來恢復尺度。本文提出了MicKey,這是一個關鍵點匹配流程,能夠夠預測三維相機空間中的度量對應關係。透過學習跨影像的三維座標匹配,我們能夠在沒有深度測試的情況下推斷度量相對
