首頁 科技週邊 人工智慧 釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量

釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量

Jan 16, 2024 pm 01:12 PM
工程 uiuc

正如瑞斯福茲魔杖締造了諸如鄧不利多在內的歷代非凡魔法師的傳奇,具有巨大潛能的傳統大型語言模型,在經過代碼語料的預訓練/ 精調後,掌握了更超出本源的執行力。

具體來說,進階版的大模型在編寫程式碼、更強推理、自主援引執行介面、自主完善等方面都獲得了提升,這將為它作為AI 智能體、執行下游任務時方方面面帶來增益。

近日,伊利諾大學厄巴納 - 香檳分校(UIUC)的研究團隊發布了一項重要綜述。

釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量

論文連結: https://arxiv.org/abs/2401.00812

這篇綜述探討了程式碼(Code)如何賦予大型語言模型(LLMs)及其基於此的智能體(Intelligent Agents)強大的能力。 釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量
其中,code 特別指機器可執行且人類可讀的形式語言,如程式語言、預先定義函數集等。類似於我們指導 LLMs 理解 / 產生傳統自然語言,讓 LLMs 精通 code,只需要將相同的語言建模訓練目標應用在 code 資料上。

和傳統語言模型不同,當今通用的LLMs,如Llama2、GPT4,不僅在體積上顯著提升,並且它們經歷了獨立於典型自然語言語料的code 語料訓練。 Code 具有標準化的語法、邏輯一致性、抽象性和模組化特性,並且能將高層次的目標轉化為可執行的步驟,使之成為連接人類和電腦的理想媒介。

如圖 2 所示,在本篇綜述中,研究人員透過輯錄相關工作,詳細分析闡明了將 code 納入 LLMs 訓練資料的各種優點。

釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量

具體來說,研究者觀察到code 的獨特屬性有助於:

1. 增強LLMs 的code 編寫能力、推理能力,以及結構化資訊處理能力,使其能夠應用於更複雜的自然語言任務;
2. 引導LLMs 產生結構化的、精確的中間步驟,這些步驟可以透過函數呼叫與外部執行端連接;
3. 利用code 的編譯、執行環境,為模型自主改進提供多樣化回饋。

此外,研究人員也深察了這些由code 賦予的LLMs 的最佳化項,如何強化它們作Intelligent Agent 的決策中心,理解指令、分解目標、規劃和執行行動以及從回饋中改進的一系列能力。

如圖3 所示,在第一部分中,研究人員發現LLMs 在code 上的預訓練,已將LLMs 的任務範圍擴展到自然語言之外。這些模型能夠支援多樣化的應用,包括為數學理論產生 code、常規程式設計任務,以及資料檢索等。 Code 需要產生邏輯上連貫、有序的步驟序列,這對於有效執行至關重要。此外,code 中每個步驟的可執行性允許逐步驗證邏輯。在預訓練中利用並嵌入這些 code 屬性提高了 LLMs 在許多傳統自然語言下游任務中的思維鏈(CoT)表現,驗證了它們在複雜推理技能上的改進。同時,透過對 code 結構化格式的隱式學習,codeLLMs 在常識性結構化推理任務上表現更佳,例如與標記語言、HTML 和圖表理解相關的任務。
釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量
如圖4 所示,將LLMs 與其他功能端連接(即透過外部工具和執行模組擴展LLMs 能力)有助於LLMs 更準確、可靠地執行任務。

釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量

#
在第二個部分中,如表 1 所示,研究人員觀察到一個普遍趨勢:LLMs 透過產生程式語言或利用預定義函數與其他功能端建立連結。這種 「以 code 為中心的範式」 不同於嚴格在 LLMs 推理機制中硬編碼工具調用的刻板做法,它允許 LLMs 動態生成調用執行模組的令牌,具有可調整的參數。

釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量

這個範式為LLMs 與其他功能端的互動提供了一種簡單明確的方式,增強了它們應用的靈活性和可擴展性。更重要的是,它也允許 LLMs 與涵蓋多種模態和領域的眾多功能端進行互動。透過擴展 LLMs 可存取的功能端的數量和種類,LLMs 能夠處理更複雜的任務。

如圖 5 所示,將 LLMs 嵌入 code 執行環境可以實現自動化回饋和模型自主改進。 LLMs 的表現超出了其訓練參數的範圍,部分原因是它們能夠接納回饋。然而,必須謹慎選擇回饋,因為吵雜的提示輸入可能會妨礙 LLMs 在下游任務上的表現。此外,由於人力資源代價高昂,回饋需要在保持真實性的同時滿足自動收集。在第三個部分中,研究人員發現將 LLMs 嵌入 code 執行環境可以獲得滿足所有這些標準的回饋。

釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量

首先,由於 code 執行是確定性的,從執行 code 的結果中取得回饋能夠直白忠實反映 LLM 執行的任務。此外,code 解釋器為 LLMs 提供了一種自動查詢內部回饋的途徑,消除了在利用 LLMs 調試或優化錯誤 code 時需要昂貴的人工註釋的需求。 Code 編譯與執行環境也允許LLMs 納入多樣化和全面的外部回饋形式,如簡單的生成二值的正確和錯誤評價、稍微複雜的對執行結果的自然語言解釋,以及各種帶有回饋值的排名方法,他們都使得提高性能的方法高度可客製化。

透過分析code 訓練資料整合如何增強LLMs 能力的各種方式,研究人員進一步發現,code 賦能LLMs 的優勢在 Intelligent Agent 的研發這項關鍵的LLM 應用領域尤其明顯。

圖 6 顯示了一個智慧型助理的標準工作流程。研究人員觀察到,透過 code 訓練在 LLMs 中帶來的改進,也同時一一作用於它們作為智慧助理時的實際步驟。

釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量

這些步驟包括:(1) 增強IA 在環境感知和規劃方面的決策能力, (2) 透過將行動落實於模組化動作原語和高效組織記憶來最佳化策略執行,以及(3) 透過從code 執行環境自動派生的回饋最佳化表現。

總的來說,在本篇綜述中,研究人員分析並闡明了code 如何賦予LLMs 強大能力,以及code 如何協助LLMs 作為Intelligent Agents 決策中心工作。

透過全面的文獻回顧,研究人員觀察到經過code 訓練後,LLMs 提高了它們的程式設計技能和推理能力,獲得了實現與跨模式和領域的多種功能端的靈活連接能力,以及強化了與code 執行環境中整合的評估模組進行互動並實現自動自我提升的能力。

此外,code 訓練帶來的LLMs 能力提升有助於它們作為Intelligent Agent 在下游應用中的表現,體現於如決策、執行和自我提升等特定操作步驟。回顧以往的研究之外,研究人員也提出了該領域的幾個挑戰,作為未來潛在發展方向的指導要素。

更多細節請參考原文!

以上是釋放絕佳的程式資源,巨型模型和智能體將引發更強勁的力量的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora:巫婆樹的耳語 - 如何解鎖抓鉤
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1665
14
CakePHP 教程
1423
52
Laravel 教程
1321
25
PHP教程
1269
29
C# 教程
1249
24
ControlNet作者又出爆款!一張圖生成繪畫全過程,兩天狂攬1.4k Star ControlNet作者又出爆款!一張圖生成繪畫全過程,兩天狂攬1.4k Star Jul 17, 2024 am 01:56 AM

同樣是圖生視頻,PaintsUndo走出了不一樣的路線。 ControlNet作者LvminZhang又開始整活了!這次瞄準繪畫領域。新項目PaintsUndo剛上線不久,就收穫1.4kstar(還在瘋狂漲)。項目地址:https://github.com/lllyasviel/Paints-UNDO透過這個項目,用戶輸入一張靜態圖像,PaintsUndo就能自動幫你生成整個繪畫的全過程視頻,從線稿到成品都有跡可循。繪製過程,線條變化多端甚是神奇,最終視頻結果和原始圖像非常相似:我們再來看一個完整的繪

登頂開源AI軟體工程師榜首,UIUC無Agent方案輕鬆解決SWE-bench真實程式設計問題 登頂開源AI軟體工程師榜首,UIUC無Agent方案輕鬆解決SWE-bench真實程式設計問題 Jul 17, 2024 pm 10:02 PM

AIxiv專欄是本站發布學術、技術內容的欄位。過去數年,本站AIxiv專欄接收通報了2,000多篇內容,涵蓋全球各大專院校與企業的頂尖實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或聯絡報道。投稿信箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com這篇論文的作者皆來自伊利諾大學香檳分校(UIUC)張令明老師團隊,包括:StevenXia,四年級博士生,研究方向是基於AI大模型的自動代碼修復;鄧茵琳,四年級博士生,研究方

從RLHF到DPO再到TDPO,大模型對齊演算法已經是「token-level」 從RLHF到DPO再到TDPO,大模型對齊演算法已經是「token-level」 Jun 24, 2024 pm 03:04 PM

AIxiv專欄是本站發布學術、技術內容的欄位。過去數年,本站AIxiv專欄接收通報了2,000多篇內容,涵蓋全球各大專院校與企業的頂尖實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或聯絡報道。投稿信箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com在人工智慧領域的發展過程中,對大語言模型(LLM)的控制與指導始終是核心挑戰之一,旨在確保這些模型既強大又安全地服務人類社會。早期的努力集中在透過人類回饋的強化學習方法(RL

arXiv論文可以發「彈幕」了,史丹佛alphaXiv討論平台上線,LeCun按讚 arXiv論文可以發「彈幕」了,史丹佛alphaXiv討論平台上線,LeCun按讚 Aug 01, 2024 pm 05:18 PM

乾杯!當論文討論細緻到詞句,是什麼體驗?最近,史丹佛大學的學生針對arXiv論文創建了一個開放討論論壇——alphaXiv,可以直接在任何arXiv論文之上發布問題和評論。網站連結:https://alphaxiv.org/其實不需要專門訪問這個網站,只需將任何URL中的arXiv更改為alphaXiv就可以直接在alphaXiv論壇上打開相應論文:可以精準定位到論文中的段落、句子:右側討論區,使用者可以發表問題詢問作者論文想法、細節,例如:也可以針對論文內容發表評論,例如:「給出至

OpenAI超級對齊團隊遺作:兩個大模型博弈一番,輸出更好懂了 OpenAI超級對齊團隊遺作:兩個大模型博弈一番,輸出更好懂了 Jul 19, 2024 am 01:29 AM

如果AI模型給的答案一點也看不懂,你敢用嗎?隨著機器學習系統在更重要的領域中得到應用,證明為什麼我們可以信任它們的輸出,並明確何時不應信任它們,變得越來越重要。獲得對複雜系統輸出結果信任的一個可行方法是,要求系統對其輸出產生一種解釋,這種解釋對人類或另一個受信任的系統來說是可讀的,即可以完全理解以至於任何可能的錯誤都可以被發現。例如,為了建立對司法系統的信任,我們要求法院提供清晰易讀的書面意見,解釋並支持其決策。對於大型語言模型來說,我們也可以採用類似的方法。不過,在採用這種方法時,確保語言模型生

黎曼猜想显著突破!陶哲轩强推MIT、牛津新论文,37岁菲尔兹奖得主参与 黎曼猜想显著突破!陶哲轩强推MIT、牛津新论文,37岁菲尔兹奖得主参与 Aug 05, 2024 pm 03:32 PM

最近,被稱為千禧年七大難題之一的黎曼猜想迎來了新突破。黎曼猜想是數學中一個非常重要的未解決問題,與素數分佈的精確性質有關(素數是那些只能被1和自身整除的數字,它們在數論中扮演著基礎性的角色)。在當今的數學文獻中,已有超過一千個數學命題以黎曼猜想(或其推廣形式)的成立為前提。也就是說,黎曼猜想及其推廣形式一旦被證明,這一千多個命題將被確立為定理,對數學領域產生深遠的影響;而如果黎曼猜想被證明是錯誤的,那麼這些命題中的一部分也將隨之失去其有效性。新的突破來自MIT數學教授LarryGuth和牛津大學

LLM用於時序預測真的不行,連推理能力都沒用到 LLM用於時序預測真的不行,連推理能力都沒用到 Jul 15, 2024 pm 03:59 PM

語言模型真的能用於時序預測嗎?根據貝特里奇頭條定律(任何以問號結尾的新聞標題,都能夠用「不」來回答),答案應該是否定的。事實似乎也果然如此:強大如斯的LLM並不能很好地處理時序資料。時序,即時間序列,顧名思義,是指一組依照時間發生先後順序排列的資料點序列。在許多領域,時序分析都很關鍵,包括疾病傳播預測、零售分析、醫療和金融。在時序分析領域,近期不少研究者都在研究如何使用大型語言模型(LLM)來分類、預測和偵測時間序列中的異常。這些論文假設擅長處理文本中順序依賴關係的語言模型也能泛化用於時間序

首個基於Mamba的MLLM來了!模型權重、訓練程式碼等已全部開源 首個基於Mamba的MLLM來了!模型權重、訓練程式碼等已全部開源 Jul 17, 2024 am 02:46 AM

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com。引言近年来,多模态大型语言模型(MLLM)在各个领域的应用取得了显著的成功。然而,作为许多下游任务的基础模型,当前的MLLM由众所周知的Transformer网络构成,这种网

See all articles