首頁 科技週邊 人工智慧 開閉源模型「大亂鬥」:看看哪個智能體最能窺見人類真實意圖

開閉源模型「大亂鬥」:看看哪個智能體最能窺見人類真實意圖

Aug 11, 2024 pm 01:02 PM
產業

開閉源模型「大亂鬥」:看看哪個智能體最能窺見人類真實意圖
AIxiv專欄是本站發布學術、技術內容的欄位。過去數年,本站AIxiv專欄接收通報了2,000多篇內容,涵蓋全球各大專院校與企業的頂尖實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或聯絡報道。投稿信箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

本文第一作者為清華大學電腦系本科生錢成,何秉翔。兩人均為 THUNLP 成員。錢成主要研究興趣為工具學習,大模型驅動智能體,即將就讀 UIUC 博士。何秉翔主要研究興趣為大模型對齊與安全,即將就讀清華大學博士。本文通訊作者為從鑫與林衍凱,指導教師為劉知遠副教授。

在人工智慧快速發展的今天,我們不斷探索機器的智慧化,但卻往往忽略了這些智能體如何深層地理解我們 —— 它們的創造者。我們人類在生活中的每一次互動,每一句話語,每一個行為,都充滿意圖和情感。但真正的挑戰在於:這些隱式的意圖如何被智能體捕捉、解析並作出反應?傳統的智能體對明確的命令反應迅速,然而在理解複雜的人類隱式意圖上,它們往往顯得力不從心。

近年來,GPT 和 LLaMA 等語言模型展示了在解決複雜任務上的驚人能力。然而,儘管以它們作為核心的智能體擅長制定策略、執行任務,卻很少兼顧魯棒的使用者互動策略。使用者給予的任務通常是模糊且簡短的,這需要智能體不僅能理解我們的字面請求,更要能透視我們的隱式意圖。

因此,讓新一代的智能體落地並為大眾所用,需要以人為中心,不僅僅關注於任務執行的精確度,更關注於如何與人類建立起一種更加自然、流暢而富有洞察力的溝通方式。

為了彌補這一缺失,近期來自清華大學、人民大學、以及騰訊的聯合團隊提出了一種全新的智能體交互設計方案。該工作首先引入了 Intention-in-Interaction(IN3)這項全新的基準測試,旨在透過與使用者明確的互動來理解使用者的隱式意圖。

以 Mistral-7B 為框架,基於 IN3 訓練的 Mistral-Interact 能主動評估任務的模糊性,詢問用戶意圖,並在啟動下游智能體任務執行之前將其細化為可操作的目標。將此模型嵌入 XAgent 框架後,文章對完全態的智能體系統進行了全面評估。

結果顯示,這套方案在識別模糊用戶任務、恢復和總結關鍵缺失資訊、設定精確且必要的智能體執行目標、以及減少冗餘工具使用等諸多方面有著突出表現。這項創新的方法,不僅填補了智能體與使用者互動的空白,將人類真正置於智能體設計的中心,同時意味著我們正在朝著設計更符合人類意圖的智能體的目標邁進一步。

開閉源模型「大亂鬥」:看看哪個智能體最能窺見人類真實意圖

  • 論文標題:Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents
  • 論文連結:https://arxiv.org/ab/ ://github.com/HBX-hbx/Mistral-Interact
  • 開源模型:https://huggingface.co/hbx/Mistral-Interact
  • 開源資料集:https://faceugging.co/
  • 開源資料集:https://faceugging.co/
    datasets/hbx/IN3

開閉源模型「大亂鬥」:看看哪個智能體最能窺見人類真實意圖

                                         -in-Interaction 基準測試
目前的智能體基準測試通常假設給定的任務是清晰的,並沒有把使用者意圖理解當作評估的重要面向。鑑於評估指標的不完備性,該工作制定了 Intention-in-Interaction(IN3)基準測試,旨在透過明確的任務模糊性判斷和使用者意圖理解來評測智能體的互動能力。

                            

如上圖所示,基於人類編寫的種子任務為Step 1,模型迭代產生新任務以增強資料集,同時從資料集中採樣以作為下一輪生成的新範例(Step 2)。在這種 Self-Instruct 的生成方式後,再對每個任務的模糊度、缺失細節以及每個細節的重要性和潛在的選項進行人工標註(Step 3)。 開閉源模型「大亂鬥」:看看哪個智能體最能窺見人類真實意圖

 
Mistral-Interact 訓練過程
 

由於大語言模型處於智能體設計的核心位置,該工作首先進行了初步研究,評估當前開源和閉源模型在交互過程中的隱源模型在交互過程中的隱源模型式意圖理解能力。
具體地,文章從IN3 中隨機抽取了十個任務,將它們應用於測試LLaMA-2-7B-Chat、Mistral-7B-Instruct-v0.2 和GPT-4 並指示這些模型i )判斷任務的模糊度,ii)在任務模糊時詢問使用者缺少的細節,iii)總結詳細的使用者任務。
                                對  

由結果可見,Mistral 在一定程度上表現更好,但仍然存在對人類意圖理解不足的問題。相較之下,GPT-4 在任務模糊度和重要缺失細節方面與人類意圖最為接近。同時,初步探索也表明,為了進一步提升智能體在互動中的隱式意圖理解能力,單純的提示工程(prompt engineering)是不夠的,有必要以當前開源模型為基礎,進一步訓練,以達到可以在智能體落地應用的程度。

                                         中之後所示時(IN3 對話記錄關於任務模糊度、缺失細節和潛在選項的標註,文章在建構對話記錄過程中應用了若干策略(橘色框),其中包括:清晰初始推理鏈的構造、帶有建議選項的詢問構造、不同用戶回答語氣的構造、以及清晰總結推理鏈的構造。這幾種對話建構策略將更能激發目標模型的詢問以及推理能力。

智能體互動能力全面評估

智能體的隱式意圖理解能力既可以透過使用者互動直接評估,也可以透過智能體執行下游任務來間接評估。其中,使用者互動關注意圖理解本身,而任務執行關注意圖理解的最終目的,即增強智能體處理任務的能力。

因此,為了全面評估可交互智能體設計,文章將實驗分為兩個部分:i)
指令理解
:評估智能體在用戶交互期間的意圖理解能力;ii)
指令執行
:評估整合了互動模型後智能體的任務執行表現。
指令理解並不涉及任何實時的智能體執行,因此文章直接評估了不同語言模型在交互過程中的表現,以判斷其作為智能體設計中的上游模組的交互能力,結果如下表所示:

                              

開閉源模型「大亂鬥」:看看哪個智能體最能窺見人類真實意圖結果表明,Mistral-Interact 能夠更好地理解使用者的意圖,在判斷任務模糊度以及缺失細節的覆蓋率等指標上表現最佳,而且能夠基於詳細的使用者意圖進行明確而全面的總結。相較於其他開源模型,Mistral-Interact 在詢問模糊任務中的缺失細節方面能提供更合理的選項,詢問方式更加友好,並與 GPT-4 的表現不相上下。

在指令執行方面,為了評估隱式意圖理解對於智能體任務執行有效性,文章將 Mistral-Interact 作為上游交互模組整合到 XAgent 框架中進行測試。其中,XAgent 可以在網路搜尋、程式碼執行、命令列和檔案系統等環境中進行互動。

                                Š           

上表呈現了智能體任務執行的定量評估結果,結果顯示整合Mistral-Interact 有助於: i)在執行過程中避免設定不必要的目標,ii)使智能體的執行過程更加符合詳細的用戶意圖,以及iii)減少不必要的工具調用,促進智能體工具使用效率。

開閉源模型「大亂鬥」:看看哪個智能體最能窺見人類真實意圖

智能體互動案例分析 
在指令理解方面,為了進一步展示 Mistral-Interact 在不同對話場景下的魯棒性,文章也提供了三個案例分析。
                                     Mistral-Interact對 Mistral-Interact 的影響。文章發現,無論使用者的回答是簡短還是詳細,熱情還是冷漠,甚至包含拼字錯誤,Mistral-Interact 都能準確理解並提供適當的回應,證明了其穩健性。

在案例 B 測試了當使用者表現出不合作的態度時,Mistral-Interact 是否能夠繼續追問並引導對話回到正軌。結果顯示,即使使用者迴避問題,仍能有效地重新引導對話。

在案例 C 中可以觀察到 Mistral-Interact 可以將使用者提供的額外資訊納入總結,而這些資訊並沒有被交互模型明確詢問。這表明,當模型的詢問無法完全覆蓋缺失細節或用戶有特定要求時,模型仍然能夠合理且全面地總結所有用戶意圖,從而使其更加用戶友好。

在指令執行方面,為了更清晰闡明 Mistral-Interact 的作用,下圖中提供了一個比較的案例研究。

                         

開閉源模型「大亂鬥」:看看哪個智能體最能窺見人類真實意圖

根據上圖中標記為
淺紅色的文本,可以發現當使用者的目標模糊時, XAgent 無法準確設定精確反映使用者需求的子任務。根據標示為紫色的文本,可以發現 XAgent 時常會設定一些不必要的子任務。這些都因為使用者的任務過於模糊而無法執行,智能體傾向於虛構一些不必要的細節,因而與使用者的真實意圖不符。

相較之下,在與 Mistral-Interact 進行積極互動後,明確的任務目標能夠讓 XAgent 制定更具體的子任務。圖中標示為
綠色的文字展示了這種一致性。同時,智能體執行流程變得更加簡單,工具呼叫次數也有所減少。所有這些都反映了一個更有效率的智能體執行過程。

結語
我們正站在一個全新的起點,準備見證一個人機協同、相互理解與學習的新篇章。智能體即將不再是冰冷的資訊處理器,而是充滿同理心的夥伴,它們能夠透過細膩的互動體驗,深刻地理解我們背後可能並沒有最初明確表達的需求和願望。這場以人為中心的智能體設計革命,將揭示互動中的無限可能性,進而讓智能體真正成為我們生活中不可或缺的助力。

以上是開閉源模型「大亂鬥」:看看哪個智能體最能窺見人類真實意圖的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

DeepMind機器人打乒乓球,正手、反手溜到飛起,全勝人類初學者 DeepMind機器人打乒乓球,正手、反手溜到飛起,全勝人類初學者 Aug 09, 2024 pm 04:01 PM

但可能打不過公園裡的老大爺?巴黎奧運正在如火如荼地進行中,乒乓球項目備受關注。同時,機器人打乒乓球也取得了新突破。剛剛,DeepMind提出了第一個在競技乒乓球比賽中達到人類業餘選手等級的學習型機器人智能體。論文地址:https://arxiv.org/pdf/2408.03906DeepMind這個機器人打乒乓球什麼程度呢?大概和人類業餘選手不相上下:正手反手都會:對手採用多種打法,機器人也能招架得住:接不同旋轉的發球:不過,比賽激烈程度似乎不如公園老大爺對戰。對機器人來說,乒乓球運動

首配機械爪!元蘿蔔亮相2024世界機器人大會,發布首個走進家庭的西洋棋機器人 首配機械爪!元蘿蔔亮相2024世界機器人大會,發布首個走進家庭的西洋棋機器人 Aug 21, 2024 pm 07:33 PM

8月21日,2024世界機器人大會在北京隆重召開。商湯科技旗下家用機器人品牌「元蘿蔔SenseRobot」家族全系產品集體亮相,並最新發布元蘿蔔AI下棋機器人-國際象棋專業版(以下簡稱「元蘿蔔國象機器人」),成為全球首個走進家庭的西洋棋機器人。作為元蘿蔔的第三款下棋機器人產品,全新的國象機器人在AI和工程機械方面進行了大量專項技術升級和創新,首次在家用機器人上實現了透過機械爪拾取立體棋子,並進行人機對弈、人人對弈、記譜複盤等功能,

Claude也變懶了!網友:學會給自己放假了 Claude也變懶了!網友:學會給自己放假了 Sep 02, 2024 pm 01:56 PM

開學將至,該收心的不只即將開啟新學期的同學,可能還有AI大模型。前段時間,Reddit擠滿了吐槽Claude越來越懶的網友。 「它的水平下降了很多,經常停頓,甚至輸出也變得很短。在發布的第一周,它可以一次性翻譯整整4頁文稿,現在連半頁都輸出不了!」https:// www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/在一個名為“對Claude徹底失望了的帖子裡”,滿滿地

世界機器人大會上,這家承載「未來養老希望」的國產機器人被包圍了 世界機器人大會上,這家承載「未來養老希望」的國產機器人被包圍了 Aug 22, 2024 pm 10:35 PM

在北京舉行的世界機器人大會上,人形機器人的展示成為了現場絕對的焦點,在星塵智能的展台上,由於AI機器人助理S1在一個展區上演揚琴、武術、書法三台大戲,能文能武,吸引了大量專業觀眾和媒體的駐足。在有彈性的琴弦上優雅的演奏,讓S1展現出速度、力度、精準度兼具的精細操作與絕對掌控。央視新聞對「書法」背後的模仿學習和智慧控制進行了專題報道,公司創始人來傑解釋到,絲滑動作的背後,是硬體側追求最好力控和最仿人身體指標(速度、負載等),而是在AI側則採集人的真實動作數據,讓機器人遇強則強,快速學習進化。而敏捷

ACL 2024獎項發表:華科大破解甲骨文最佳論文之一、GloVe時間檢驗獎 ACL 2024獎項發表:華科大破解甲骨文最佳論文之一、GloVe時間檢驗獎 Aug 15, 2024 pm 04:37 PM

本屆ACL大會,投稿者「收穫滿滿」。為期六天的ACL2024正在泰國曼谷舉辦。 ACL是計算語言學和自然語言處理領域的頂級國際會議,由國際計算語言學協會組織,每年舉辦一次。一直以來,ACL在NLP領域的學術影響力都名列第一,它也是CCF-A類推薦會議。今年的ACL大會已是第62屆,接收了400餘篇NLP領域的前沿工作。昨天下午,大會公佈了最佳論文等獎項。此次,最佳論文獎7篇(兩篇未公開)、最佳主題論文獎1篇、傑出論文獎35篇。大會也評出了資源論文獎(ResourceAward)3篇、社會影響力獎(

李飛飛團隊提出ReKep,讓機器人具備空間智能,還能整合GPT-4o 李飛飛團隊提出ReKep,讓機器人具備空間智能,還能整合GPT-4o Sep 03, 2024 pm 05:18 PM

視覺與機器人學習的深度融合。當兩隻機器手絲滑地互相合作疊衣服、倒茶、將鞋子打包時,加上最近老上頭條的1X人形機器人NEO,你可能會產生一種感覺:我們似乎開始進入機器人時代了。事實上,這些絲滑動作正是先進機器人技術+精妙框架設計+多模態大模型的產物。我們知道,有用的機器人往往需要與環境進行複雜精妙的交互,而環境則可被表示成空間域和時間域上的限制。舉個例子,如果要讓機器人倒茶,那麼機器人首先需要抓住茶壺手柄並使之保持直立,不潑灑出茶水,然後平穩移動,一直到讓壺口與杯口對齊,之後以一定角度傾斜茶壺。這

鴻蒙智行享界S9全場景新品發表會,多款重磅新品齊發 鴻蒙智行享界S9全場景新品發表會,多款重磅新品齊發 Aug 08, 2024 am 07:02 AM

今天下午,鸿蒙智行正式迎来了新品牌与新车。8月6日,华为举行鸿蒙智行享界S9及华为全场景新品发布会,带来了全景智慧旗舰轿车享界S9、问界新M7Pro和华为novaFlip、MatePadPro12.2英寸、全新MatePadAir、华为毕昇激光打印机X1系列、FreeBuds6i、WATCHFIT3和智慧屏S5Pro等多款全场景智慧新品,从智慧出行、智慧办公到智能穿戴,华为全场景智慧生态持续构建,为消费者带来万物互联的智慧体验。鸿蒙智行:深度赋能,推动智能汽车产业升级华为联合中国汽车产业伙伴,为

分散式人工智慧盛會DAI 2024徵稿:Agent Day,強化學習之父Richard Sutton將出席!顏水成、Sergey Levine以及DeepMind科學家將做主旨報告 分散式人工智慧盛會DAI 2024徵稿:Agent Day,強化學習之父Richard Sutton將出席!顏水成、Sergey Levine以及DeepMind科學家將做主旨報告 Aug 22, 2024 pm 08:02 PM

會議簡介隨著科技的快速發展,人工智慧成為了推動社會進步的重要力量。在這個時代,我們有幸見證並參與分散式人工智慧(DistributedArtificialIntelligence,DAI)的創新與應用。分散式人工智慧是人工智慧領域的重要分支,這幾年引起了越來越多的關注。基於大型語言模型(LLM)的智能體(Agent)異軍突起,透過結合大模型的強大語言理解和生成能力,展現了在自然語言互動、知識推理、任務規劃等方面的巨大潛力。 AIAgent正在接棒大語言模型,成為目前AI圈的熱門話題。 Au

See all articles