目錄
作者介紹
首頁 科技週邊 人工智慧 AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

Apr 12, 2023 pm 07:46 PM
ai 模型 動詞

給AI下指令時,總覺得和人溝通不太一樣?

沒錯,雖然AI能聽懂一些具體的人類指令,例如:

幫忙從餐廳搬個椅子過來。

但要是換成只有代名詞(他/她/它/這/那/東西…)和動詞的模糊指令,AI就一頭霧水了:

幫忙找個能墊腳的東西。

現在,終於有研究人員想出了一種新的應對方法:讓AI學會理解動詞不就行了?

動詞本身就和一些特定的名詞綁定,例如「抹黃油」這個動作肯定離不開「刀」、「叉」這樣的名詞。

只需要將它們進行匹配,不需要「刀叉」這類名詞指令,AI也能準確找出目標物:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

##目前,這篇論文正式被NeurIPS 2022收錄,相關模型也已經開源:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

所以它究竟是如何訓練AI理解動詞的?

遮住名詞讓AI「看圖找物」

論文提出了一個名叫TOIST的框架。

TOIST即「任務導向的實例分割Transformer」(Task Oriented Instance Segmentation Transformer),是一種基於Transformer的實例分割新方案。

實例分割與語意分割的「全圖切割」不同,它也具備目標偵測的特點,例如下圖憑藉著名詞「掀背車」(hatchback car),直接找出對應物體:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

先前,實例分割模型通常分為“兩個步驟”,第一步檢測可能的目標,第二步對可能的目標進行排序,預測出最有可能的結果。

但與此方式不同,TOIST框架直接採用一整個Transformer架構,其中解碼器中的自註意力機制可以建立候選目標之間的偏好關係。

TOIST框架整體分為三個部分。

其中,多模態編碼器(棕色部分)負責提取特徵標記,Transformer編碼器(綠色部分)負責將兩種模態的特徵聚合起來,並基於Transformer解碼器(藍色部分)中的注意力機制來預測最適合的目標。

隨後,論文提出了一種新的名詞-代名詞蒸餾方法 (noun-pronoun distillation)來訓練模型。

具體來說,即基於知識蒸餾(上圖教師-學生模型)框架,以無監督學習的方式,訓練AI憑藉上下文來「猜測」名詞原型。

例如原本的實例分割任務是“用滑板挖洞”,但在訓練模型時,會把名詞“滑板”(skateboard)用代名詞“某個東西”(something)替換:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

這樣AI在不知道名詞的時候,也能憑空猜出正確的名詞,並在圖中分割出正確的目標:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

這樣的分割效果,在實際案例中表現如何?

目標偵測提升10.9%精確度

論文在大規模任務資料集COCO-Tasks上對TOIST進行了測試。

評估方法採用的是目標偵測等視覺任務中常見的mAP(mean Average Precision)。

簡單來說,TOIST比先前的實例分割和目標偵測模型SOTA模型表現更好,而有了名詞-代名詞蒸餾方法加成的「強化版」TOIST,表現又比TOIST更上一層樓。

其中在目標偵測任務上,相較於目前最好的Yolo GGNN,「強化版」TOIST的判定框精確度mAP提升了10.9%,在實例分割任務上,遮罩精準度則比Mask- RCNN GGNN高6.6%。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

至於提出的名詞-代名詞蒸餾方法,相較於TOIST原版,在實例分割任務上分別提高了2.8%和3.8%的精確度。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

具體到案例表現上,模型效果也與實際分割真值非常接近。

例如在圖(d)中,演算法甚至辨識出來了能用桌子開啤酒瓶蓋,可以說是理解能力滿分了:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

對於做這項研究的初衷,作者回應稱:

我們實驗室其實是負責研究機器人的,但在平時的研究中發現,用戶有時會更傾向於給機器人描述“需求”,而不是直接告訴機器人要做什麼。

換而言之,就是用AI演算法讓機器人“多想一步”,而不是只是一個聽從命令的助手。

作者介紹

這篇論文的作者來自清華大學智慧產業研究院(AIR)、北京大學和英特爾研究院,AIR院長張亞勤也是作者之一。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

論文一作李鵬飛,清華大學智慧產業研究院的在學博士生,本科畢業於中國科學院大學,研究方向為自動駕駛、電腦視覺等。

通訊作者趙昊,清華大學智慧產業研究院助理教授(incoming Assistant Professor)、英特爾中國研究院研究科學家、北大聯合博士後,本博畢業於清華大學電子工程系,研究興趣是機器人、電腦視覺方向。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

論文網址:https://arxiv.org/abs/2210.10775

計畫網址:https://github.com/AIR-DISCOVER/ TOIST

以上是AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

WorldCoin(WLD)價格預測2025-2031:到2031年WLD會達到4美元嗎? WorldCoin(WLD)價格預測2025-2031:到2031年WLD會達到4美元嗎? Apr 21, 2025 pm 02:42 PM

WorldCoin(WLD)凭借其独特的生物识别验证和隐私保护机制,在加密货币市场中脱颖而出,吸引了众多投资者的目光。WLD凭借其创新技术,特别是结合OpenAI人工智能技术,在众多山寨币中表现突出。但未来几年,数字资产的走势如何呢?让我们一起预测WLD的未来价格。2025年WLD价格预测预计2025年WLD将实现显著增长。市场分析显示,WLD平均价格可能达到1.31美元,最高可能触及1.36美元。然而,在熊市情况下,价格可能跌至0.55美元左右。这一增长预期主要源于WorldCoin2.

虛擬幣價格上漲或者下降是為什麼 虛擬幣價格上漲或者下降的原因 虛擬幣價格上漲或者下降是為什麼 虛擬幣價格上漲或者下降的原因 Apr 21, 2025 am 08:57 AM

虛擬幣價格上漲因素包括:1.市場需求增加,2.供應量減少,3.利好消息刺激,4.市場情緒樂觀,5.宏觀經濟環境;下降因素包括:1.市場需求減少,2.供應量增加,3.利空消息打擊,4.市場情緒悲觀,5.宏觀經濟環境。

跨鏈交易什麼意思?跨鏈交易所有哪些? 跨鏈交易什麼意思?跨鏈交易所有哪些? Apr 21, 2025 pm 11:39 PM

支持跨鏈交易的交易所有:1. Binance,2. Uniswap,3. SushiSwap,4. Curve Finance,5. Thorchain,6. 1inch Exchange,7. DLN Trade,這些平台通過各種技術支持多鏈資產交易。

Aavenomics是修改AAVE協議令牌並介紹令牌回購的建議,已達到法定人數 Aavenomics是修改AAVE協議令牌並介紹令牌回購的建議,已達到法定人數 Apr 21, 2025 pm 06:24 PM

Aavenomics是修改AAVE協議令牌並引入令牌回購的提議,已為AAVEDAO實現了一個法定人數。 AAVE連鎖計劃(ACI)創始人馬克·澤勒(MarcZeller)在X上宣布了這一點,並指出它標誌著該協議的新時代。 AAVE連鎖倡議(ACI)創始人MarcZeller在X上宣布,Aavenomics提案包括修改AAVE協議令牌和引入令牌回購,已為AAVEDAO實現了法定人數。根據Zeller的說法,這標誌著該協議的新時代。 AaveDao成員以壓倒性的投票支持該提議,即在周三以每週100

如何在幣安拿下 KERNEL 空投獎勵 全流程攻略 如何在幣安拿下 KERNEL 空投獎勵 全流程攻略 Apr 21, 2025 pm 01:03 PM

在加密貨幣的繁華世界裡,新機遇總是不斷湧現。當下,KernelDAO (KERNEL) 空投活動正備受矚目,吸引著眾多投資者的目光。那麼,這個項目究竟是什麼來頭? BNB Holder 又能從中獲得怎樣的好處?別急,下面將為你一一揭曉。

比特幣成品結構分析圖是啥?怎麼畫? 比特幣成品結構分析圖是啥?怎麼畫? Apr 21, 2025 pm 07:42 PM

繪製比特幣結構分析圖的步驟包括:1. 確定繪圖目的與受眾,2. 選擇合適的工具,3. 設計框架並填充核心組件,4. 參考現有模板。完整的步驟確保圖表準確且易於理解。

混合型區塊鏈交易平台有哪些 混合型區塊鏈交易平台有哪些 Apr 21, 2025 pm 11:36 PM

選擇加密貨幣交易所的建議:1. 流動性需求,優先選擇幣安、Gate.io或OKX,因其訂單深度與抗波動能力強。 2. 合規與安全,Coinbase、Kraken、Gemini具備嚴格監管背書。 3. 創新功能,KuCoin的軟質押和Bybit的衍生品設計適合進階用戶。

幣圈槓桿交易所排名 幣圈十大槓桿交易所APP最新推薦 幣圈槓桿交易所排名 幣圈十大槓桿交易所APP最新推薦 Apr 21, 2025 pm 11:24 PM

2025年在槓桿交易、安全性和用戶體驗方面表現突出的平台有:1. OKX,適合高頻交易者,提供最高100倍槓桿;2. Binance,適用於全球多幣種交易者,提供125倍高槓桿;3. Gate.io,適合衍生品專業玩家,提供100倍槓桿;4. Bitget,適用於新手及社交化交易者,提供最高100倍槓桿;5. Kraken,適合穩健型投資者,提供5倍槓桿;6. Bybit,適用於山寨幣探索者,提供20倍槓桿;7. KuCoin,適合低成本交易者,提供10倍槓桿;8. Bitfinex,適合資深玩

See all articles