目錄
作者介紹
首頁 科技週邊 人工智慧 AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

Apr 12, 2023 pm 07:46 PM
ai 模型 動詞

給AI下指令時,總覺得和人溝通不太一樣?

沒錯,雖然AI能聽懂一些具體的人類指令,例如:

幫忙從餐廳搬個椅子過來。

但要是換成只有代名詞(他/她/它/這/那/東西…)和動詞的模糊指令,AI就一頭霧水了:

幫忙找個能墊腳的東西。

現在,終於有研究人員想出了一種新的應對方法:讓AI學會理解動詞不就行了?

動詞本身就和一些特定的名詞綁定,例如「抹黃油」這個動作肯定離不開「刀」、「叉」這樣的名詞。

只需要將它們進行匹配,不需要「刀叉」這類名詞指令,AI也能準確找出目標物:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

##目前,這篇論文正式被NeurIPS 2022收錄,相關模型也已經開源:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

所以它究竟是如何訓練AI理解動詞的?

遮住名詞讓AI「看圖找物」

論文提出了一個名叫TOIST的框架。

TOIST即「任務導向的實例分割Transformer」(Task Oriented Instance Segmentation Transformer),是一種基於Transformer的實例分割新方案。

實例分割與語意分割的「全圖切割」不同,它也具備目標偵測的特點,例如下圖憑藉著名詞「掀背車」(hatchback car),直接找出對應物體:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

先前,實例分割模型通常分為“兩個步驟”,第一步檢測可能的目標,第二步對可能的目標進行排序,預測出最有可能的結果。

但與此方式不同,TOIST框架直接採用一整個Transformer架構,其中解碼器中的自註意力機制可以建立候選目標之間的偏好關係。

TOIST框架整體分為三個部分。

其中,多模態編碼器(棕色部分)負責提取特徵標記,Transformer編碼器(綠色部分)負責將兩種模態的特徵聚合起來,並基於Transformer解碼器(藍色部分)中的注意力機制來預測最適合的目標。

隨後,論文提出了一種新的名詞-代名詞蒸餾方法 (noun-pronoun distillation)來訓練模型。

具體來說,即基於知識蒸餾(上圖教師-學生模型)框架,以無監督學習的方式,訓練AI憑藉上下文來「猜測」名詞原型。

例如原本的實例分割任務是“用滑板挖洞”,但在訓練模型時,會把名詞“滑板”(skateboard)用代名詞“某個東西”(something)替換:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

這樣AI在不知道名詞的時候,也能憑空猜出正確的名詞,並在圖中分割出正確的目標:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

這樣的分割效果,在實際案例中表現如何?

目標偵測提升10.9%精確度

論文在大規模任務資料集COCO-Tasks上對TOIST進行了測試。

評估方法採用的是目標偵測等視覺任務中常見的mAP(mean Average Precision)。

簡單來說,TOIST比先前的實例分割和目標偵測模型SOTA模型表現更好,而有了名詞-代名詞蒸餾方法加成的「強化版」TOIST,表現又比TOIST更上一層樓。

其中在目標偵測任務上,相較於目前最好的Yolo GGNN,「強化版」TOIST的判定框精確度mAP提升了10.9%,在實例分割任務上,遮罩精準度則比Mask- RCNN GGNN高6.6%。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

至於提出的名詞-代名詞蒸餾方法,相較於TOIST原版,在實例分割任務上分別提高了2.8%和3.8%的精確度。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

具體到案例表現上,模型效果也與實際分割真值非常接近。

例如在圖(d)中,演算法甚至辨識出來了能用桌子開啤酒瓶蓋,可以說是理解能力滿分了:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

對於做這項研究的初衷,作者回應稱:

我們實驗室其實是負責研究機器人的,但在平時的研究中發現,用戶有時會更傾向於給機器人描述“需求”,而不是直接告訴機器人要做什麼。

換而言之,就是用AI演算法讓機器人“多想一步”,而不是只是一個聽從命令的助手。

作者介紹

這篇論文的作者來自清華大學智慧產業研究院(AIR)、北京大學和英特爾研究院,AIR院長張亞勤也是作者之一。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

論文一作李鵬飛,清華大學智慧產業研究院的在學博士生,本科畢業於中國科學院大學,研究方向為自動駕駛、電腦視覺等。

通訊作者趙昊,清華大學智慧產業研究院助理教授(incoming Assistant Professor)、英特爾中國研究院研究科學家、北大聯合博士後,本博畢業於清華大學電子工程系,研究興趣是機器人、電腦視覺方向。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

論文網址:https://arxiv.org/abs/2210.10775

計畫網址:https://github.com/AIR-DISCOVER/ TOIST

以上是AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1317
25
PHP教程
1268
29
C# 教程
1246
24
如何理解C  中的DMA操作? 如何理解C 中的DMA操作? Apr 28, 2025 pm 10:09 PM

DMA在C 中是指DirectMemoryAccess,直接內存訪問技術,允許硬件設備直接與內存進行數據傳輸,不需要CPU干預。 1)DMA操作高度依賴於硬件設備和驅動程序,實現方式因係統而異。 2)直接訪問內存可能帶來安全風險,需確保代碼的正確性和安全性。 3)DMA可提高性能,但使用不當可能導致系統性能下降。通過實踐和學習,可以掌握DMA的使用技巧,在高速數據傳輸和實時信號處理等場景中發揮其最大效能。

C  中的chrono庫如何使用? C 中的chrono庫如何使用? Apr 28, 2025 pm 10:18 PM

使用C 中的chrono庫可以讓你更加精確地控制時間和時間間隔,讓我們來探討一下這個庫的魅力所在吧。 C 的chrono庫是標準庫的一部分,它提供了一種現代化的方式來處理時間和時間間隔。對於那些曾經飽受time.h和ctime折磨的程序員來說,chrono無疑是一個福音。它不僅提高了代碼的可讀性和可維護性,還提供了更高的精度和靈活性。讓我們從基礎開始,chrono庫主要包括以下幾個關鍵組件:std::chrono::system_clock:表示系統時鐘,用於獲取當前時間。 std::chron

量化交易所排行榜2025 數字貨幣量化交易APP前十名推薦 量化交易所排行榜2025 數字貨幣量化交易APP前十名推薦 Apr 30, 2025 pm 07:24 PM

交易所內置量化工具包括:1. Binance(幣安):提供Binance Futures量化模塊,低手續費,支持AI輔助交易。 2. OKX(歐易):支持多賬戶管理和智能訂單路由,提供機構級風控。獨立量化策略平台有:3. 3Commas:拖拽式策略生成器,適用於多平台對沖套利。 4. Quadency:專業級算法策略庫,支持自定義風險閾值。 5. Pionex:內置16 預設策略,低交易手續費。垂直領域工具包括:6. Cryptohopper:雲端量化平台,支持150 技術指標。 7. Bitsgap:

怎樣在C  中處理高DPI顯示? 怎樣在C 中處理高DPI顯示? Apr 28, 2025 pm 09:57 PM

在C 中處理高DPI顯示可以通過以下步驟實現:1)理解DPI和縮放,使用操作系統API獲取DPI信息並調整圖形輸出;2)處理跨平台兼容性,使用如SDL或Qt的跨平台圖形庫;3)進行性能優化,通過緩存、硬件加速和動態調整細節級別來提升性能;4)解決常見問題,如模糊文本和界面元素過小,通過正確應用DPI縮放來解決。

C  中的實時操作系統編程是什麼? C 中的實時操作系統編程是什麼? Apr 28, 2025 pm 10:15 PM

C 在實時操作系統(RTOS)編程中表現出色,提供了高效的執行效率和精確的時間管理。 1)C 通過直接操作硬件資源和高效的內存管理滿足RTOS的需求。 2)利用面向對象特性,C 可以設計靈活的任務調度系統。 3)C 支持高效的中斷處理,但需避免動態內存分配和異常處理以保證實時性。 4)模板編程和內聯函數有助於性能優化。 5)實際應用中,C 可用於實現高效的日誌系統。

C  中的字符串流如何使用? C 中的字符串流如何使用? Apr 28, 2025 pm 09:12 PM

C 中使用字符串流的主要步驟和注意事項如下:1.創建輸出字符串流並轉換數據,如將整數轉換為字符串。 2.應用於復雜數據結構的序列化,如將vector轉換為字符串。 3.注意性能問題,避免在處理大量數據時頻繁使用字符串流,可考慮使用std::string的append方法。 4.注意內存管理,避免頻繁創建和銷毀字符串流對象,可以重用或使用std::stringstream。

怎樣在C  中測量線程性能? 怎樣在C 中測量線程性能? Apr 28, 2025 pm 10:21 PM

在C 中測量線程性能可以使用標準庫中的計時工具、性能分析工具和自定義計時器。 1.使用庫測量執行時間。 2.使用gprof進行性能分析,步驟包括編譯時添加-pg選項、運行程序生成gmon.out文件、生成性能報告。 3.使用Valgrind的Callgrind模塊進行更詳細的分析,步驟包括運行程序生成callgrind.out文件、使用kcachegrind查看結果。 4.自定義計時器可靈活測量特定代碼段的執行時間。這些方法幫助全面了解線程性能,並優化代碼。

給MySQL表添加和刪除字段的操作步驟 給MySQL表添加和刪除字段的操作步驟 Apr 29, 2025 pm 04:15 PM

在MySQL中,添加字段使用ALTERTABLEtable_nameADDCOLUMNnew_columnVARCHAR(255)AFTERexisting_column,刪除字段使用ALTERTABLEtable_nameDROPCOLUMNcolumn_to_drop。添加字段時,需指定位置以優化查詢性能和數據結構;刪除字段前需確認操作不可逆;使用在線DDL、備份數據、測試環境和低負載時間段修改表結構是性能優化和最佳實踐。

See all articles