目錄
作者介紹
首頁 科技週邊 人工智慧 AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

Apr 12, 2023 pm 07:46 PM
ai 模型 動詞

給AI下指令時,總覺得和人溝通不太一樣?

沒錯,雖然AI能聽懂一些具體的人類指令,例如:

幫忙從餐廳搬個椅子過來。

但要是換成只有代名詞(他/她/它/這/那/東西…)和動詞的模糊指令,AI就一頭霧水了:

幫忙找個能墊腳的東西。

現在,終於有研究人員想出了一種新的應對方法:讓AI學會理解動詞不就行了?

動詞本身就和一些特定的名詞綁定,例如「抹黃油」這個動作肯定離不開「刀」、「叉」這樣的名詞。

只需要將它們進行匹配,不需要「刀叉」這類名詞指令,AI也能準確找出目標物:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

##目前,這篇論文正式被NeurIPS 2022收錄,相關模型也已經開源:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

所以它究竟是如何訓練AI理解動詞的?

遮住名詞讓AI「看圖找物」

論文提出了一個名叫TOIST的框架。

TOIST即「任務導向的實例分割Transformer」(Task Oriented Instance Segmentation Transformer),是一種基於Transformer的實例分割新方案。

實例分割與語意分割的「全圖切割」不同,它也具備目標偵測的特點,例如下圖憑藉著名詞「掀背車」(hatchback car),直接找出對應物體:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

先前,實例分割模型通常分為“兩個步驟”,第一步檢測可能的目標,第二步對可能的目標進行排序,預測出最有可能的結果。

但與此方式不同,TOIST框架直接採用一整個Transformer架構,其中解碼器中的自註意力機制可以建立候選目標之間的偏好關係。

TOIST框架整體分為三個部分。

其中,多模態編碼器(棕色部分)負責提取特徵標記,Transformer編碼器(綠色部分)負責將兩種模態的特徵聚合起來,並基於Transformer解碼器(藍色部分)中的注意力機制來預測最適合的目標。

隨後,論文提出了一種新的名詞-代名詞蒸餾方法 (noun-pronoun distillation)來訓練模型。

具體來說,即基於知識蒸餾(上圖教師-學生模型)框架,以無監督學習的方式,訓練AI憑藉上下文來「猜測」名詞原型。

例如原本的實例分割任務是“用滑板挖洞”,但在訓練模型時,會把名詞“滑板”(skateboard)用代名詞“某個東西”(something)替換:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

這樣AI在不知道名詞的時候,也能憑空猜出正確的名詞,並在圖中分割出正確的目標:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

這樣的分割效果,在實際案例中表現如何?

目標偵測提升10.9%精確度

論文在大規模任務資料集COCO-Tasks上對TOIST進行了測試。

評估方法採用的是目標偵測等視覺任務中常見的mAP(mean Average Precision)。

簡單來說,TOIST比先前的實例分割和目標偵測模型SOTA模型表現更好,而有了名詞-代名詞蒸餾方法加成的「強化版」TOIST,表現又比TOIST更上一層樓。

其中在目標偵測任務上,相較於目前最好的Yolo GGNN,「強化版」TOIST的判定框精確度mAP提升了10.9%,在實例分割任務上,遮罩精準度則比Mask- RCNN GGNN高6.6%。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

至於提出的名詞-代名詞蒸餾方法,相較於TOIST原版,在實例分割任務上分別提高了2.8%和3.8%的精確度。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

具體到案例表現上,模型效果也與實際分割真值非常接近。

例如在圖(d)中,演算法甚至辨識出來了能用桌子開啤酒瓶蓋,可以說是理解能力滿分了:

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

對於做這項研究的初衷,作者回應稱:

我們實驗室其實是負責研究機器人的,但在平時的研究中發現,用戶有時會更傾向於給機器人描述“需求”,而不是直接告訴機器人要做什麼。

換而言之,就是用AI演算法讓機器人“多想一步”,而不是只是一個聽從命令的助手。

作者介紹

這篇論文的作者來自清華大學智慧產業研究院(AIR)、北京大學和英特爾研究院,AIR院長張亞勤也是作者之一。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

論文一作李鵬飛,清華大學智慧產業研究院的在學博士生,本科畢業於中國科學院大學,研究方向為自動駕駛、電腦視覺等。

通訊作者趙昊,清華大學智慧產業研究院助理教授(incoming Assistant Professor)、英特爾中國研究院研究科學家、北大聯合博士後,本博畢業於清華大學電子工程系,研究興趣是機器人、電腦視覺方向。

AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉

論文網址:https://arxiv.org/abs/2210.10775

計畫網址:https://github.com/AIR-DISCOVER/ TOIST

以上是AI理解不了「他她它」咋辦?動詞成為新突破口,機器人聽到抹黃油就知道拿刀叉的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 個月前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
1 個月前 By 尊渡假赌尊渡假赌尊渡假赌
威爾R.E.P.O.有交叉遊戲嗎?
1 個月前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

centos關機命令行 centos關機命令行 Apr 14, 2025 pm 09:12 PM

CentOS 關機命令為 shutdown,語法為 shutdown [選項] 時間 [信息]。選項包括:-h 立即停止系統;-P 關機後關電源;-r 重新啟動;-t 等待時間。時間可指定為立即 (now)、分鐘數 ( minutes) 或特定時間 (hh:mm)。可添加信息在系統消息中顯示。

如何檢查CentOS HDFS配置 如何檢查CentOS HDFS配置 Apr 14, 2025 pm 07:21 PM

檢查CentOS系統中HDFS配置的完整指南本文將指導您如何有效地檢查CentOS系統上HDFS的配置和運行狀態。以下步驟將幫助您全面了解HDFS的設置和運行情況。驗證Hadoop環境變量:首先,確認Hadoop環境變量已正確設置。在終端執行以下命令,驗證Hadoop是否已正確安裝並配置:hadoopversion檢查HDFS配置文件:HDFS的核心配置文件位於/etc/hadoop/conf/目錄下,其中core-site.xml和hdfs-site.xml至關重要。使用

CentOS上GitLab的備份方法有哪些 CentOS上GitLab的備份方法有哪些 Apr 14, 2025 pm 05:33 PM

CentOS系統下GitLab的備份與恢復策略為了保障數據安全和可恢復性,CentOS上的GitLab提供了多種備份方法。本文將詳細介紹幾種常見的備份方法、配置參數以及恢復流程,幫助您建立完善的GitLab備份與恢復策略。一、手動備份利用gitlab-rakegitlab:backup:create命令即可執行手動備份。此命令會備份GitLab倉庫、數據庫、用戶、用戶組、密鑰和權限等關鍵信息。默認備份文件存儲於/var/opt/gitlab/backups目錄,您可通過修改/etc/gitlab

CentOS上PyTorch的GPU支持情況如何 CentOS上PyTorch的GPU支持情況如何 Apr 14, 2025 pm 06:48 PM

在CentOS系統上啟用PyTorchGPU加速,需要安裝CUDA、cuDNN以及PyTorch的GPU版本。以下步驟將引導您完成這一過程:CUDA和cuDNN安裝確定CUDA版本兼容性:使用nvidia-smi命令查看您的NVIDIA顯卡支持的CUDA版本。例如,您的MX450顯卡可能支持CUDA11.1或更高版本。下載並安裝CUDAToolkit:訪問NVIDIACUDAToolkit官網,根據您顯卡支持的最高CUDA版本下載並安裝相應的版本。安裝cuDNN庫:前

docker原理詳解 docker原理詳解 Apr 14, 2025 pm 11:57 PM

Docker利用Linux內核特性,提供高效、隔離的應用運行環境。其工作原理如下:1. 鏡像作為只讀模板,包含運行應用所需的一切;2. 聯合文件系統(UnionFS)層疊多個文件系統,只存儲差異部分,節省空間並加快速度;3. 守護進程管理鏡像和容器,客戶端用於交互;4. Namespaces和cgroups實現容器隔離和資源限制;5. 多種網絡模式支持容器互聯。理解這些核心概念,才能更好地利用Docker。

centos安裝mysql centos安裝mysql Apr 14, 2025 pm 08:09 PM

在 CentOS 上安裝 MySQL 涉及以下步驟:添加合適的 MySQL yum 源。執行 yum install mysql-server 命令以安裝 MySQL 服務器。使用 mysql_secure_installation 命令進行安全設置,例如設置 root 用戶密碼。根據需要自定義 MySQL 配置文件。調整 MySQL 參數和優化數據庫以提升性能。

CentOS下GitLab的日誌如何查看 CentOS下GitLab的日誌如何查看 Apr 14, 2025 pm 06:18 PM

CentOS系統下查看GitLab日誌的完整指南本文將指導您如何查看CentOS系統中GitLab的各種日誌,包括主要日誌、異常日誌以及其他相關日誌。請注意,日誌文件路徑可能因GitLab版本和安裝方式而異,若以下路徑不存在,請檢查GitLab安裝目錄及配置文件。一、查看GitLab主要日誌使用以下命令查看GitLabRails應用程序的主要日誌文件:命令:sudocat/var/log/gitlab/gitlab-rails/production.log此命令會顯示produc

CentOS上PyTorch的分佈式訓練如何操作 CentOS上PyTorch的分佈式訓練如何操作 Apr 14, 2025 pm 06:36 PM

在CentOS系統上進行PyTorch分佈式訓練,需要按照以下步驟操作:PyTorch安裝:前提是CentOS系統已安裝Python和pip。根據您的CUDA版本,從PyTorch官網獲取合適的安裝命令。對於僅需CPU的訓練,可以使用以下命令:pipinstalltorchtorchvisiontorchaudio如需GPU支持,請確保已安裝對應版本的CUDA和cuDNN,並使用相應的PyTorch版本進行安裝。分佈式環境配置:分佈式訓練通常需要多台機器或單機多GPU。所

See all articles