中國學者開發看護機器人模擬環境,也做了真人實驗,獲IROS 2022最佳論文之一
10 月 23 日 - 27 日,機器人頂會 IROS 2022 在日本京都舉行。大會共收到了來自全球 57 個國家和地區的 3579 篇論文投稿,最終接收了 1716 篇,接收率達到了 47.9%。
其中,來自上海交通大學的盧策吾團隊與康乃爾大學、哥倫比亞大學的研究者聯合推出了看護機器人仿真環境RCareWorld。這項工作獲得 IROS 2022 會議六個最佳論文獎項之一的最佳 RoboCup 論文。
兩篇 Best RoboCup 論文。來源:Twitter@ctwy
- 論文網址:https://arxiv.org/pdf/2210.10821.pdf
- #Github 網址:https://github.com/empriselab/RCareWorld
- 論文首頁:https://emprise.cs.cornell.edu/rcareworld/
根據WHO 數據顯示,全世界有1.9 億人有不同程度的行動限制,需要照顧者的幫助才能獲得較高的生活品質。目前,世界主要國家逐漸進入不同程度的老齡化社會,對護理人員的需求急劇上升,而相關人才的培養需要長期的投入,因此,設計看護機器人是可能的解決方案。
但是,照顧機器人領域的發展面臨著重重困難,例如:
1. 前沿研究者缺少被照顧者和照顧者的第一人稱真實需求的研究累積(任務、演算法、數據)。
2. 真實機器人本體的開發、部署、運作和維護所需的開銷也十分高昂。
3. 此領域研究的實驗需要在理解被照顧者日常活動需求後,有針對性地進行改造,大大增加研究成本。
因此,一個能高度擬真看護場景的模擬平台,能大幅降低進入該研究領域的門檻,使得該領域的研究更容易展開和學術同行間比較。
和以往用於通用機器人的模擬環境不同,RCareWorld 團隊同時吸收了來自看護場景相關人員,和機器人研究學者的建議,對機器人所需學習的技能、虛擬人建模、活動場景設計、功能性介面等提供了充分的支援。
機器人看護技能
作者在模擬環境中對常見的看護任務進行了基準測試:餵食、穿衣、擦拭身體、四肢重擺、幫助移動、幫助上衛浴等。
此外,作者進行了兩個真實世界實驗:
##1. 將擦拭身體這個任務中學到的策略直接移到真機實驗中。
#2. 真實世界中的社群照顧任務:作者用行為樹程式設計的NAO 機器人作為教練,透過VR 介面來引導被照顧者的肢體復原。
完整虛擬人建模:肌肉骨骼、軟組織、關節活動範圍
肌肉骨骼系統
人體的肌肉骨骼系統,會接收來自神經系統的活化訊號,以此決定對肌肉的收縮或舒張,從而帶動骨頭關節的運動。過程,作者使用 Hill-type 肌肉模型建模,參考 OpenSim 資料庫的相關數據,完成肌肉在人體模型的設定。
軟體組織
另一方面,當人體關節運動時,會造成表面軟組織形變,作者用基於XPBD 的模擬技術對這一部分進行了建模。這些軟組織,不僅存在於表面,也存在於口腔。在口腔中,作者對舌頭也進行了建模。如圖,當草莓放到人的口腔中,他的舌頭隨之形變。
關節活動範圍
當人受到一些損傷,如脊椎損傷(C1-C3, C4-C5, C6- C7)、腦性麻痺、半身麻痺、腦中風等,身體關節的活動性會受到極大的影響,運動模式也會改變。作者根據來自臨床的數據,建模了人體受到此類損傷後對應的關節活動。
活動場景:無障礙性的三個層次
根據活動場景的無障礙性,給場景分出三等級:
- 常規(L1):此時不需要進行改造。
- 部分無障礙(L2):此時部分物件需被移除,使用不便的工具或零件需被替換,如旋轉式的門把手需被替換成按壓式,或門整個替換成滑動門。
- 完全無障礙(L3):此時所有活動區域都應是可通過和可到達的,可能要涉及樓梯、過道加寬,上懸櫥櫃下拉,檯面下方掏空等改造。
全面的修改方案參考自《通用設計指南》(Universal Design Manual)。根據《通用設計指南》的指導,作者修改了 16 間房子。房子模型選自 Matterport3D 資料集,總共包括 17 個廚房、17 個客廳、59 間臥室、16 個餐廳、70 間浴室、18 個休息室和 41 個其它房間。在房子中合適的區域,都配有病床、病人吊索、輪椅等醫療輔助設備。
功能性介面:模型、感測、互動介面
根據機器人研究學者的建議,模擬環境應該:
1. 支援控制常見的看護機器人模型:包括HSR、Stretch、Nao、Fetch、Kinova、Franka、UR 等。
2. 提供多模態感測:RGB,深度、LiDAR、關節和末端力感測、全臂觸覺感知。
3. 具有多種互動控制介面和接口,支援規劃、控制和學習演算法,便於開發者使用:Python、ROS、VR。
上海交大推出具身智慧平台RobotFlow/RFUniverse
#RCareWorld 專案基於 RFUniverse 模擬平台開發。 RFUniverse 是由上海交通大學盧策吾教授團隊發起推出的具身智慧平台 RobotFlow 旗下的多物理機器人模擬平台。此模擬平台支援包括食物切割、衣服折疊等任務在內的高階機器人操作任務。對剛體、關節體、柔性體、流體等物體類型提供支援。上海交通大學MVIG盧策吾團隊,長期研究具身智能,電腦視覺,團隊在《自然》,《自然. 機器智能》,TPAMI,ICRA,IROS上發表論文一百多篇,形成GraspNet(Anygrasp),Aphapose, HAKE等知名機器人學習,電腦視覺系統。
現已開源:https://github.com/mvig-robotflow/pyrfuniverse
RCareWorld 論文共同第一作者徐文強博士是此系統核心人員。
共同第一作者介紹
葉若琳,上海交通大學電子系本科,康乃爾大學計算機系一年級在讀博士生,師從 Tapomayukh Bhattacharjee 教授。研究方向為人與機器人互動。 RCareWorld 的主要工作完成於她在上海交通大學 MVIG 實驗室(導師盧策吾)實習期間。
徐文強,上海交通大學 MVIG 實驗室四年級在讀博士生,師從盧策吾教授。研究方向為具身智能。在實驗室內領導 RobotFlow 項目,其中包括多物理機器人模擬平台 RFUniverse,這是 RCareWorld 的基礎。
- RobotFlow 專案:https://robotflow.ai
- RFUniverse 平台:https ://sites.google.com/view/rfuniverse
以上是中國學者開發看護機器人模擬環境,也做了真人實驗,獲IROS 2022最佳論文之一的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

熱門話題

人形機器人Ameca升級第二代了!最近,在世界行動通訊大會MWC2024上,世界上最先進機器人Ameca又現身了。會場周圍,Ameca引來一大波觀眾。得到GPT-4加持後,Ameca能夠對各種問題做出即時反應。 「來一段舞蹈」。當被問及是否有情感時,Ameca用一系列的面部表情做出回應,看起來非常逼真。就在前幾天,Ameca背後的英國機器人公司EngineeredArts剛剛示範了團隊最新的開發成果。影片中,機器人Ameca具備了視覺能力,能看見並描述房間整個狀況、描述具體物體。最厲害的是,她還能

在工業自動化技術領域,最近有兩個熱點很難被忽視:人工智慧(AI)和英偉達(Nvidia)。不要改變原內容的意思,微調內容,重寫內容,不要續寫:「不僅如此,這兩者密切相關,因為英偉達在不僅僅局限於其最開始的圖形處理單元(GPU),正在將其GPU科技擴展到數位孿生領域,同時緊密連接著新興的AI技術。泰瑞達機器人及其MiR和優傲機器人公司。 Recently,Nvidiahascoll

這週,由OpenAI、微軟、貝佐斯和英偉達投資的機器人公司FigureAI宣布獲得接近7億美元的融資,計劃在未來一年內研發出可獨立行走的人形機器人。而特斯拉的擎天柱也屢屢傳出好消息。沒人懷疑,今年會是人形機器人爆發的一年。一家位於加拿大的機器人公司SanctuaryAI最近發布了一款全新的人形機器人Phoenix。官方號稱它能以和人類一樣的速率自主完成許多工作。世界上第一台能以人類速度自主完成任務的機器人Pheonix可以輕輕地抓取、移動並優雅地將每個物件放置在它的左右兩側。它能夠自主辨識物體的

機器之能報道編輯:吳昕國內版的人形機器人+大模型組隊,首次完成疊衣服這類複雜柔性材料的操作任務。隨著融合了OpenAI多模態大模型的Figure01揭開神秘面紗,國內同行的相關進展一直備受關注。就在昨天,國內"人形機器人第一股"優必選發布了人形機器人WalkerS深入融合百度文心大模型後的首個Demo,展示了一些有趣的新功能。現在,得到百度文心大模型能力加持的WalkerS是這個樣子的。和Figure01一樣,WalkerS沒有走動,而是站在桌子後面完成一系列任務。它可以聽從人類的命令,折疊衣物

以下10款類人機器人正在塑造我們的未來:1、ASIMO:ASIMO由Honda開發,是最知名的人形機器人之一。 ASIMO高4英尺,重119磅,配備先進的感測器和人工智慧功能,使其能夠在複雜的環境中導航並與人類互動。 ASIMO的多功能性使其適用於各種任務,從幫助殘疾人到在活動中進行演示。 2、Pepper:由SoftbankRobotics創建,Pepper旨在成為人類的社交伴侶。憑藉其富有表現力的面孔和識別情緒的能力,Pepper可以參與對話、在零售環境中提供幫助,甚至提供教育支持。 Pepper的

近幾年最受消費者歡迎的智慧家電,掃拖機器人可謂是其中之一。它所帶來的操作便利性,甚至是無需操作,讓懶人們釋放了雙手,讓消費者能夠從日常的家務中「解放」出來,也能拿更多的時間花在自己喜歡的事情上,變相提高了生活品質。藉著這股熱潮,市面上幾乎所有的家電產品品牌都在做自己的掃拖機器人,一時間使得整個掃拖機器人市場熱鬧非凡。但市場的快速拓張必然會帶來一個隱患:很多廠商會採用機海戰術的方式快速佔領更多的市場份額,從而導致很多新品並沒有什麼升級點,說它是“套娃”機型也不為過。不過,並不是所有的掃拖機器人都是

一眨眼的功夫,機器人都已經學會變魔術了?只見它先是拿起桌上的水勺,向觀眾證明了裡面什麼也沒有……然後,它又把手中雞蛋似的物體放了進去,然後把水勺放回桌子上,開始「施法」… …就在它把水勺再次拿起的時候,奇蹟發生了。原先放進去的雞蛋不翼而飛,跳出的東西變成了一個籃球……再來看一遍連貫動作:△此動圖為二倍速一套動作下來如行雲流水,只有把視頻用0.5倍速反复觀看,才終於發現其中的端倪了:如果手速再快一些,大概真的就可以瞞天過海了。有網友感嘆,機器人變魔術的程度比自己還要高:為我們表演這段魔術的,是Mag

創下有史以來銷售速度最快的任天堂遊戲《薩爾達傳說:王國之淚》(TheLegendofZelda:TearsoftheKingdom)不僅因為左納烏科技帶來各種「薩爾達創作家」社群內容,也成為美國馬裡蘭大學(UniversityofMaryland;UMD)全新工程學的課程。重寫:《薩爾達傳說:王國之淚》是任天堂創紀錄銷售最快的遊戲之一。不只因為左納烏科技帶來了豐富的社群內容,也成為了美國馬裡蘭大學全新工程學課程的一部分今年秋季,馬裡蘭大學的RyanD.Sochol副教授開設了一門名為《
