中国学者开发看护机器人仿真环境,还做了真人实验,获IROS 2022最佳论文之一
10 月 23 日 - 27 日,机器人顶会 IROS 2022 在日本京都举行。大会共收到了来自全球 57 个国家和地区的 3579 篇论文投稿,最终接收了 1716 篇,接收率达到了 47.9%。
其中,来自上海交通大学的卢策吾团队与康奈尔大学、哥伦比亚大学的研究者联合推出了看护机器人仿真环境 RCareWorld。这项工作获得 IROS 2022 会议六个最佳论文奖项之一的最佳 RoboCup 论文。
两篇 Best RoboCup 论文。图源:Twitter@ctwy
- 论文地址:https://arxiv.org/pdf/2210.10821.pdf
- Github 地址:https://github.com/empriselab/RCareWorld
- 论文主页:https://emprise.cs.cornell.edu/rcareworld/
据 WHO 数据显示,世界上有 1.9 亿人具有不同程度的行动限制,且需要看护人员的帮助才能获得较高的生活质量。目前,世界主要国家逐渐进入不同程度的老龄化社会,对护理人员的需求急剧上升,而相关人才的培养需要长期的投入,因此,设计看护机器人是可能的解决方案。
但是,看护机器人领域的发展面临着重重困难,比如:
1. 前沿研究者缺少被看护者和看护人员的第一人称真实需求的研究积累(任务、算法、数据)。
2. 真实机器人本体的开发、部署、运行和维护所需要的开销也十分高昂。
3. 该领域研究的实验需要在理解被看护者日常活动需求后,有针对性地进行改造,大大增加研究成本。
因此,一个能高度拟真看护场景的仿真平台,能大大降低进入该研究领域的门槛,使得该领域的研究更容易展开和学术同行间比较。
和以往用于通用机器人的仿真环境不同,RCareWorld 团队同时吸取了来自看护场景相关人员,和机器人研究学者的建议,对机器人所需学习的技能、虚拟人建模、活动场景设计、功能性接口等提供了充分的支持。
机器人看护技能
作者在仿真环境中对常见的看护任务进行了基准测试:喂食、穿衣、擦拭身体、四肢重摆、帮助移动、帮助上卫生间等。
此外,作者进行了两个真实世界实验:
1. 将擦拭身体这个任务中学到的策略直接迁移到真机实验中。
2. 真实世界中的社交看护任务:作者用行为树编程的 NAO 机器人作为教练,通过 VR 界面来指导被看护人员的肢体复健。
完整虚拟人建模:肌肉骨骼、软组织、关节活动范围
肌肉骨骼系统
人体的肌肉骨骼系统,会接收来自神经系统的激活信号,以此决定对肌肉的收缩或舒张,从而带动骨头关节的运动。该过程,作者使用 Hill-type 肌肉模型建模,参考来自 OpenSim 数据库的相关数据,完成肌肉在人体模型的设置。
软组织
另一方面,当人体关节运动时,会造成表面软组织形变,作者用基于 XPBD 的仿真技术对这一部分进行了建模。这些软组织,不仅存在于表面,还存在于口腔。在口腔中,作者对舌头也进行了建模。如图,当草莓放到人的口腔中,他的舌头随之形变。
关节活动范围
当人受到一些损伤,如脊椎损伤(C1-C3, C4-C5, C6-C7)、脑瘫、半身麻痹、脑中风等,身体关节的活动性会受到极大的影响,运动模式也会发生变化。作者根据来自临床的数据,建模了人体受到此类损伤后对应的关节活动。
活动场景:无障碍性的三个层次
根据活动场景的无障碍性,给场景分出三个等级:
- 常规(L1):此时不需要进行改造。
- 部分无障碍(L2):此时部分物体需被移除,使用不便的工具或部件需被替换,如旋转式的门把手需被替换成按压式,或门整个替换成滑动门。
- 完全无障碍(L3):此时所有活动区域都应是可通过和可到达的,可能要涉及楼梯、过道加宽,上悬橱柜下拉,台面下方掏空等改造。
全面的修改方案参考自《通用设计指南》(Universal Design Manual)。根据《通用设计指南》的指导,作者修改了 16 套房子。房子模型选自 Matterport3D 数据集,总共包括 17 个厨房、17 个客厅、59 间卧室、16 个餐厅、70 间浴室、18 个休息室和 41 个其它房间。在房子中合适的区域,都配有病床、病人吊索、轮椅等医疗辅助设备。
功能性接口:模型、传感、交互接口
根据机器人研究学者的建议,仿真环境应该:
1. 支持控制常见的看护机器人模型:包括 HSR、Stretch、Nao、Fetch、Kinova、Franka、UR 等。
2. 提供多模态传感:RGB,深度、LiDAR、关节和末端力传感、全臂触觉感知。
3. 具有多种交互控制界面和接口,支持规划、控制和学习算法,便于开发者使用:Python、ROS、VR。
上海交大推出具身智能平台RobotFlow/RFUniverse
RCareWorld 项目基于 RFUniverse 仿真平台开发。RFUniverse 是由上海交通大学卢策吾教授团队发起推出的具身智能平台 RobotFlow 旗下的多物理机器人仿真平台。该仿真平台支持包括食物切割、衣服折叠等任务在内的高级机器人操作任务。对刚体、关节体、柔性体、流体等物体类型提供支持。上海交通大学MVIG卢策吾团队,长期研究具身智能,计算机视觉,团队在《自然》,《自然. 机器智能》,TPAMI,ICRA,IROS上发表论文一百多篇,形成GraspNet(Anygrasp),Aphapose,HAKE等知名机器人学习,计算机视觉系统。
现已开源:https://github.com/mvig-robotflow/pyrfuniverse
RCareWorld 论文共同第一作者徐文强博士是该系统核心人员。
共同第一作者介绍
叶若琳,上海交通大学电子系本科,康奈尔大学计算机系一年级在读博士生,师从 Tapomayukh Bhattacharjee 教授。研究方向为人与机器人交互。RCareWorld 的主要工作完成于她在上海交通大学 MVIG 实验室(导师卢策吾)实习期间。
徐文强,上海交通大学 MVIG 实验室四年级在读博士生,师从卢策吾教授。研究方向为具身智能。在实验室内领导 RobotFlow 项目,其中包括多物理机器人仿真平台 RFUniverse,该项目是 RCareWorld 的基础。
- RobotFlow 项目:https://robotflow.ai
- RFUniverse 平台:https://sites.google.com/view/rfuniverse
以上是中国学者开发看护机器人仿真环境,还做了真人实验,获IROS 2022最佳论文之一的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

人形机器人Ameca升级第二代了!最近,在世界移动通信大会MWC2024上,世界上最先进机器人Ameca又现身了。会场周围,Ameca引来一大波观众。得到GPT-4加持后,Ameca能够对各种问题做出实时反应。「来一段舞蹈」。当被问及是否有情感时,Ameca用一系列的面部表情做出回应,看起来非常逼真。就在前几天,Ameca背后的英国机器人公司EngineeredArts刚刚演示了团队最新的开发成果。视频中,机器人Ameca具备了视觉能力,能看到并描述房间整个情况、描述具体物体。最厉害的是,她还能

这周,由OpenAI、微软、贝佐斯和英伟达投资的机器人公司FigureAI宣布获得接近7亿美元的融资,计划在未来一年内研发出可独立行走的人形机器人。而特斯拉的擎天柱也屡屡传出好消息。没人怀疑,今年会是人形机器人爆发的一年。一家位于加拿大的机器人公司SanctuaryAI最近发布了一款全新的人形机器人Phoenix。官方号称它能以和人类一样的速率自主完成很多工作。世界上第一台能以人类速度自主完成任务的机器人Pheonix可以轻轻地抓取、移动并优雅地将每个对象放置在它的左右两侧。它能够自主识别物体的

机器之能报道编辑:吴昕国内版的人形机器人+大模型组队,首次完成叠衣服这类复杂柔性材料的操作任务。随着融合了OpenAI多模态大模型的Figure01揭开神秘面纱,国内同行的相关进展一直备受关注。就在昨天,国内"人形机器人第一股"优必选发布了人形机器人WalkerS深入融合百度文心大模型后的首个Demo,展示了一些有趣的新功能。现在,得到百度文心大模型能力加持的WalkerS是这个样子的。和Figure01一样,WalkerS没有走动,而是站在桌子后面完成一系列任务。它可以听从人类的命令,折叠衣物

在工业自动化技术领域,最近有两个热点很难被忽视:人工智能(AI)和英伟达(Nvidia)。不要改变原内容的意思,微调内容,重写内容,不要续写:“不仅如此,这两者密切相关,因为英伟达在不仅仅局限于其最开始的图形处理单元(GPU),正在将其GPU技术扩展到数字孪生领域,同时紧密连接着新兴的AI技术。”最近,英伟达与众多工业企业达成了合作,包括领先的工业自动化企业,如Aveva、罗克韦尔自动化、西门子和施耐德电气,以及泰瑞达机器人及其MiR和优傲机器人公司。Recently,Nvidiahascoll

以下10款类人机器人正在塑造我们的未来:1、ASIMO:ASIMO由Honda开发,是最知名的人形机器人之一。ASIMO高4英尺,重119磅,配备先进的传感器和人工智能功能,使其能够在复杂的环境中导航并与人类互动。ASIMO的多功能性使其适用于各种任务,从帮助残疾人到在活动中进行演示。2、Pepper:由SoftbankRobotics创建,Pepper旨在成为人类的社交伴侣。凭借其富有表现力的面孔和识别情绪的能力,Pepper可以参与对话、在零售环境中提供帮助,甚至提供教育支持。Pepper的

近几年最受消费者欢迎的智能家电,扫拖机器人可谓是其中之一。它所带来的操作便利性,甚至是无需操作,让懒人们释放了双手,让消费者能够从日常的家务中「解放」出来,也能拿更多的时间花在自己喜欢的事情上,变相提高了生活品质。借着这股热潮,市面上几乎所有的家电产品品牌都在做自己的扫拖机器人,一时间使得整个扫拖机器人市场热闹非凡。但市场的快速拓张必然会带来一个隐患:很多厂商会采用机海战术的方式快速占领更多的市场份额,从而导致很多新品并没有什么升级点,说它是“套娃”机型也不为过。不过,并不是所有的扫拖机器人都是

一眨眼的功夫,机器人都已经学会变魔术了?只见它先是拿起桌上的水勺,向观众证明了里面什么也没有……然后,它又把手中鸡蛋似的物体放了进去,然后把水勺放回桌子上,开始“施法”……就在它把水勺再次拿起的时候,奇迹发生了。原先放进去的鸡蛋不翼而飞,跳出的东西变成了一个篮球……再来看一遍连贯动作:△此动图为二倍速一套动作下来如行云流水,只有把视频用0.5倍速反复观看,才终于发现了其中的端倪:如果手速再快一些,大概真的就可以瞒天过海了。有网友感叹,机器人变魔术的水平比自己还要高:为我们表演这段魔术的,是Mag

创下有史以来销售速度最快的任天堂游戏《塞尔达传说:王国之泪》(TheLegendofZelda:TearsoftheKingdom)不仅因为左纳乌科技带来各种“塞尔达创作家”社群内容,同时也成为美国马里兰大学(UniversityofMaryland;UMD)全新工程学的一门课程。重写:《塞尔达传说:王国之泪》是任天堂创纪录销售最快的游戏之一。不仅仅因为左纳乌科技带来了丰富的社群内容,还成为了美国马里兰大学全新工程学课程的一部分今年秋季,马里兰大学的RyanD.Sochol副教授开设了一门名为《
