首页 科技周边 人工智能 20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

Feb 21, 2024 pm 03:31 PM
机器人 强化学习 产业 机器人技术 serl

现在,机器人学会工厂精密操控任务了。
20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类近年来,机器人强化学习技术领域取得显着的进展,例如四足行走,抓取,灵巧操控等,但大多数局限于实验室展示阶段。将机器人强化学习技术广泛应用到实际生产环境仍面临众多挑战,这在一定程度上限制了其在真实场景的应用范围。强化学习技术在实际应用的过程中,任需克服包括奖励机制设定、环境重置、样本效率提升及动作安全性保障等多重复杂的问题。业内专家强调,解决强化学习技术实际落地的诸多难题,与算法本身的持续创新同等重要。

面对这一挑战,来自加州大学伯克利、斯坦福大学、华盛顿大学以及谷歌的学者们共同开发了名为高效机器人强化学习套件(SERL)的开源软件框架,致力于推动强化学习技术在实际机器人应用中的广泛使用。

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

  • 项目主页:https://serl-robot.github.io/
  • 开源代码:https://github.com/rail-berkeley/serl
  • 论文题目:SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

SERL 框架主要包含以下几个组件:

1、高效强化学习

在强化学习领域,智能体(如机器人)通过与环境的互动来掌握执行任务的方法。它通过尝试各种行为并根据行为结果获得奖励信号,从而学习出一套旨在最大化累积奖励的策略。SERL 采用 RLPD 算法,赋能机器人同时从实时互动和之前收集的离线数据中学习,大大缩短机器人掌握新技能需要的训练时间。

2、多样的奖励规定方法

SERL 提供了多种奖励规定方法,允许开发人员根据特定任务的需求定制奖励结构。例如,固定位置的安装任务可以按照机械手的位置制定奖励,更复杂的任务可以使用分类器或 VICE 学习一个准确的奖励机制。这种灵活性有助于精确指导机器人学习特定任务的最有效策略。

3、无重制功能

传统的机器人学习算法都需要定期重置环境,进行下一轮交互学习。在很多任务中这无法自动实现。SERL 提供的无重制强化学习功能同时训练前向 - 后向两个策略,为彼此提供环境重置。

4、机器人控制接口

SERL 提供了一系列 Franka 机械手任务的 Gym 环境接口作为标准示例,方便用户可以轻松地将 SERL 拓展到不同的机械臂上。

5、阻抗控制器

为了确保机器人可以在复杂的物理环境中安全精确地探索与操作,SERL 为 Franka 机械臂提供了特殊的阻抗控制器,在保证准确性的同时确保与外界物体接触后不产生过大的力矩。

通过这些技术和方法的结合,SERL 大大缩短了训练时间,同时保持了高成功率和鲁棒性,使机器人能够在短时间内学习完成复杂任务,并在现实世界中有效应用。

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类图 1、2: SERL 和行为克隆方法在各项任务中成功率和节拍数对比。在相似数据量的情况下,SERL 的成功率要比克隆的高出数倍 (最高 10 倍),节拍数也要快上至少两倍。

应用案例

1、PCB 元件组装:

在 PCB 板上装配穿孔元件是一项常见却又充满挑战的机器人任务。电子元件的引脚极易弯曲,而孔位与引脚之间的公差非常小,要求机器人在装配时既要精准又要轻柔。通过仅仅 21 分钟的自主学习,SERL 使机器人达到了 100% 的任务完成率。即便面临如电路板位置移动或视线部分被遮挡等未知的干扰,机器人也能稳定完成装配工作。

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

                           图 3、4、5:在执行电路板元件安装任务时,机器人能够应对在训练阶段未曾遇到的各种干扰,顺利完成任务。

2、电缆布线:

在许多机械和电子设备的组装过程中,我们需要将电缆沿着特定的路径精确地安装到位,这一任务对精度和适应性提出了很高的要求。由于柔性电缆在布线过程中容易产生形变,而且布线过程可能会受到各种干扰,比如电缆被意外移动或者夹持器位置的变化,这导致使用传统的非学习型方法难以应对。SERL 能够在短短 30 分钟内实现 100% 的成功率。即便是在夹持器位置与训练期间不同时,机器人也能够泛化其学习到的技能,适应新的布线挑战,确保布线工作的正确执行。

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

                            图 6、7、8:机器人无需更多的专项训练也能直接把线缆穿过与训练时位置不一样的夹子里。

3、物体抓取摆放操作:

在仓库管理或零售业中,机器人经常需要将物品从一个地方移动到另一个地方,这要求机器人能够识别并搬运特定的物品。强化学习的训练过程中,很难对欠驱动的物体进行自动的归位重置。利用 SERL 的无重置强化学习功能,机器人在 1 小时 45 分钟内同时学习两个 100/100 成功率的策略。用前向策略把物体从 A 箱放到 B 箱,再用后向策略把物体从 B 箱归为回 A 箱。

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类

图 9、10、11:SERL 训练了两套策略,一个把物体从右边搬运到左边,一个从左边放回右边。机器人不仅在训练物体上达到 100% 成功率,就连没见过的物体也能智能搬运。

主要作者
1. Jianlan Luo

Jianlan Luo 目前是加州大学伯克利分校电子与计算机科学系的一名博士后学者,他在伯克利人工智能中心 (BAIR) 与 Sergey Levine 教授合作。他的主要研究兴趣在于机器学习,机器人学,以及最优控制。在回到学术界前,他是 Google X 的一名全职研究员,与 Stefan Schaal 教授合作。在此之前,他在加州大学伯克利分校取得计算机科学硕士学位,机械工程博士学位;此间他与 Alice Agogino 教授,Pieter Abbeel 教授一起工作。他也曾在 Deepmind 伦敦总部担任访问研究学者。  

2. Zheyuan Hu

他本科毕业于加州大学伯克利的计算机科学和应用数学专业。目前,他在由 Sergey Levine 教授领导的 RAIL 实验室进行研究。他对机器人学习领域有浓厚的兴趣,专注于开发能够使机器人在真实世界中迅速且广泛地掌握灵巧操作技能的方法。

3. Charles Xu

他是加州大学伯克利分校的一名电气工程与计算机科学专业的四年级本科生。目前,他在由 Sergey Levine 教授领导的 RAIL 实验室进行研究。他的研究兴趣位于机器人技术与机器学习的交汇处,旨在构建高鲁棒性且具有泛化能力的自主操控系统。

4. You Liang Tan

他是伯克利 RAIL 实验室的研究员工程师,由 Sergey Levine 教授指导。他先前在新加坡南洋理工大学获得了学士学位和美国佐治亚理工学院完成了硕士学位。在此之前,他曾是开源机器人基金会(Open Robotics)的一员。他的工作专注于机器学习和机器人软件技术在真实世界应用。

5. Stefan Schaal

他于 1991 年在德国慕尼黑的慕尼黑技术大学获得机械工程和人工智能方面的博士学位。他是麻省理工学院大脑与认知科学部及人工智能实验室的博士后研究员,日本 ATR 人类信息处理研究实验室的特邀研究员,以及美国佐治亚理工学院和宾夕法尼亚州立大学运动学系的兼职助理教授。在日本 ERATO 项目期间,他还担任计算学习小组组长,该项目为川人动态大脑项目(ERATO/JST)。1997 年,他成为南加州大学计算机科学、神经科学和生物医学工程教授,并晋升为终身教授。他的研究兴趣包括统计与机器学习、神经网络与人工智能、计算神经科学、功能性脑成像、非线性动力学、非线性控制理论、机器人学及仿生机器人等主题。

他是德国马克斯・普朗克智能系统研究所的创始董事之一,在那里他多年领导了自主运动部门。他目前是 Alphabet [Google] 的新机器人子公司 Intrinsic 的首席科学家。Stefan Schaal 是 IEEE Fellow。

6. Chelsea Finn

她是斯坦福大学计算机科学与电气工程的助理教授。她的实验室 IRIS 研究通过大规模机器人互动来探索智能,该实验室隶属于 SAIL 和 ML Group。她也是 Google Brain 团队的一员。她对机器人和其他智能体通过学习和互动发展出广泛智能行为的能力感兴趣。此前,她在加州大学伯克利分校完成了计算机科学博士学位,以及在麻省理工学院获得了电气工程与计算机科学学士学位。

7. Abhishek Gupta

他是华盛顿大学保罗・G・艾伦计算机科学与工程学院的助理教授,领导 WEIRD 实验室。此前,他在麻省理工学院作为博士后学者,与 Russ Tedrake 和 Pulkit Agarwal 合作。他在加州大学伯克利分校的 BAIR 完成了关于机器学习与机器人学的博士学位,期间受到 Sergey Levine 教授和 Pieter Abbeel 教授的指导。在此之前,他也在加州大学伯克利分校完成了他的学士学位。他的主要研究目标是开发算法,使机器人系统能够学会在各种非结构化环境中执行复杂任务,如办公室和家庭。

8. Sergey Levine

他是加州大学伯克利分校电气工程与计算机科学系的副教授。他的研究专注于能够使自主智能体通过学习获得复杂行为的算法,特别是那些能够使任何自主系统学会解决任何任务的通用方法。这些方法的应用包括机器人技术,以及需要自主决策的其他一系列领域。

以上是20分钟学会装配电路板!开源SERL框架精密操控成功率100%,速度三倍于人类的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前 By 尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

DeepMind机器人打乒乓球,正手、反手溜到飞起,全胜人类初学者 DeepMind机器人打乒乓球,正手、反手溜到飞起,全胜人类初学者 Aug 09, 2024 pm 04:01 PM

但可能打不过公园里的老大爷?巴黎奥运会正在如火如荼地进行中,乒乓球项目备受关注。与此同时,机器人打乒乓球也取得了新突破。刚刚,DeepMind提出了第一个在竞技乒乓球比赛中达到人类业余选手水平的学习型机器人智能体。论文地址:https://arxiv.org/pdf/2408.03906DeepMind这个机器人打乒乓球什么水平呢?大概和人类业余选手不相上下:正手反手都会:对手采用多种打法,该机器人也能招架得住:接不同旋转的发球:不过,比赛激烈程度似乎不如公园老大爷对战。对机器人来说,乒乓球运动

Claude也变懒了!网友:学会给自己放假了 Claude也变懒了!网友:学会给自己放假了 Sep 02, 2024 pm 01:56 PM

开学将至,该收心的不止有即将开启新学期的同学,可能还有AI大模型。前段时间,Reddit上挤满了吐槽Claude越来越懒的网友。「它的水平下降了很多,经常停顿,甚至输出也变得很短。在发布的第一周,它可以一次性翻译整整4页文稿,现在连半页都输出不了了!」https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/在一个名为「对Claude彻底失望了的帖子里」,满满地

首配机械爪!元萝卜亮相2024世界机器人大会,发布首个走进家庭的国际象棋机器人 首配机械爪!元萝卜亮相2024世界机器人大会,发布首个走进家庭的国际象棋机器人 Aug 21, 2024 pm 07:33 PM

8月21日,2024世界机器人大会在北京隆重召开。商汤科技旗下家用机器人品牌“元萝卜SenseRobot”家族全系产品集体亮相,并最新发布元萝卜AI下棋机器人——国际象棋专业版(以下简称“元萝卜国象机器人”),成为全球首个走进家庭的国际象棋机器人。作为元萝卜的第三款下棋机器人产品,全新的国象机器人在AI和工程机械方面进行了大量专项技术升级和创新,首次在家用机器人上实现了通过机械爪拾取立体棋子,并进行人机对弈、人人对弈、记谱复盘等功能,

世界机器人大会上,这家承载「未来养老希望」的国产机器人被包围了 世界机器人大会上,这家承载「未来养老希望」的国产机器人被包围了 Aug 22, 2024 pm 10:35 PM

正在北京举行的世界机器人大会上,人形机器人的展示成为了现场绝对的焦点,在星尘智能的展台上,由于AI机器人助理S1在一个展区上演扬琴、武术、书法三台大戏,能文能武,吸引了大量专业观众和媒体的驻足。在带弹性的琴弦上的优雅演奏,让S1展现出速度、力度、精度兼具的精细操作和绝对掌控。央视新闻对「书法」背后的模仿学习和智能控制进行了专题报道,公司创始人来杰解释到,丝滑动作的背后,是硬件侧追求最好力控和最仿人身体指标(速度、负载等),而是在AI侧则采集人的真实动作数据,让机器人遇强则强,快速学习进化。而敏捷

李飞飞团队提出ReKep,让机器人具备空间智能,还能整合GPT-4o 李飞飞团队提出ReKep,让机器人具备空间智能,还能整合GPT-4o Sep 03, 2024 pm 05:18 PM

视觉与机器人学习的深度融合。当两只机器手丝滑地互相合作叠衣服、倒茶、将鞋子打包时,加上最近老上头条的1X人形机器人NEO,你可能会产生一种感觉:我们似乎开始进入机器人时代了。事实上,这些丝滑动作正是先进机器人技术+精妙框架设计+多模态大模型的产物。我们知道,有用的机器人往往需要与环境进行复杂精妙的交互,而环境则可被表示成空间域和时间域上的约束。举个例子,如果要让机器人倒茶,那么机器人首先需要抓住茶壶手柄并使之保持直立,不泼洒出茶水,然后平稳移动,一直到让壶口与杯口对齐,之后以一定角度倾斜茶壶。这

ACL 2024奖项公布:华科大破译甲骨文最佳论文之一、GloVe时间检验奖 ACL 2024奖项公布:华科大破译甲骨文最佳论文之一、GloVe时间检验奖 Aug 15, 2024 pm 04:37 PM

本届ACL大会,投稿者「收获满满」。为期六天的ACL2024正在泰国曼谷举办。ACL是计算语言学和自然语言处理领域的顶级国际会议,由国际计算语言学协会组织,每年举办一次。一直以来,ACL在NLP领域的学术影响力都位列第一,它也是CCF-A类推荐会议。今年的ACL大会已是第62届,接收了400余篇NLP领域的前沿工作。昨天下午,大会公布了最佳论文等奖项。此次,最佳论文奖7篇(两篇未公开)、最佳主题论文奖1篇、杰出论文奖35篇。大会还评出了资源论文奖(ResourceAward)3篇、社会影响力奖(

鸿蒙智行享界S9及全场景新品发布会,多款重磅新品齐发 鸿蒙智行享界S9及全场景新品发布会,多款重磅新品齐发 Aug 08, 2024 am 07:02 AM

今天下午,鸿蒙智行正式迎来了新品牌与新车。 8月6日,华为举行鸿蒙智行享界S9及华为全场景新品发布会,带来了全景智慧旗舰轿车享界S9、问界新M7Pro和华为novaFlip、MatePadPro12.2英寸、全新MatePadAir、华为毕升激光打印机X1系列、FreeBuds6i、WATCHFIT3和智慧屏S5Pro等多款全场景智慧新品,从智慧出行、智慧办公到智能穿戴,华为全场景智慧生态持续构建,为消费者带来万物互联的智慧体验。鸿蒙智行:深度赋能,推动智能汽车产业升级华为联合中国汽车产业伙伴,为

国内首个UI大模型出炉!Motiff妙多大模型打造设计师最佳助手、优化UI设计工作流 国内首个UI大模型出炉!Motiff妙多大模型打造设计师最佳助手、优化UI设计工作流 Aug 19, 2024 pm 04:48 PM

人工智能的发展速度可能超乎你的想象。自GPT-4将多模态技术引入公众视野以来,多模态大模型进入快速发展阶段,逐渐从单纯的模型研发转向垂直领域的探索和应用,与各行各业深度融合。在界面交互领域,谷歌、苹果等国际科技巨头纷纷投入UI多模态大模型研发,这被视为手机AI革命的必经之路。在此背景下,国内首个UI大模型横空出世。8月17日,在IXDC2024国际体验设计大会上,AI时代设计工具Motiff妙多推出了其自主研发的UI多模态大模型——Motiff妙多大模型。这是全球首个由UI设计工具

See all articles