首頁 科技週邊 人工智慧 20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

Feb 21, 2024 pm 03:31 PM
機器人 強化學習 產業 機器人技術 serl

现在,机器人学会工厂精密操控任务了。
20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類近年来,机器人强化学习技术领域取得显著的进展,例如四足行走,抓取,灵巧操控等,但大多数局限于实验室展示阶段。将机器人强化学习技术广泛应用到实际生产环境仍面临众多挑战,这在一定程度上限制了其在真实场景的应用范围。强化学习技术在实际应用的过程中,任需克服包括奖励机制设定、环境重置、样本效率提升及动作安全性保障等多重复杂的问题。业内专家强调,解决强化学习技术实际落地的诸多难题,与算法本身的持续创新同等重要。

面对这一挑战,来自加州大学伯克利、斯坦福大学、华盛顿大学以及谷歌的学者们共同开发了名为高效机器人强化学习套件(SERL)的开源软件框架,致力于推动强化学习技术在实际机器人应用中的广泛使用。

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

  • 專案首頁:https://serl-robot.github.io/
  • 開源程式碼:https://github.com/rail-berkeley /serl
  • 論文主題:SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

SERL 架構主要包含以下幾個元件:

1、高效能強化學習

##在強化學習領域,智能體(如機器人)透過與環境的互動來掌握執行任務的方法。它透過嘗試各種行為並根據行為結果獲得獎勵訊號,從而學習出一套旨在最大化累積獎勵的策略。 SERL 採用 RLPD 演算法,賦能機器人同時從即時互動和先前收集的離線資料中學習,大幅縮短機器人掌握新技能所需的訓練時間。

2、多樣的獎勵規定方法

#SERL 提供了多種獎勵規定方法,允許開發人員根據特定任務的需求客製化獎勵結構。例如,固定位置的安裝任務可以按照機械手的位置制定獎勵,更複雜的任務可以使用分類器或 VICE 學習一個準確的獎勵機制。這種靈活性有助於精確地指導機器人學習特定任務的最有效策略。

3、無重製功能

#傳統的機器人學習演算法都需要定期重置環境,進行下一輪互動學習。在很多任務中這無法自動實現。 SERL 提供的無重製強化學習功能同時訓練前向 - 後向兩個策略,為彼此提供環境重置。

4、機器人控制介面

#SERL 提供了一系列Franka 機械手任務的Gym 環境介面作為標準範例,方便使用者可以輕鬆地將SERL 拓展到不同的機械手臂上。

5、阻抗控制器

為了確保機器人可以在複雜的物理環境中安全精確地探索與操作,SERL 為Franka 機械手臂提供了特殊的阻抗控制器,在確保準確性的同時確保與外界物體接觸後不會產生過大的力矩。

透過這些技術和方法的結合,SERL 大大縮短了訓練時間,同時保持了高成功率和穩健性,使機器人能夠在短時間內學習完成複雜任務,並在現實世界中有效應用。

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類圖 1、2: SERL 和行為複製方法在各項任務中成功率和節拍數對比。在相似資料量的情況下,SERL 的成功率比克隆的高出數倍 (最高 10 倍),節拍數也要快上至少兩倍。

應用程式案例

#1、PCB 元件組裝:

#在PCB 板上組裝穿孔元件是一項常見卻又充滿挑戰的機器人任務。電子元件的接腳極易彎曲,而孔位與接腳之間的公差非常小,要求機器人在組裝時既要精準又要輕柔。透過短短 21 分鐘的自主學習,SERL 讓機器人達到了 100% 的任務完成率。即便麵臨如電路板位置移動或視線部分被遮擋等未知的干擾,機器人也能穩定完成組裝工作。

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

                           圖 3、4、5:電路中電路元件安裝任務時,機器人能因應在訓練階段未遇到的各種幹擾,順利完成任務。

2、電纜佈線:

在許多機械和電子設備的組裝過程中,我們需要將電纜沿著特定的路徑精確地安裝到位,這項任務對精度和適應性提出了很高的要求。由於柔性電纜在佈線過程中容易產生形變,而且佈線過程可能會受到各種幹擾,例如電纜被意外移動或夾持器位置的變化,這導致使用傳統的非學習型方法難以應對。 SERL 能夠在短短 30 分鐘內實現 100% 的成功率。即使在夾持器位置與訓練期間不同時,機器人也能夠泛化其學習到的技能,並適應新的佈線挑戰,確保佈線工作的正確執行。

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

                           6、7、8:不需更多的專項訓練也能直接把線穿過與訓練時位置不一樣的夾子。

3、物件抓取擺放作業:

在倉庫管理或零售在業中,機器人經常需要將物品從一個地方移動到另一個地方,這要求機器人能夠識別並搬運特定的物品。在強化學習的訓練過程中,很難對欠驅動的物體進行自動的歸位重置。利用 SERL 的無重置強化學習功能,機器人在 1 小時 45 分鐘內同時學習兩個 100/100 成功率的策略。用前向策略把物體從 A 箱放到 B 箱,再用後向策略把物體從 B 箱歸回 A 箱。

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類

圖 9、10、11:SERL 訓練了兩套策略,一個把物體從右邊搬運到左邊,一個從左邊放回右邊。機器人不僅在訓練物體上達到 100% 成功率,就連沒見過的物體也能智慧搬運。

#主要作者
#1. Jianlan Luo

Jianlan Luo 目前是加州大學柏克萊分校電子與電腦科學系的博士後學者,他在柏克萊人工智慧中心(BAIR) 與Sergey Levine 教授合作。他主要的研究興趣在於機器學習,機器人學,以及最適控制。在回到學術界之前,他是 Google X 的全職研究員,與 Stefan Schaal 教授合作。在此之前,他在加州大學柏克萊分校取得電腦科學碩士學位,機械工程博士學位;此間他與 Alice Agogino 教授,Pieter Abbeel 教授一起工作。他也曾在 Deepmind 倫敦總部擔任訪問研究學者。

2. Zheyuan Hu

#他大學畢業於加州大學柏克萊的電腦科學和應用數學專業。目前,他在由 Sergey Levine 教授領導的 RAIL 實驗室進行研究。他對機器人學習領域有濃厚的興趣,專注於開發能夠使機器人在真實世界中迅速且廣泛地掌握靈巧操作技能的方法。

3. Charles Xu

#他是加州大學柏克萊分校的電氣工程與電腦科學專業的四年級本科生。目前,他在由 Sergey Levine 教授領導的 RAIL 實驗室進行研究。他的研究興趣位於機器人技術與機器學習的交匯處,旨在建構高穩健性且具有泛化能力的自主操控系統。

4. You Liang Tan

他是柏克萊RAIL 實驗室的研究員工程師,由Sergey Levine 教授指導。他先前在新加坡南洋理工大學獲得了學士學位和美國喬治亞理工學院完成了碩士學位。在此之前,他曾是開源機器人基金會(Open Robotics)的成員。他的工作專注於機器學習和機器人軟體技術在真實世界應用。

5. Stefan Schaal

#他於1991 年在德國慕尼黑的慕尼黑技術大學獲得機械工程和人工智慧的博士學位。他是麻省理工學院大腦與認知科學部及人工智慧實驗室的博士後研究員,也是日本ATR 人類資訊處理研究實驗室的特邀研究員,以及美國喬治亞理工學院和賓州州立大學運動學系的兼任助理教授。在日本 ERATO 計畫期間,他還擔任計算學習小組組長,該計畫為川人動態大腦計畫(ERATO/JST)。 1997 年,他成為南加州大學電腦科學、神經科學和生物醫學工程教授,並晉升為終身教授。他的研究興趣包括統計與機器學習、神經網路與人工智慧、計算神經科學、功能性腦部造影、非線性動力學、非線性控制理論、機器人學及仿生機器人等主題。

他是德國馬克斯・普朗克智慧系統研究所的創始董事之一,在那裡他領導了自主運動部門多年。他目前是 Alphabet [Google] 的新機器人子公司 Intrinsic 的首席科學家。 Stefan Schaal 是 IEEE Fellow。

6. Chelsea Finn

#她是史丹佛大學電腦科學與電機工程的助理教授。她的實驗室 IRIS 研究透過大規模機器人互動來探索智能,該實驗室隸屬於 SAIL 和 ML Group。她也是 Google Brain 團隊的一員。她對機器人和其他智能體透過學習和互動發展出廣泛智慧行為的能力感興趣。此前,她在加州大學柏克萊分校完成了電腦科學博士學位,並在麻省理工學院獲得了電機工程與電腦科學學士學位。

7. Abhishek Gupta

#他是華盛頓大學保羅・G・艾倫電腦科學與工程學院的助理教授,領導WEIRD 實驗室。在此之前,他在麻省理工學院擔任博士後學者,與 Russ Tedrake 和 Pulkit Agarwal 合作。他在加州大學柏克萊分校的 BAIR 完成了關於機器學習與機器人學的博士學位,期間受到 Sergey Levine 教授和 Pieter Abbeel 教授的指導。在此之前,他也在加州大學柏克萊分校完成了他的學士學位。他的主要研究目標是開發演算法,使機器人系統能夠學會在各種非結構化環境中執行複雜任務,如辦公室和家庭。

8. Sergey Levine

他是加州大學柏克萊分校電機工程與計算機科學系的副教授。他的研究專注於能夠使自主智能體透過學習獲得複雜行為的演算法,特別是那些能夠使任何自主系統學會解決任何任務的通用方法。這些方法的應用包括機器人技術,以及需要自主決策的其他一系列領域。

以上是20分鐘學會組裝電路板!開源SERL框架精密操控成功率100%,速度三倍於人類的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1318
25
PHP教程
1269
29
C# 教程
1248
24
DeepMind機器人打乒乓球,正手、反手溜到飛起,全勝人類初學者 DeepMind機器人打乒乓球,正手、反手溜到飛起,全勝人類初學者 Aug 09, 2024 pm 04:01 PM

但可能打不過公園裡的老大爺?巴黎奧運正在如火如荼地進行中,乒乓球項目備受關注。同時,機器人打乒乓球也取得了新突破。剛剛,DeepMind提出了第一個在競技乒乓球比賽中達到人類業餘選手等級的學習型機器人智能體。論文地址:https://arxiv.org/pdf/2408.03906DeepMind這個機器人打乒乓球什麼程度呢?大概和人類業餘選手不相上下:正手反手都會:對手採用多種打法,機器人也能招架得住:接不同旋轉的發球:不過,比賽激烈程度似乎不如公園老大爺對戰。對機器人來說,乒乓球運動

首配機械爪!元蘿蔔亮相2024世界機器人大會,發布首個走進家庭的西洋棋機器人 首配機械爪!元蘿蔔亮相2024世界機器人大會,發布首個走進家庭的西洋棋機器人 Aug 21, 2024 pm 07:33 PM

8月21日,2024世界機器人大會在北京隆重召開。商湯科技旗下家用機器人品牌「元蘿蔔SenseRobot」家族全系產品集體亮相,並最新發布元蘿蔔AI下棋機器人-國際象棋專業版(以下簡稱「元蘿蔔國象機器人」),成為全球首個走進家庭的西洋棋機器人。作為元蘿蔔的第三款下棋機器人產品,全新的國象機器人在AI和工程機械方面進行了大量專項技術升級和創新,首次在家用機器人上實現了透過機械爪拾取立體棋子,並進行人機對弈、人人對弈、記譜複盤等功能,

Claude也變懶了!網友:學會給自己放假了 Claude也變懶了!網友:學會給自己放假了 Sep 02, 2024 pm 01:56 PM

開學將至,該收心的不只即將開啟新學期的同學,可能還有AI大模型。前段時間,Reddit擠滿了吐槽Claude越來越懶的網友。 「它的水平下降了很多,經常停頓,甚至輸出也變得很短。在發布的第一周,它可以一次性翻譯整整4頁文稿,現在連半頁都輸出不了!」https:// www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/在一個名為“對Claude徹底失望了的帖子裡”,滿滿地

世界機器人大會上,這家承載「未來養老希望」的國產機器人被包圍了 世界機器人大會上,這家承載「未來養老希望」的國產機器人被包圍了 Aug 22, 2024 pm 10:35 PM

在北京舉行的世界機器人大會上,人形機器人的展示成為了現場絕對的焦點,在星塵智能的展台上,由於AI機器人助理S1在一個展區上演揚琴、武術、書法三台大戲,能文能武,吸引了大量專業觀眾和媒體的駐足。在有彈性的琴弦上優雅的演奏,讓S1展現出速度、力度、精準度兼具的精細操作與絕對掌控。央視新聞對「書法」背後的模仿學習和智慧控制進行了專題報道,公司創始人來傑解釋到,絲滑動作的背後,是硬體側追求最好力控和最仿人身體指標(速度、負載等),而是在AI側則採集人的真實動作數據,讓機器人遇強則強,快速學習進化。而敏捷

ACL 2024獎項發表:華科大破解甲骨文最佳論文之一、GloVe時間檢驗獎 ACL 2024獎項發表:華科大破解甲骨文最佳論文之一、GloVe時間檢驗獎 Aug 15, 2024 pm 04:37 PM

本屆ACL大會,投稿者「收穫滿滿」。為期六天的ACL2024正在泰國曼谷舉辦。 ACL是計算語言學和自然語言處理領域的頂級國際會議,由國際計算語言學協會組織,每年舉辦一次。一直以來,ACL在NLP領域的學術影響力都名列第一,它也是CCF-A類推薦會議。今年的ACL大會已是第62屆,接收了400餘篇NLP領域的前沿工作。昨天下午,大會公佈了最佳論文等獎項。此次,最佳論文獎7篇(兩篇未公開)、最佳主題論文獎1篇、傑出論文獎35篇。大會也評出了資源論文獎(ResourceAward)3篇、社會影響力獎(

李飛飛團隊提出ReKep,讓機器人具備空間智能,還能整合GPT-4o 李飛飛團隊提出ReKep,讓機器人具備空間智能,還能整合GPT-4o Sep 03, 2024 pm 05:18 PM

視覺與機器人學習的深度融合。當兩隻機器手絲滑地互相合作疊衣服、倒茶、將鞋子打包時,加上最近老上頭條的1X人形機器人NEO,你可能會產生一種感覺:我們似乎開始進入機器人時代了。事實上,這些絲滑動作正是先進機器人技術+精妙框架設計+多模態大模型的產物。我們知道,有用的機器人往往需要與環境進行複雜精妙的交互,而環境則可被表示成空間域和時間域上的限制。舉個例子,如果要讓機器人倒茶,那麼機器人首先需要抓住茶壺手柄並使之保持直立,不潑灑出茶水,然後平穩移動,一直到讓壺口與杯口對齊,之後以一定角度傾斜茶壺。這

分散式人工智慧盛會DAI 2024徵稿:Agent Day,強化學習之父Richard Sutton將出席!顏水成、Sergey Levine以及DeepMind科學家將做主旨報告 分散式人工智慧盛會DAI 2024徵稿:Agent Day,強化學習之父Richard Sutton將出席!顏水成、Sergey Levine以及DeepMind科學家將做主旨報告 Aug 22, 2024 pm 08:02 PM

會議簡介隨著科技的快速發展,人工智慧成為了推動社會進步的重要力量。在這個時代,我們有幸見證並參與分散式人工智慧(DistributedArtificialIntelligence,DAI)的創新與應用。分散式人工智慧是人工智慧領域的重要分支,這幾年引起了越來越多的關注。基於大型語言模型(LLM)的智能體(Agent)異軍突起,透過結合大模型的強大語言理解和生成能力,展現了在自然語言互動、知識推理、任務規劃等方面的巨大潛力。 AIAgent正在接棒大語言模型,成為目前AI圈的熱門話題。 Au

鴻蒙智行享界S9全場景新品發表會,多款重磅新品齊發 鴻蒙智行享界S9全場景新品發表會,多款重磅新品齊發 Aug 08, 2024 am 07:02 AM

今天下午,鸿蒙智行正式迎来了新品牌与新车。8月6日,华为举行鸿蒙智行享界S9及华为全场景新品发布会,带来了全景智慧旗舰轿车享界S9、问界新M7Pro和华为novaFlip、MatePadPro12.2英寸、全新MatePadAir、华为毕昇激光打印机X1系列、FreeBuds6i、WATCHFIT3和智慧屏S5Pro等多款全场景智慧新品,从智慧出行、智慧办公到智能穿戴,华为全场景智慧生态持续构建,为消费者带来万物互联的智慧体验。鸿蒙智行:深度赋能,推动智能汽车产业升级华为联合中国汽车产业伙伴,为

See all articles