目錄
人型雙臂系統通用性實現
靈巧可達感知子框架
多功能協同操作控制子框架
△ 工作空間高度交疊的人形雙臂機器人
△基於主動學習的取樣演算法示意
協同抓取、避自碰樣樣出色
△平滑性对比分析
總結:
首頁 科技週邊 人工智慧 騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

Mar 26, 2024 pm 05:41 PM
數據 模型

國產機器人新突破:

兩個各自獨立的機械手臂,已經可以絲滑地打配合了!

不信你看這雙手擰瓶蓋

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

#擰完再端起杯子倒水

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

活靈活現,如真人。

吶,還能搭把手幫程式設計師安裝好顯示器

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

甚至接過「同事」手上的大箱子


#可以說是各種幾何和物理特性的物體都能穩穩hold住。

(下一步還能幹啥,不敢想)

這就是騰訊Robotics X實驗室的最新成果:通用雙臂協同靈巧操作框架。目前已登上機器人領域頂刊《IEEE Transactions on Robotics》。

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

既然是乾活,抗干擾能力得有:

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

既然是雙手幹活,兩手臂就不能“攪”一起:

下面這個不明覺厲的“椅子360°翻轉操作”,就展現的是它全自主的“雙臂避自碰」能力

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

最後,偶爾遇到人類調皮,它也可以輕鬆get,完成意圖辨識、進行動態互動

(給我給我啊餵,算了我收手)

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

具體技術細節,這就揭秘~

人型雙臂系統通用性實現

通用人形機器人無疑是近年來機器人與AI交叉領域的研究熱點。

其中的人形雙臂系統直接承載著這類機器人操作任務的執行能力。

任意抓取和操作具有各種幾何和物理特性的任意物體則是這類系統通用化的技術體現。

而現有研究工作大多專注於解決某一特定層級的問題,例如環境-物件的知覺、推理與策略產生、機器人系統的規劃或操作控制。

且方案通常與特定的被操作物體或任務強相關,難以遷移和泛化。

騰訊Robotics X實驗室指出,要實現這樣的通用化雙臂系統,需要解決現有研究工作中三個關鍵的共通性問題

首先,如何基於視覺感知實現未知物體的雙臂協同最佳抓取。

其次,如何確保工作空間高度重疊的雙臂機器人在動態協同過程中的系統安全性。

最後,如何將豐富的人類技能轉移到僅擁有有限追蹤介面類型的機器人系統中。

在此,騰訊Robotics X實驗室提出的包含兩個相互耦合關聯的子框架

1、基於學習的靈巧可達感知子框架採用端對端評估網路和機器人可達性機率化建模,實現對未建模物體的最優協同抓取。

2、基於最佳化的多功能控制子框架則採用層級化的多優先級最佳化框架,並透過嵌入基於學習產生的輕量級距離代理函數和黎曼流形上的速度級追蹤控制技術。

同時實現了高精度雙臂避自碰和高擬真雙臂操作度橢球跟踪,保證了雙臂系統的本質安全並開放了操作度橢球跟踪接口。

此外,研究也首次系統性地解決了基於視覺感知的未知物體雙臂協同最優抓取,實現了工作空間高度重疊的雙臂機器人本質安全並開放了可用於人機技能遷移學習的雙臂協同操作度橢球追蹤介面。

最終,該系統在感知層、雙手抓取、協同操作規劃和底層控制等方面提供了豐富的接口,具有很高的通用性、可擴展性和兼容性。

技術細節如下:

靈巧可達感知子框架

圍繞靈巧可達感知子框架,為實現對未知物體的雙臂協同抓取,需要為雙臂系統自主產生可執行的靈巧最優抓取對。

研究人員從資料集生成,抓取品質評估網路和雙臂機器人可達性機率化建模三個層面著手,系統性設計了靈巧-可達感知雙臂抓取子框架,實現視覺系統感知到的物體3D點雲到靈巧-可達最優的雙臂6D抓取位姿對之間的端對端映射。

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

1、雙臂靈巧感知抓取資料集

為建立精確的輸入點雲與輸出雙臂抓取品質之間的映射關係並有效訓練抓取評估網絡,研究人員提出了業界首個大規模靈巧性感知的雙臂抓取合成資料集(DA2 Dataset)。

此資料集包含6327個物體的Mesh和超過900萬組抓取對,每一組抓取都採用抓取奇異性-抓取穩定性-抓取力兼容性三個指標做了標註。

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

2、雙臂協同抓取品質評估網路

實際場景中一般可採用例如啟發式取樣等技術在感知到的物體3D點雲上產生候選抓取對,為即時線上評估這些候選抓取對的品質並輸出最佳解。

研究人員設計了面向雙臂協同抓取的品質評估網路Dual-PointNetGPD,並利用DA2資料集進行訓練。

相較於基於簡化接觸力模型和依賴精確物體幾何特徵的傳統分析方法而言,基於學習的Dual-PointNetGPD可以直接處理有噪音的3D點雲並對候選雙臂抓取構型的靈巧性和可靠性進行評估。

因而對廣泛存在的視覺感知噪音具有更高的穩健性。

3、雙臂可達性建模與最優抓取分配

Dual-PointNetGPD從視覺感知的角度輸出抓取對品質評估結構,針對特定的雙臂機器人系統,還需要從機器人本體角度考慮候選抓取對在機器人操作空間中的可及性問題和抓取對在雙臂之間的分配問題。

研究人員採用單位四元數高斯混合模型建模技術對雙臂6自由度工作空間進行建模並設計了機率最大化分配策略,實現了雙臂抓取可達性與抓取靈巧性評估的融合統一。

多功能協同操作控制子框架

針對多功能協同操作控制子框架,具備協同抓取未知物體的能力是實現雙臂通用化的第一步,而具備本體安全感知的協同操作運動規劃是銜接通用抓取並實現通用操作的第二步。

由於人形雙臂機器人系統的兩條機械手臂的工作空間往往高度重疊,對於執行雙臂動態任務的機器人本體而言,避自碰撞需要放在運動規劃中的最高優先級,在提升避碰精度的同時還需要減少線上運算代價以確保避碰即時性。

此外,作為重要的操作性能指標和機器人技能表徵之一,雙臂協同操作度橢球需要被連續控制以實現對機械臂構型的即時優化,從而提高雙臂系統的操作靈巧度,避免因操作奇異性而導致的任務失敗。

研究人員為此設計了一個新型的多功能協同操作控制子框架。

該框架基於層級化的多目標多優先級最佳化框架,將學習得到的輕量級雙臂最小距離代理函數和黎曼流形速度追蹤任務以不等式約束的形式嵌入到不同的優先級中。

從而實現了雙臂操作運動規劃的本質安全性與人機技能遷移學習中雙臂構型優化的高擬真性。

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

1、雙臂高精準度避自碰

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作
△ 工作空間高度交疊的人形雙臂機器人

取得精確可靠的描述雙臂碰撞邊界的最小距離函數是將避碰約束嵌入到多優先權最佳化框架中並實現雙臂避自碰的關鍵一步。

由於雙臂構型空間維度高且工作空間相互交疊,使得其中的安全子空間與碰撞子空間分佈嚴重失衡而難以分割開。

研究人員提出了一種新穎的基於主動學習的採樣方法,用於產生大規模的、平衡的、資訊豐富的雙臂碰撞資料集。

然後透過機器學習的方式對雙臂最小距離關於雙臂構型的映射關係予以擬合,從而高效獲取高精度的最小距離代理函數。

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作
△基於主動學習的取樣演算法示意

2、基於黎曼幾何的雙臂協同操作度橢球追蹤

除避自碰以外,操作度橢球追蹤因其與操作技能和操作構型強相關,也是雙臂系統控制中需要重點處理的問題。

雙臂操作度橢球由對稱正定矩陣(SPD)來描述,研究人員透過設計流形空間中的速度前饋項並結合誤差控制原理,實現了雙臂操作度橢球的即時追蹤以及追蹤誤差的全域指數收斂,並給出了完整的理論分析與證明。

雙臂操作度橢球追蹤任務以等式約束的形式嵌入到了多優先權最佳化框架中並以雙臂操作度橢球追蹤介面的形式呈現。

3、多優先級最佳化與控制器設計

研究人員採用協同任務空間變數(雙臂絕對運動與雙臂相對運動)來描述所有的雙臂協同-非協同/同步-非同步任務,並基於多目標多優先框架設計了雙臂通用協同操作控制的系統框架。

該框架將上述雙臂避自碰,雙臂操作度橢球追蹤等多任務進行有機融合在一起,從而在運動規劃與控制層面為雙臂通用化掃清了障礙。

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

協同抓取、避自碰樣樣出色

為驗證雙臂最優協同抓取,雙臂避自碰以及雙臂協同操作度橢球追蹤方面的有效性,研究人員就所設計的Dual-PointNetGPD網路、學習產生的雙臂最小距離代理函數以及SPD流形追蹤誤差進行了定量分析。

1、雙臂最優協同抓取 研究人員在實體模擬引擎中進行了大規模消融實驗,結果顯示所設計和訓練的Dual-PointNetGPD網路有效提升了大尺寸未建模物體抓取任務中的雙臂協同抓取成功率

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

2、雙臂避自碰
主要從雙臂碰撞資料集產生與雙臂最小距離代理函數兩個維度做分析,考慮到雙臂構型空間是14維,以20-30°為採樣步長進行低精度採樣,每一維分成10等分,所需的資料集規模也達到了1014。

研究人員使用基於主動學習的採樣技術產生雙臂碰撞資料集,200萬資料規模的前提下即可實現95%以上的高預測精度,相較於目前在非平衡資料集學習中廣泛使用的b-SMOTE等技術而言具有更高的資料效率和預測精度。

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

△平均预测误差与预测准确性分析

此外,基于学习训练生成的双臂最小距离代理函数计算一次双臂最小距离的时间约为0.072ms,显著低于被广泛使用的FCL算法库所需的5.36ms,且方差更小。

这极大地提升了该方法在实际部署时的实时性并保证了整个双臂协同运动规划的稳定可预测。

此外,代理函数展现了优异的连续性和可微性,这对于将避自碰以不等式约束的形式嵌入到平滑多目标优化框架中非常重要。

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

△表计算时间对比分析

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作
△平滑性对比分析

3、双臂协同操作度椭球跟踪

通过消融实验验证了所设计并嵌入到多目标优化框架中的操作都椭球跟踪约束有效地降低了双臂实际构型与期望构型之间的差异,验证了SPD流形跟踪接口的有效性。

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

4、双臂协同翻转实验:

为验证自主避自碰能力,研究人员设计了需要极限扭转的协同翻转实验中。

在该实验中,双臂系统自主完成了互缠绕无碰轨迹运动规划,在不改变抓握构型的前提下实现了对椅子360°翻转操作。

物体的绝对运动在回转方向上始终保持高精度跟踪,在其他自由度上则动态地自主松弛,双臂相对运动误差低于0.003 (m 或rad),避碰安全距离被高效压缩到了2.5 cm。

同时整个多功能协同操作控制子框架在采用机械臂高精度网格模型下的典型计算时间为8.318 ms,解决了高精度和高实时性不可同时实现的困境。

以上结果也表明各级任务严格按照所给定的优先级执行。

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

在long-horizo​​n重排實驗中,雙臂機器人系統連續抓取和操作人居環境中常見的桌面書架,儲物籃和顯示器支架這3個未建模物體。

實驗結果顯示雙臂機器人在所設計的通用框架下能協同抓取大尺寸物體並能在執行複雜協同操作任務過程中全自主高精度避自碰

騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作

總結:

可以看到,該研究首次系統性解決了基於視覺感知的未知物體雙臂協同最優抓取,實現了工作空間高度重疊的雙臂機器人本質安全,並開放了可用於人機技能遷移學習的雙臂協同操作度橢球追蹤介面。

這一自上而下研究具身智能並至下而上研究機器人操作規劃與控制的工作,有助於彌合AI與Robotics之間的技術鴻溝,提升基於AI生成的操作策略在物理世界中執行的穩定性和可靠性,加速雙臂系統全自主通用化的到來。

論文網址:https://ieeexplore.ieee.org/document/10449470

以上是騰訊機器人研究登頂!能幫程式設計師安顯示器,像真人一樣協同工作的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

開源!超越ZoeDepth! DepthFM:快速且精確的單目深度估計! 開源!超越ZoeDepth! DepthFM:快速且精確的單目深度估計! Apr 03, 2024 pm 12:04 PM

0.這篇文章乾了啥?提出了DepthFM:一個多功能且快速的最先進的生成式單目深度估計模型。除了傳統的深度估計任務外,DepthFM還展示了在深度修復等下游任務中的最先進能力。 DepthFM效率高,可以在少數推理步驟內合成深度圖。以下一起來閱讀這項工作~1.論文資訊標題:DepthFM:FastMonocularDepthEstimationwithFlowMatching作者:MingGui,JohannesS.Fischer,UlrichPrestel,PingchuanMa,Dmytr

全球最強開源 MoE 模型來了,中文能力比肩 GPT-4,價格僅 GPT-4-Turbo 的近百分之一 全球最強開源 MoE 模型來了,中文能力比肩 GPT-4,價格僅 GPT-4-Turbo 的近百分之一 May 07, 2024 pm 04:13 PM

想像一下,一個人工智慧模型,不僅擁有超越傳統運算的能力,還能以更低的成本實現更有效率的效能。這不是科幻,DeepSeek-V2[1],全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合(MoE)語言模型,具有訓練經濟、推理高效的特點。它由236B個參數組成,其中21B個參數用於啟動每個標記。與DeepSeek67B相比,DeepSeek-V2效能更強,同時節省了42.5%的訓練成本,減少了93.3%的KV緩存,最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

AI顛覆數學研究!菲爾茲獎得主、華裔數學家領銜11篇頂刊論文|陶哲軒轉贊 AI顛覆數學研究!菲爾茲獎得主、華裔數學家領銜11篇頂刊論文|陶哲軒轉贊 Apr 09, 2024 am 11:52 AM

AI,的確正在改變數學。最近,一直十分關注這個議題的陶哲軒,轉發了最近一期的《美國數學學會通報》(BulletinoftheAmericanMathematicalSociety)。圍繞著「機器會改變數學嗎?」這個話題,許多數學家發表了自己的觀點,全程火花四射,內容硬核,精彩紛呈。作者陣容強大,包括菲爾茲獎得主AkshayVenkatesh、華裔數學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業界知名學者。 AI的世界已經發生了天翻地覆的變化,要知道,其中許多文章是在一年前提交的,而在這一

你好,電動Atlas!波士頓動力機器人復活,180度詭異動作嚇到馬斯克 你好,電動Atlas!波士頓動力機器人復活,180度詭異動作嚇到馬斯克 Apr 18, 2024 pm 07:58 PM

波士頓動力Atlas,正式進入電動機器人時代!昨天,液壓Atlas剛「含淚」退出歷史舞台,今天波士頓動力就宣布:電動Atlas上崗。看來,在商用人形機器人領域,波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後,短短十幾小時內,就已經有一百多萬觀看。舊人離去,新角色登場,這是歷史的必然。毫無疑問,今年是人形機器人的爆發年。網友銳評:機器人的進步,讓今年看起來像人類的開幕式動作、自由度遠超人類,但這真不是恐怖片?影片一開始,Atlas平靜地躺在地上,看起來應該是仰面朝天。接下來,讓人驚掉下巴

替代MLP的KAN,被開源專案擴展到卷積了 替代MLP的KAN,被開源專案擴展到卷積了 Jun 01, 2024 pm 10:03 PM

本月初,來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。 KAN與MLP一樣具有強大的數學基礎,MLP基於通用逼近定理,而KAN基於Kolmogorov-Arnold表示定理。如下圖所示,KAN在邊上具

iPhone上的蜂窩數據網路速度慢:修復 iPhone上的蜂窩數據網路速度慢:修復 May 03, 2024 pm 09:01 PM

在iPhone上面臨滯後,緩慢的行動數據連線?通常,手機上蜂窩互聯網的強度取決於幾個因素,例如區域、蜂窩網絡類型、漫遊類型等。您可以採取一些措施來獲得更快、更可靠的蜂窩網路連線。修復1–強制重啟iPhone有時,強制重啟設備只會重置許多內容,包括蜂窩網路連線。步驟1–只需按一次音量調高鍵並放開即可。接下來,按降低音量鍵並再次釋放它。步驟2–過程的下一部分是按住右側的按鈕。讓iPhone完成重啟。啟用蜂窩數據並檢查網路速度。再次檢查修復2–更改資料模式雖然5G提供了更好的網路速度,但在訊號較弱

特斯拉機器人進廠打工,馬斯克:手的自由度今年將達到22個! 特斯拉機器人進廠打工,馬斯克:手的自由度今年將達到22個! May 06, 2024 pm 04:13 PM

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

FisheyeDetNet:首個以魚眼相機為基礎的目標偵測演算法 FisheyeDetNet:首個以魚眼相機為基礎的目標偵測演算法 Apr 26, 2024 am 11:37 AM

目標偵測在自動駕駛系統當中是一個比較成熟的問題,其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而,利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大,標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述,我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示,並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型,並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP

See all articles