柏克萊開源高品質大型機器人操控基準，面對複雜自主操控任務不再犯錯

隨著人工智慧和機器人技術的快速發展，功能操控（Functional Manipulation）在機器人學中的重要性愈加突出。傳統的基準測試已無法滿足目前機器人對複雜操控任務的需求，呼籲新的操控基準（Functional Manipulation Benchmark）出現。

概述

#機器人操控面臨兩個主要挑戰：機器人如何智慧地處理複雜的接觸動力學以及如何應對環境和物體的多樣性。針對這些挑戰，機器人學習技術被視為關鍵的解決方法。因此，該領域需要一個全面易得的框架，提供有挑戰性的實際任務、高品質數據、易於複製的設置，集合了基線結果的相關方法，基於該框架，研究人員能夠對所提出任務的實驗發現進行深入分析。

加州大學柏克萊分校智慧機器人實驗室（RAIL）的研究團隊提出如上所述的現實世界基準，稱為FMB（Functional Manipulation Benchmark for Generalizable Robotic Learning ）。

• 專案首頁：https://functional-manipulation-benchmark.github.io/
• 論文網址：https://arxiv.org/abs/2401.08553
• 論文題目：FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning

• # #共同第一作者首頁：https://people.eecs.berkeley.edu/~jianlanluo/
• https://charlesxu0124.github.io/

FMB 具有以下特點：

#創新設計：採用了3D 列印技術製作任務中的物體，來考驗機器人的泛化能力，這種方法也便於其他研究者復現。

多元任務：包含單物件和多物件多階段操控任務，真實模擬日常環境中的挑戰。

大型資料集：透過大量人工演示，為機器人提供了豐富的資料集。

模仿學習基準：使用最先進的機器學習方法，提供了基準結果和模組化元件以供其他研究者使用。

###############物件與任務##################FMB 中的任務大致分為兩類：單物體多步驟操控任務及多物體多步驟操控任務。這些任務旨在測試機器人的基本技能，如抓取、重新定位和組裝等，這些都是完成整個任務所需的技能。 FMB 中的任務要求機器人不僅能完成單一的操控技能，還要求機器人能夠將這些技能組合起來，完成更複雜的多步驟任務。 ###############FMB 的任務設計靈活多變，研究人員可以根據需求選擇專注於單一技能，深入研究機器人的操控能力，也可以研究完整的多步驟任務，這需要機器人進行長期規劃並具備從失敗中恢復的能力。由於涉及選擇合適的物體並推理操控物體的順序，更為複雜的多步驟任務要求機器人能夠做出複雜的即時決策。 ##############################

大型資料集

在機器人學習的過程中，資料的作用不可小覷。為了讓機器人更能理解和掌握複雜的任務，研究團隊收集了一個涵蓋上述任務的大規模專家人類示範資料集，包含超過兩萬個操作軌跡。研究團隊採用了四個不同的攝影機來記錄這些示範數據，其中兩個攝影機安裝在機器人的腕部，另外兩個提供全局視角。這些攝影機捕捉了對於機器人學習解決任務至關重要的 RGB 彩色影像資訊、深度資訊等資料。

此外，資料集還記錄了機器人末端執行器的力 / 扭矩訊息，這對於像裝配這樣需要接觸大量物體的任務非常重要。透過這些豐富的數據，機器人能夠深入理解任務的每個細節，更精確地模仿人類的操作技巧。正是由於數據的深度和廣度，為機器人學習提供了堅實的基礎。這使得機器人在執行複雜任務時，能夠更人性化、更靈巧地對任務作出回應。

模仿學習基線

^{基線策略的架構圖。}

基於Transformer 和ResNet 的兩個模型都使用了共享權重的ResNet 編碼器對每個圖像視圖進行編碼，然後與本體感知資訊和可選的物體和相應的機器人技能編碼特徵結合，以預測7 自由度的動作。

FMB 的實驗部分對模仿學習系統的表現進行了一系列測試，比較了不同的學習方法，並探討了不同輸入模式和設計決策的影響。實驗發現，使用深度資訊有助於提高抓取策略的效果，而力 / 扭力資訊對於組裝任務非常重要。對於多步驟任務，傳統的 ResNet、Transformer 和 Diffusion 方法都未能奏效，但論文中提出的分級控制 (hierarchical control) 方法顯示出了潛力。

抓取任務

#實驗結果顯示，納入深度資訊的ResNet 策略在抓取任務中的效能一致優於僅使用RGB 資訊的策略。透過資料削減研究，研究團隊探討了不同數量的訓練資料對抓取任務表現的影響。結果顯示，納入深度資訊的 ResNet 策略在處理已見物體時的表現將隨著訓練資料量的增加而提升。值得注意的是，該策略對未見過的物體表現出了與已見物體相近的性能，這表明訓練對象的多樣性極大地促進了機器人的泛化能力。

組裝任務

#在組裝任務中，力/ 扭力資訊的重要性得到了證實。力 / 扭力資訊對於機器人採取的策略判斷物體是否已接觸到目標表面，並有效進行搜尋等行為非常重要。

然而，當策略在所有物件上進行訓練時，機器人並不總是能夠成功地完成組裝任務。這是因為策略需要先判斷物體應組裝到哪個孔中，然後再產生對應的動作，這大大增加了任務的複雜性。為了解決這個問題，研究團隊在策略中加入了一個選取物體機制，幫助策略確定需要組裝的物體的形狀，從而專注於產生正確的組裝動作。

多步驟任務

#

FMB 的框架包含了兩項複雜任務。這些複雜任務要求機器人能夠像人類一樣連續完成多個步驟。先前的方法是讓機器人學習整個過程，但這種方法容易因為單一環節的錯誤而不斷累積誤差，最後導致整個任務失敗。無論是在單物體或多物體操控任務中，此方法的成功率均為 0/10。

針對累積誤差問題，研究團隊採用了分層控制策略。分層策略透過將任務分解成若干小塊，每完成一塊便相當於通過一個決策點，即使出現錯誤也能迅速糾正，避免影響後續環節。例如，如果機器人在抓取過程中未能穩固抓住物體，它會持續嘗試直到成功。

研究團隊測試了兩種分層方法，第一種方法為單一策略提供指示任務類型的有效向量，而第二種方法則是針對每個操控技能單獨訓練不同的策略，均採用了操作員的指令作為上層策略，在測試中，研究團隊發現這兩種方法都表現優異。

測試結果顯示了分層方法在處理複雜機器人任務中的有效性，並為未來研究提供了新的研究方向。

如上圖所示，機器人在學習後能夠自主進行功能操控。

總的來說，上述實驗展示了研究團隊在機器人學習領域的技術創新，也驗證了 FMB 是適合開發先進機器人學習方法的基準。研究團隊研究期待未來的研究可以在 FMB 基礎上進一步推動機器人學習的邊界。

以上是柏克萊開源高品質大型機器人操控基準，面對複雜自主操控任務不再犯錯的詳細內容。更多資訊請關注PHP中文網其他相關文章！