CMU veröffentlicht neuen Algorithmus für geschickte Roboter, der genau lernt, wie man alltägliche Möbel bedient

Die meisten Möbel, mit denen Menschen im täglichen Leben in Kontakt kommen, sind „bewegliche Gegenstände“, wie Schubladen mit ausziehbaren Schienen, Türen mit vertikaler Drehachse, Öfen mit horizontaler Drehachse, denn die Hauptbestandteile dieser Gegenstände sind durch verschiedene Gelenke verbunden.

Aufgrund der Existenz dieser Gelenke werden die verschiedenen Teile des zu verbindenden Objekts durch die Gelenke kinematisch eingeschränkt, sodass diese Teile nur einen Freiheitsgrad (1 Freiheitsgrad) haben. Diese Gegenstände sind überall in unserem Leben, insbesondere in unserem täglichen Zuhause. Sie sind ein wichtiger Teil unseres täglichen Lebens. Wir als Menschen erkennen, dass wir unabhängig von der Art der Möbel, die wir haben, schnell herausfinden können, wie wir sie manipulieren und kontrollieren können. Es ist, als ob wir wüssten, wie sich jedes Gelenk dieser Objekte bewegt.

Können Roboter also vorhersagen, wie sich Möbel wie Menschen bewegen? Diese Art von Vorhersagefähigkeit ist schwer zu bekommen, und wenn Roboter diese Fähigkeit erlernen könnten, wäre das ein enormer Aufschwung für Heimroboter.

Kürzlich haben zwei Studenten im R-PAD-Labor von Professor David Held von der CMU School of Robotics, Ben Eisner und Harry Zhang, Durchbrüche bei der Manipulation komplexer Gelenkobjekte erzielt und FlowBot 3D auf den Markt gebracht, ein auf 3D-Neuronalen Netzwerken basierendes System Roboter, die die Bewegungsbahnen von Teilen beweglicher Objekte, wie etwa alltäglicher Möbel, effektiv ausdrücken und vorhersagen. Der Algorithmus besteht aus zwei Teilen.

Der erste Teil ist der Wahrnehmungsteil, der ein tiefes 3D-Neuronales Netzwerk verwendet, um die dreidimensionale momentane Bewegungsbahn (3D Articulated Flow) aus den Punktwolkendaten des manipulierten Möbelobjekts vorherzusagen.

Der zweite Teil des Algorithmus ist der Richtlinienteil, der den vorhergesagten 3D-Artikulationsfluss verwendet, um die nächste Aktion des Roboters auszuwählen. Beides wird vollständig im Simulator erlernt und kann ohne Umschulung oder Tuning direkt in der realen Welt umgesetzt werden. Mit Hilfe der FlowBot 3D-Algorithmen können Roboter wie Menschen bewegliche Objekte wie Alltagsmöbel nach Belieben manipulieren.

Dieser Beitrag ist derzeit der beste Beitragskandidat (Top 3 %) auf der weltweit führenden Robotikkonferenz Robotics Science and Systems (RSS) 2022 und wird in New York, USA, ausgestellt im Juli veröffentlicht und konkurrierte mit 7 anderen hervorragenden Artikeln um die Auszeichnung als beste Arbeit.

• Papieradresse: https://arxiv.org/pdf/2205.04382.pdf
• Projekthomepage: https://sites.google.com/view/articulated-flowbot-3d

FlowBot 3D verlässt sich ausschließlich auf den Simulator und führt überwachtes Lernen in simulierten Daten durch, um die momentanen Bewegungsbahnen gemeinsamer Objektteile wie Alltagsmöbel zu lernen (3D Articulated Flow). 3D Articulated Flow ist eine visuelle Methode zur Darstellung der Flugbahn einer Punktwolke, die die Komplexität der nächsten Strategie des Roboters erheblich vereinfachen und die Generalisierung und Effizienz verbessern kann. Der Roboter muss lediglich dieser momentanen Flugbahn folgen und diese Flugbahn in einem geschlossenen Regelkreis neu vorhersagen, um die Aufgabe der Manipulation von Gelenkobjekten abzuschließen.

Früher bestand die herkömmliche Methode zur Betätigung von Gelenkobjekten wie Möbeln in der Wissenschaft darin, die Bewegungsrichtung des Teils anhand der geometrischen Eigenschaften des bedienten Objekts (z. B. der Position und Richtung der verbundenen Teile) zu berechnen Nachahmung von Expertenstrategien (normalerweise von Menschen), um die Funktionsweise bestimmter Objekte zu erlernen und komplexe Aktionen der gemeinsamen Objektmanipulation durchzuführen. Diese traditionellen Methoden in der Wissenschaft lassen sich nicht gut verallgemeinern und sind bei der Nutzung von Daten weniger effizient. Für die Ausbildung sind große Mengen menschlicher Demonstrationsdaten erforderlich. Im Gegensatz zu diesen ist FlowBot 3D das erste rein simulatorbasierte Lernen, bei dem keine Demonstrationsdaten von Menschen bereitgestellt werden müssen. Der Algorithmus ermöglicht es dem Roboter, den optimalen Objektmanipulationspfad zu berechnen, indem er die momentane Bewegungsbahn jedes Teils lernt Der Algorithmus ist sehr generalisierbar. Diese Funktion ermöglicht es FlowBot 3D, auf Objekte zu verallgemeinern, die während des Simulatortrainings nicht sichtbar sind, und so reale, alltägliche Möbelstücke direkt in der realen Welt erfolgreich zu manipulieren.

Die folgenden Animationen demonstrieren den Manipulationsprozess von FlowBot 3D. Links ist das manipulierte Video und rechts die vorhergesagte momentane Bewegungsbahn der Punktwolke 3D Articulated Flow. Der FlowBot 3D-Algorithmus ermöglicht es dem Roboter zunächst, zu erkennen, welcher Teil eines Objekts manipuliert werden kann, und dann die Bewegungsrichtung dieses Teils vorherzusagen.

Öffnen Sie die Kühlschranktür:

Toilettendeckel öffnen:

# 🎜 🎜#

Schublade öffnen:

#🎜 🎜 ## 🎜🎜#

Der Rezensent dieser Arbeit sagte: Insgesamt ist diese Arbeit ein beträchtlicher Beitrag zur Robotermanipulation.

Also, wie hat FlowBot 3D diese Fähigkeit gelernt?

Wenn Menschen ein neues Möbelstück wie eine Tür sehen, wissen wir, dass sich die Tür um eine Türachse dreht, und wir wissen, dass die Türachsenbeschränkung dies zulässt Die Tür lässt sich nur in eine Richtung drehen, sodass wir die Tür in die Richtung öffnen können, die wir uns vorgestellt haben. Wenn Sie also möchten, dass ein Roboter die Manipulationsmethoden und Bewegungsbahnen von Gelenkobjekten wie Möbeln wirklich geschickt und effektiv vorhersagen kann, ist es eine effektive Möglichkeit, den Roboter die kinematischen Einschränkungen dieser Teile verstehen zu lassen, damit er sie vorhersagen kann Bewegung dieser Objekte.

Die spezifische Methode von FlowBot 3D ist nicht kompliziert und basiert nur auf Simulatoren ohne komplizierte reale menschliche Daten. Darüber hinaus besteht ein weiterer Vorteil des Simulators darin, dass die 3D-Datendateien (URDF) dieser Haushaltsobjekte im Simulator die kinematischen Einschränkungen jedes Teils und die spezifischen Parameter der Einschränkungen enthalten, sodass die Bewegungsbahn jedes Teils in der Simulator genau berechnet werden.

Zwei Module für FlowBot 3D.

Während des Simulatortrainings beobachtet der Roboter die dreidimensionalen Punktwolkendaten des manipulierten Objekts als Eingabedaten für das Roboter-Vision-Modul. Das Vision-Modul (Wahrnehmungsmodul) verwendet PointNet++, um den 3D-Gelenkfluss der momentanen Bewegungsbahn jedes Punkts in der Eingabepunktwolke unter Einwirkung äußerer Kraft vorherzusagen (z. B. öffnet sich die Tür um 5 Grad, nachdem die Schublade 1 cm geöffnet wurde). nach außen), wobei der dreidimensionale Koordinatenvektor in schlechter Form ausgedrückt wird. Die tatsächlichen Daten dieser Bewegungstrajektorie können durch Vorwärtskinematik genau berechnet werden. Durch Subtrahieren der aktuellen dreidimensionalen Vektorkoordinate von der nächsten dreidimensionalen Vektorkoordinate kann die Bewegungsbahn des manipulierten Objektteils ermittelt werden. Daher muss während des Trainings nur der L2-Verlust des vorhergesagten 3D-Artikulationsflusses für überwachtes Lernen minimiert werden.

In diesem Bild sind die blauen Punkte die beobachteten Punktwolkendaten und die roten Punkte Der Pfeil stellt die vorhergesagte Bewegungsbahn des 3D Articulated Flow der Fassade dar.

Auf diese Weise kann FlowBot 3D die Bewegungsrichtung jedes Teils unter kinematischen Einschränkungen und die Position jedes Punktes auf dem Teil lernen Geschwindigkeit und relative Richtung (Geschwindigkeit) der Bewegung unter derselben Kraft. Gemeinsame Haushaltsgegenstände sind prismatisch und rotierend. Bei beweglichen Teilen wie Schubladen sind die Bewegungsrichtung und die Geschwindigkeit jedes Punktes auf der Schubladenoberfläche gleich, wenn dieselbe äußere Kraft einwirkt. Bei rotierenden Teilen wie Türen ist die Bewegungsrichtung jedes Punktes auf der Türoberfläche bei Einwirkung derselben äußeren Kraft gleich, die Geschwindigkeit nimmt jedoch zu, je weiter man von der Drehachse entfernt ist. Die Forscher nutzten die physikalischen Gesetze der Robotik (Schraubentheorie), um zu beweisen, dass der längste 3D-Articulated Flow die Beschleunigung des Objekts maximieren kann. Nach dem zweiten Newtonschen Gesetz ist diese Strategie die optimale Lösung.

# 🎜 🎜#

Basierend auf der theoretischen Grundlage muss der Roboter im tatsächlichen Betrieb die Bewegungsbahn jedes Punkts über das Vision-Modul von FlowBot 3D vorhersagen und den 3D-Gelenkfluss mit der längsten Länge finden Die Flugbahn jedes Punkts wird als Kontrollpunkt verwendet und die Bewegungsbahn dieses Kontrollpunkts wird in einer geschlossenen Schleife vorhergesagt. Wenn der ausgewählte Manipulationspunkt nicht erfolgreich erfasst werden kann (z. B. weil die Oberfläche die Greifbedingungen der Roboterhand nicht erfüllt), wählt FlowBot 3D den Punkt mit der zweitlängsten Länge aus, der die Greifbedingungen erfüllt.

Darüber hinaus sagt FlowBot 3D aufgrund der Eigenschaften von PointNet ++ die Bewegungsbahn jedes Punkts voraus und verlässt sich nicht auf die geometrischen Eigenschaften des Objekts selbst. Es ist dem Roboter möglich, das Objekt zu erkennen. Die Okklusion weist eine starke Robustheit auf. Da es sich bei diesem Algorithmus außerdem um einen geschlossenen Algorithmus handelt, kann der Roboter seine möglichen Fehler im nächsten Schritt der Vorhersage korrigieren.

FlowBot 3D in der realen Welt FlowBot 3D ist in der Lage, Generalisierungsherausforderungen in der realen Welt zu meistern. Das Designkonzept von FlowBot 3D besteht darin, dass der nächste Schritt darin besteht, dieser Flugbahn zu folgen, um die Aufgabe abzuschließen, solange es die Bewegungsbahn des dreidimensionalen Gelenkflusses des manipulierten Objekts genau vorhersagen kann.

Ein weiterer wichtiger Punkt ist, dass FlowBot 3D ein einziges Trainingsmodell verwendet, um mehrere Kategorien von Elementen zu manipulieren, einschließlich Kategorien, die im Training nicht gesehen wurden. Und in der realen Welt muss der Roboter nur das durch dieses reine Simulatortraining erhaltene Modell verwenden, um eine Vielzahl realer Objekte zu manipulieren. Da die kinematischen Einschränkungen von Haushaltsgegenständen in der realen Welt überwiegend dieselben sind wie im Simulator, kann FlowBot 3D direkt auf die reale Welt übertragen werden.

FlowBot3D Haushaltsgegenstände, die in realen Experimenten verwendet werden (einschließlich Mülleimer, Kühlschränke, Toilettendeckel, Kisten, Safes). usw.

Im Simulator wird der Roboter mit einigen Kategorien von Haushaltsgegenständen trainiert, darunter Hefter, Behälter, Schubladen, Fenster, Kühlschränke usw. Im Simulator Bei Tests in der realen Welt stammen die Testdaten von neuen Objekten in der Trainingskategorie und Kategorien, die während des Trainings noch nicht gesehen wurden 🎜#

# 🎜🎜#

#🎜 🎜#

# 🎜🎜 #

# 🎜 🎜#

FlowBot 3D-Manipulationsaufgaben im Simulator #🎜 🎜#

Im Vergleich dazu sind auf Nachahmung basierende Methoden in der Wissenschaft weit verbreitet. Die Methode erfordert manuelle Anleitung, um zu lernen, wie man neue Objekte manipuliert, was es unrealistisch macht, diese Roboter in der realen Welt einzusetzen. Insbesondere in Heimroboterszenarien sind 3D-Punktwolkendaten stärker als die von anderen Methoden verwendeten 2D-RGB-Daten, da die Punktwolkendaten stärker sind als die von anderen Methoden verwendeten 2D-RGB-Daten Gelenk und die Beziehung zwischen Gelenken, so dass es die Bewegungsbahn von Teilen auf einer höheren Ebene verstehen und vorhersagen kann, was die Generalisierung erheblich verbessert.

Experimentelle Ergebnisse zeigen, dass FlowBot 3D bei der Bedienung der meisten Objekte (unabhängig davon, ob es sich um beim Training gesehene oder nicht gesehene Kategorien handelt) eine „vollständig geöffnete“ Distanz von weniger als 10 % und eine erfolgreiche Reichweite von mehr als 90 % erreichen kann. Im Vergleich dazu liegen andere Methoden, die auf Imitation Learning (DAgger) oder Reinforcement Learning (SAC) basieren, weit zurück und lassen sich nicht verallgemeinern.

Kurz gesagt, FlowBot 3D ist ein Job mit großem Potenzial. Es kann effizient in der realen Welt eingesetzt werden, ohne dass eine Feinabstimmung erforderlich ist. Diese Arbeit zeigt auch, dass Fortschritte in der Computer-Vision den Bereich der Robotik verändern können, insbesondere den visuellen Ausdruck von Bewegungsbahnen, den sogenannten 3D-Artikulationsfluss, der auf mehrere Aufgaben angewendet werden kann, um die Auswahl und den Entscheidungsprozess der Roboterstrategie zu vereinfachen. Mit diesem verallgemeinerbaren Ausdruck haben Simulator-Lernmethoden das Potenzial, direkt in der realen Welt eingesetzt zu werden, was die Kosten für zukünftiges Training und Lernen von Heimrobotern erheblich senken wird.

Der nächste Plan von FlowBot 3DDerzeit versucht das Forschungsteam, die Strömungsverständnis- und Vorhersagemethode auf andere Objekte als Gelenkobjekte anzuwenden, beispielsweise wie man mithilfe der Strömung die Flugbahn eines Objekts mit 6 Freiheitsgraden vorhersagen kann . Gleichzeitig versucht der Autor, den Fluss als allgemeinen visuellen Ausdruck zu verwenden, um ihn auf andere Roboterlernaufgaben wie das Verstärkungslernen anzuwenden und so die Lerneffizienz, Robustheit und Generalisierbarkeit zu erhöhen.

Homepage von außerordentlichem Professor David Held: https://davheld.github.io/Homepage von Ben Eisner: https://beisner.me/Homepage von Harry Zhang: https://harryzhangog.github.io/

Das obige ist der detaillierte Inhalt vonCMU veröffentlicht neuen Algorithmus für geschickte Roboter, der genau lernt, wie man alltägliche Möbel bedient. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!