Grimper, sauter et franchir des espaces étroits, des stratégies d'apprentissage par renforcement open source permettent aux chiens robots de faire du parkour

Le parkour est un sport extrême. C'est un énorme défi pour les robots, en particulier les chiens robots à quatre pattes, qui doivent surmonter rapidement divers obstacles dans des environnements complexes. Certaines études ont tenté d'utiliser des données d'animaux de référence ou des récompenses complexes, mais ces approches génèrent des compétences de parkour qui sont soit diverses mais aveugles, soit basées sur la vision mais spécifiques à une scène. Cependant, le parkour autonome nécessite que les robots acquièrent des compétences générales diverses et basées sur la vision pour percevoir divers scénarios et réagir rapidement.

Récemment, une vidéo d'un parkour de chien robot est devenue virale. Le chien robot dans la vidéo a rapidement surmonté divers obstacles dans divers scénarios. Par exemple, passez par l'espace sous la plaque de fer, grimpez sur la caisse en bois, puis sautez vers une autre caisse en bois. Une série de mouvements sont fluides et fluides :

Cette série de mouvements montre. que le chien robot maîtrise en collant au sol. Trois compétences de base : ramper, grimper et sauter.

Si le chien robot échoue Surmontez les obstacles et il faudra encore quelques essais :

Ce contenu a été réécrit en chinois : Ce chien robot est basé sur un cadre d'apprentissage de compétences « parkour » développé pour les robots à faible coût. Le cadre a été proposé conjointement par des chercheurs de l'Institut de recherche Shanghai Qizhi, de l'Université Stanford, de l'Université ShanghaiTech, de la CMU et de l'Université Tsinghua, et son document de recherche a été sélectionné pour CoRL 2023 (Oral). Ce projet de recherche a été open source

Adresse papier : https://arxiv.org/abs/2309.05665

Adresse du projet : https://github.com/ZiwenZhuang/parkour

Introduction à la méthode

Cette recherche présente un nouveau système open source pour apprendre des stratégies de parkour basées sur la vision de bout en bout afin d'acquérir plusieurs compétences de parkour en utilisant des récompenses simples sans aucune donnée de mouvement de référence.

Plus précisément, cette recherche propose une méthode d'apprentissage par renforcement conçue pour permettre aux robots d'acquérir des compétences telles que grimper des obstacles élevés, sauter par-dessus de grands espaces, ramper sous des obstacles bas, se faufiler à travers de petits espaces et courir, et traduire ces compétences en stratégies de parkour. basé sur une vision unique. Simultanément, ces compétences sont transférées à des robots quadrupèdes en utilisant une caméra de profondeur égocentrique

Pour réussir à déployer la stratégie de parkour proposée dans cette étude sur un robot low-cost, il suffit d'utiliser l'informatique embarquée (Nvidia Jetson), la caméra de profondeur aéroportée (Intel Realsense) et alimentation électrique embarquée, sans avoir besoin de capture de mouvement, de lidar, de plusieurs caméras de profondeur et de nombreux calculs

Afin d'entraîner la stratégie de parkour, l'étude a mené les trois étapes suivantes Travail :

Le première étape : pré-entraînement par apprentissage par renforcement avec contraintes dynamiques douces. Cette recherche utilise des cours automatiques pour permettre au robot d'apprendre à franchir les obstacles, l'encourageant à apprendre progressivement à surmonter les obstacles

Deuxième étape : apprentissage par renforcement affinant avec des contraintes dynamiques dures. La recherche applique toutes les contraintes dynamiques à ce stade et utilise une dynamique réaliste pour affiner le comportement du robot appris lors de la phase de pré-formation.

La troisième étape : la distillation. Après avoir appris chaque compétence de parkour individuelle, l'étude utilise DAgger pour les distiller dans une politique de parkour basée sur la vision (paramétrée par un RNN) qui peut être déployée sur un robot à pattes en utilisant uniquement la perception et le calcul embarqués.

Expériences et résultats

En formation, l'étude a défini les tailles d'obstacles correspondantes pour chaque compétence, comme le montre le tableau 1 ci-dessous :

L'étude Des simulations approfondies et des simulations réelles -des expériences de vie ont été menées et les résultats montrent que les stratégies de parkour permettent à des robots quadrupèdes à faible coût de sélectionner et d'exécuter de manière autonome les compétences de parkour appropriées à parcourir en utilisant uniquement l'informatique embarquée, la détection visuelle embarquée et l'alimentation embarquée dans des environnements difficiles dans le monde ouvert, y compris. grimper des obstacles jusqu'à 0,40 m (1,53x la hauteur du robot), sauter par-dessus de grands espaces jusqu'à 0,60 m (1,5x la longueur du robot) et sauter par-dessus des obstacles aussi bas que 0,2 m (0,76x la hauteur du robot). Il peut ramper sous les objets, se presser à travers un espace étroit de 0,28 m (inférieur à la largeur du robot) en s'inclinant, et peut continuer à avancer.

De plus, l'étude a également comparé la méthode proposée avec plusieurs méthodes de base et mené des expériences d'ablation dans un environnement simulé. Les résultats spécifiques sont présentés dans le tableau 2 :

Les lecteurs intéressés peuvent lire l'article original pour en savoir plus sur le contenu de la recherche

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!