Entraînez votre chien robot en temps réel avec Vision Pro ! Le projet open source d'un doctorant du MIT devient populaire

Vision Pro a un autre nouveau gameplay très intéressant, cette fois il est lié à l'intelligence incarnée ~

Juste comme ça, le gars du MIT a utilisé la fonction de suivi des mains de Vision Pro pour réussir à contrôler en temps réel le chien robot.

Non seulement des actions telles que l'ouverture d'une porte peuvent être obtenues avec précision :

, mais il n'y a également presque aucun délai.

Dès la sortie de la démo, non seulement les internautes ont fait l'éloge de Goose Girl, mais divers chercheurs en intelligence incarnée étaient également enthousiasmés.

Par exemple, ce futur doctorant de l'Université Tsinghua :

Certaines personnes prédisent avec audace : C'est ainsi que nous interagirons avec la prochaine génération de machines.

Comment mettre en œuvre le projet, l'auteur Park Younghyo(Younghyo Park) a été open source sur GitHub. Les applications pertinentes peuvent être téléchargées directement depuis l’App Store de Vision Pro.

Utilisez Vision Pro pour entraîner le chien robot

Jetons un coup d'œil en détail à l'application développée par l'auteur - Tracking Steamer.

Comme son nom l'indique, cette application est conçue pour utiliser Vision Pro pour suivre les mouvements humains et transmettre ces données de mouvement à d'autres appareils robots sous le même WiFi en temps réel.

La partie suivi de mouvement s'appuie principalement sur la bibliothèque ARKit d'Apple.

Le suivi de la tête appelle queryDeviceAnchor. Les utilisateurs peuvent réinitialiser le cadre principal à sa position actuelle en appuyant longuement sur la couronne numérique.

Le suivi du poignet et des doigts est mis en œuvre via HandTrackingProvider. Il est capable de suivre la position et l'orientation des poignets gauche et droit par rapport au cadre au sol, ainsi que la posture des 25 articulations des doigts de chaque main par rapport au cadre du poignet.

En termes de communication réseau, cette application utilise gRPC comme protocole de communication réseau pour diffuser des données. Cela permet aux données d'être souscrites sur davantage d'appareils, notamment les appareils Linux, Mac et Windows.

De plus, afin de faciliter la transmission des données, l'auteur a également préparé une API Python qui permet aux développeurs de s'abonner et de recevoir des données de suivi diffusées depuis Vision Pro par programmation.

Les données renvoyées par l'API sont sous forme de dictionnaire, y compris les informations de posture SE (3) de la tête, du poignet et des doigts, c'est-à-dire la position et l'orientation tridimensionnelles. Les développeurs peuvent traiter ces données directement dans Python pour une analyse plus approfondie et un contrôle du robot.

Comme de nombreux professionnels l'ont souligné, que les mouvements du chien robot soient ou non toujours contrôlés par des humains, en fait, par rapport au « contrôle » lui-même, combiné à l'algorithme d'apprentissage par imitation, les humains sont plus capables de ce processus. Comme un entraîneur de robot.

Vision Pro fournit une méthode d'interaction intuitive et simple en suivant les mouvements de l'utilisateur, permettant aux non-professionnels de fournir des données d'entraînement précises pour les robots.

L'auteur lui-même a également écrit dans le journal :

Dans un avenir proche, les gens pourraient porter des appareils comme Vision Pro comme des lunettes quotidiennes. Imaginez la quantité de données que nous pouvons collecter grâce à ce processus !

Il s'agit d'une source de données prometteuse à partir de laquelle les robots peuvent apprendre comment les humains interagissent avec le monde réel.

Enfin, rappel, si vous souhaitez essayer ce projet open source, en plus d'un Vision Pro, vous devez également préparer :

• Compte de développeur Apple
• Accessoire de développeur Vision Pro (sangle de développeur, au prix de 299 $)
• Ordinateur Mac avec Xcode installé

Eh bien, il semble qu'Apple doive d'abord faire un profit (doge).

Lien du projet :https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!