Le premier système universel de modélisation graphique et textuelle 3D pour meubles et appareils électroménagers qui ne nécessite aucun guidage et peut être utilisé dans des modèles de visualisation généralisés.

De nos jours, toutes les tâches ménagères sont prises en charge par des robots.

Le robot de Stanford capable d'utiliser des casseroles vient d'apparaître, et le robot capable d'utiliser des machines à café vient d'arriver, Figure-01.

Figure-01 Il suffit de regarder la vidéo de démonstration et de suivre 10 heures de formation pour pouvoir utiliser la machine à café avec compétence. De l’insertion de la capsule de café à l’appui sur le bouton de démarrage, tout se fait en une seule fois.

Cependant, il est difficile de permettre à un robot d'apprendre de manière autonome à utiliser divers meubles et appareils électroménagers sans avoir besoin de vidéos de démonstration lorsqu'il les rencontre. Cela nécessite que le robot ait de fortes capacités de perception visuelle et de prise de décision, ainsi que des compétences de manipulation précises.

Maintenant, un système de grands modèles de graphiques et de textes incarnés en trois dimensions fournit de nouvelles idées pour les problèmes ci-dessus. Le système combine un modèle de perception géométrique précis basé sur une vision tridimensionnelle avec un grand modèle graphique et textuel bidimensionnel qui convient parfaitement à la planification. Il peut résoudre des tâches complexes à long terme liées aux meubles et aux appareils électroménagers sans avoir besoin d'échantillons de données. .

Cette recherche a été réalisée par l'équipe du professeur Leonidas Guibas de l'Université de Stanford, du professeur Wang He de l'Université de Pékin et de l'Institut de recherche sur l'intelligence artificielle Zhiyuan.

Lien papier : https://arxiv.org/abs/2312.01307

Page d'accueil du projet : https://geometry.stanford.edu/projects/sage/

Code : https://github.com/ geng-haoran/SAGE

Aperçu du problème de recherche

^{Figure 1 : Selon les instructions humaines, le bras robotique peut utiliser divers appareils électroménagers sans aucune instruction.}

Récemment, PaLM-E et GPT-4V ont favorisé l'application de grands modèles graphiques dans la planification des tâches des robots, et le contrôle généralisé des robots guidé par le langage visuel est devenu un domaine de recherche populaire.

Une méthode courante dans le passé consistait à construire un système à deux couches. Le grand modèle graphique de la couche supérieure effectue la planification et la planification des compétences, et le modèle de stratégie de compétences de contrôle de la couche inférieure est responsable de l'exécution physique des actions. Mais lorsque les robots seront confrontés à une variété d'appareils électroménagers qu'ils n'ont jamais vus auparavant et nécessiteront des opérations en plusieurs étapes dans les tâches ménagères, les couches supérieures et inférieures des méthodes existantes seront impuissantes.

Prenons comme exemple le modèle graphique le plus avancé GPT-4V. Bien qu'il puisse décrire une seule image avec du texte, il est encore plein d'erreurs en matière de détection, de comptage, de positionnement et d'estimation de l'état des pièces utilisables. Les surlignages rouges sur la figure 2 correspondent aux diverses erreurs commises par GPT-4V lors de la description d'images de commodes, de fours et d'armoires sur pied. Sur la base d'une description erronée, la planification des compétences du robot n'est évidemment pas fiable.

^{Figure 2 : GPT-4V ne peut pas gérer des tâches axées sur le contrôle généralisé telles que le comptage, la détection, le positionnement et l'estimation d'état.}

Le modèle de stratégie de compétences de contrôle de niveau inférieur est responsable de l'exécution des tâches confiées par le modèle graphique et textuel de niveau supérieur dans diverses situations réelles. La plupart des résultats de recherche existants codent de manière rigide les points de préhension et les méthodes de fonctionnement de certains objets connus sur la base de règles, et ne peuvent généralement pas traiter de nouvelles catégories d'objets qui n'ont jamais été vues auparavant. Cependant, les modèles de fonctionnement de bout en bout (tels que RT-1, RT-2, etc.) utilisent uniquement la modalité RVB, manquent de perception précise de la distance et ont une mauvaise généralisation aux changements dans de nouveaux environnements tels que la hauteur.

Inspirée par le précédent travail CVPR Highlight de l’équipe du professeur Wang He, GAPartNet [1], l’équipe de recherche s’est concentrée sur les pièces communes (GAParts) dans diverses catégories d’appareils électroménagers. Bien que les appareils électroménagers soient en constante évolution, il existe toujours quelques pièces indispensables. Il existe des géométries et des modèles d'interaction similaires entre chaque appareil électroménager et ces pièces communes.

En conséquence, l'équipe de recherche a introduit le concept de GAPart dans l'article GAPartNet [1]. GAPart fait référence à un composant généralisable et interactif. GAPart apparaît sur différentes catégories d'objets battants. Par exemple, les portes battantes peuvent être trouvées dans les coffres-forts, les armoires et les réfrigérateurs. Comme le montre la figure 3, GAPartNet [1] annote la sémantique et la pose de GAPart sur différents types d'objets.

^{Figure 3 : GAPart : parties généralisables et interactives [1].}

Sur la base de recherches antérieures, l'équipe de recherche a introduit de manière créative GAPart basé sur la vision tridimensionnelle dans le système de manipulation d'objets du robot SAGE. SAGE fournira des informations pour VLM et LLM grâce à une détection de pièces 3D généralisable et une estimation précise de la pose. Au niveau de la prise de décision, la nouvelle méthode résout le problème des capacités de calcul et de raisonnement précises insuffisantes du modèle graphique bidimensionnel ; au niveau de l'exécution, la nouvelle méthode réalise des opérations généralisées sur chaque pièce grâce à une API d'opération physique robuste basée sur GAPart pose.

SAGE constitue le premier système de modèles graphiques et textuels incarnés en trois dimensions à grande échelle, fournissant de nouvelles idées pour l'ensemble du lien entre les robots, de la perception à l'interaction physique jusqu'au feedback, et explorant de nouvelles façons pour les robots de contrôler intelligemment et universellement des objets complexes tels que comme les meubles et les appareils électroménagers.

Introduction au système

La figure 4 montre le processus de base de SAGE. Premièrement, un module d'interprétation des instructions capable d'interpréter le contexte analysera les instructions entrées dans le robot et ses observations, et convertira ces analyses en le prochain programme d'action du robot et ses parties sémantiques associées. Ensuite, SAGE mappe la partie sémantique (telle que le conteneur) à la partie qui doit être actionnée (telle que le bouton coulissant) et génère des actions (telles que l'action « appuyer » sur le bouton) pour terminer la tâche.

^{Figure 4 : Aperçu des méthodes.}

Afin de permettre à chacun de comprendre plus facilement l'ensemble du processus du système, jetons un coup d'œil à un exemple d'utilisation d'un bras robotique pour faire fonctionner un four à micro-ondes invisible sans avoir besoin d'un échantillon.

Analyse des instructions : des entrées visuelles et instructions aux instructions de compétences exécutables

Après la saisie des instructions et des observations d'images RGBD, l'interprète génère d'abord une description de scène à l'aide de VLM et GAPartNet [1]. Par la suite, LLM (GPT-4) prend les instructions et les descriptions de scènes en entrée pour générer des parties sémantiques et des programmes d'action. Alternativement, vous pouvez saisir un manuel d'utilisation spécifique dans ce lien. LLM générera une cible de pièce exploitable en fonction de l'entrée.

^{Figure 5 : Génération de description de scène (prise de tir zéro en utilisant un four à micro-ondes comme exemple).}

Afin de mieux faciliter la génération d'actions, la description de la scène contient des informations sur l'objet, des informations sur les pièces et certaines informations liées à l'interaction. Avant de générer la description du scénario, SAGE utilisera également le modèle expert GAPart [1] pour générer des descriptions d'experts pour VLM sous forme d'invites. Cette approche, qui combine le meilleur des deux modèles, fonctionne bien.

^{Figure 6 : Compréhension des instructions et planification des mouvements (en prenant comme exemple l'utilisation sans tir d'un four à micro-ondes).}

Compréhension et perception des informations d'interaction des pièces

^{Figure 7 : Compréhension des pièces.}

Dans le processus de saisie des observations, SAGE combine des signaux bidimensionnels (2D) de GroundedSAM et des signaux tridimensionnels (3D) de GAPartNet, qui sont ensuite utilisés comme positionnement spécifique des pièces utilisables. L'équipe de recherche a utilisé ScoreNet, la suppression non maximale (NMS) et PoseNet pour démontrer les résultats de perception de la nouvelle méthode.

Parmi eux : (1) Pour le benchmark d'évaluation partiellement conscient, l'article utilise directement SAM [2]. Cependant, dans le flux opérationnel, l'article utilise GroundedSAM, qui prend également en compte les parties sémantiques en entrée. (2) Si le grand modèle de langage (LLM) génère directement une cible d'une pièce exploitable, le processus de positionnement sera contourné.

^{Figure 8 : Compréhension des pièces (en prenant comme exemple un four à micro-ondes à tir zéro).}

Génération d'Actions

Une fois la partie sémantique positionnée au dessus de la partie opérable, SAGE générera des actions d'opération exécutables sur cette partie. Tout d'abord, SAGE estime la pose de la pièce, en calculant l'état d'articulation (axe et position de la pièce) et les directions de mouvement possibles en fonction du type d'articulation (translation ou rotation). Il génère ensuite des mouvements permettant au robot de faire fonctionner la pièce en fonction de ces estimations.

Dans la tâche de démarrage du four à micro-ondes, SAGE a d'abord prédit que le bras robotique devrait prendre une posture initiale de préhension comme action principale. Des actions sont ensuite générées sur la base de la stratégie prédéterminée définie dans GAPartNet [1]. Cette stratégie est déterminée en fonction de la pose de la pièce et de l'état d'articulation. Par exemple, pour ouvrir une porte avec charnière rotative, la position de départ peut être sur le chant de la porte ou sur la poignée, la trajectoire étant un arc de cercle orienté le long de la charnière de la porte.

Retour d'interaction

Jusqu'à présent, l'équipe de recherche n'a utilisé qu'une première observation pour générer des interactions en boucle ouverte. À ce stade, ils ont introduit un mécanisme permettant d’exploiter davantage les observations obtenues au cours de l’interaction, en mettant à jour les résultats perçus et en ajustant les opérations en conséquence. Pour atteindre cet objectif, l’équipe de recherche a introduit un mécanisme de rétroaction en deux parties dans le processus d’interaction.

Il est à noter que des erreurs d'occlusion et d'estimation peuvent survenir lors du processus de perception de la première observation.

^{Figure 9 : La porte ne peut pas être ouverte directement et ce cycle d'interaction échoue (prenez le tir zéro en utilisant un four à micro-ondes comme exemple).}

Afin de résoudre ces problèmes, les chercheurs ont en outre proposé un modèle qui utilise l'observation interactive (perception interactive) pour améliorer les opérations. Le suivi de la pince cible et de l’état de la pièce est maintenu tout au long de l’interaction.Si des écarts importants se produisent, le planificateur peut choisir l'un des quatre états suivants : « Continuer », « Passer à l'étape suivante », « Arrêter et replanifier » ou « Succès ».

Par exemple, si vous réglez la pince pour qu'elle pivote de 60 degrés le long d'un joint, mais que la porte n'est ouverte que de 15 degrés, le planificateur LLM (Large Language Model) choisira Arrêter et replanifier. Ce modèle de suivi interactif garantit que LLM peut analyser des problèmes spécifiques au cours du processus d'interaction et peut « se relever » à nouveau après l'échec du démarrage du four à micro-ondes.

^{Figure 10 : Grâce à un retour interactif et à une re-planification, le robot réalise la manière d'ouvrir le bouton et réussit. L’équipe de recherche a d’abord construit un test d’interaction d’objets articulés guidé par le langage à grande échelle.}

Figure 11 : Expérience de simulation SAPIEN.

Ils ont utilisé l'environnement SAPIEN [4] pour mener des expériences de simulation et ont conçu 12 tâches de manipulation d'objets articulés guidées par le langage. Pour chaque catégorie de fours à micro-ondes, de meubles de rangement et d'armoires, 3 tâches ont été conçues, comprenant des états ouvert et fermé dans différents états initiaux. Les autres tâches sont « Ouvrir le couvercle du pot », « Appuyer sur le bouton de la télécommande » et « Démarrer le mixeur ». Les résultats expérimentaux montrent que SAGE fonctionne bien dans presque toutes les tâches.

Figure 12 : Démonstration réelle de la machine. L'équipe de recherche a également mené des expériences réelles à grande échelle en utilisant UFACTORY xArm 6 et une variété d'objets articulés différents. La partie supérieure gauche de l'image ci-dessus montre un exemple de démarrage d'un mixeur. Le dessus du mixeur est perçu comme un récipient à jus, mais sa fonction réelle nécessite d'appuyer sur un bouton pour l'activer. Le cadre de SAGE relie efficacement sa compréhension sémantique et action et exécute avec succès la tâche.

La partie supérieure droite de l'image ci-dessus montre le robot, qui doit appuyer (vers le bas) sur le bouton d'arrêt d'urgence pour arrêter le fonctionnement et tourner (vers le haut) pour redémarrer. Un bras robotique guidé par SAGE a accompli les deux tâches avec la saisie auxiliaire d'un manuel d'utilisation. L'image au bas de l'image ci-dessus montre plus de détails sur la tâche d'allumer un micro-ondes.

Figure 13 : Plus d'exemples de démonstration de machine réelle et d'interprétation de commandes.

Résumé

SAGE est le premier cadre de modèle de langage visuel 3D capable de générer des instructions générales de manipulation pour des objets articulés complexes tels que des meubles et des appareils électroménagers. Il convertit les actions ordonnées par le langage en manipulations exécutables en reliant la sémantique des objets et la compréhension de l'opérabilité au niveau des pièces.

En outre, l'article étudie également les méthodes de combinaison de modèles généraux de vision/langage à grande échelle avec des modèles experts de domaine pour améliorer l'exhaustivité et l'exactitude des prédictions de réseau, mieux gérer ces tâches et atteindre l'état de l'art. performance artistique. Les résultats expérimentaux montrent que le framework possède de fortes capacités de généralisation et peut démontrer des performances supérieures sur différentes catégories d'objets et tâches. De plus, l’article fournit une nouvelle référence pour la manipulation d’objets articulés guidée par le langage.

^{Présentation de l'équipe}

SAGE Ce résultat de recherche provient du laboratoire du professeur Leonidas Guibas de l'Université de Stanford, de l'Emboded Perception and Interaction (EPIC Lab) du professeur Wang He de l'Université de Pékin et de l'Institut de recherche sur l'intelligence artificielle Zhiyuan. Les auteurs de l'article sont Geng Haoran (co-auteur), étudiant à l'Université de Pékin et chercheur invité à l'Université de Stanford, Wei Songlin, doctorant à l'Université de Pékin (co-auteur), Deng Congyue et Shen Bokui, doctorants à l'Université de Stanford, et les superviseurs sont le professeur Leonidas. Guibas et le professeur Wang He.

Références :

[1] Haoran Geng, Helin Xu, Chengyang Zhao, Chao Xu, Li Yi, Siyuan Huang et He Wang. Gapartnet : perception et manipulation d'objets généralisables dans des domaines intercatégories via des parties généralisables et exploitables. préimpression arXiv arXiv:2211.05272, 2022.

[2] Kirillov, Alexander, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao et al. "Segmentez n'importe quoi."

^{[3] Zhang, Hao, Feng Li, Shilong Liu, Lei Zhang, Hang Su, Jun Zhu, Lionel M. Ni et Heung-Yeung Shum. « Dino : Detr avec des boîtes d'ancrage de débruitage améliorées pour une utilisation de bout en bout. détection d'objet final." Préimpression arXiv arXiv : 2203.03605 (2022). environnement interactif." Dans Actes de la conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes, pp.11097-11107.2020.}

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!