Cadre d'estimation de pose d'objet 6D à échantillon nul SAM-6D, un pas de plus vers l'intelligence incarnée

L'estimation de la pose d'un objet joue un rôle clé dans de nombreuses applications du monde réel, telles que l'intelligence incarnée, la manipulation adroite de robots et la réalité augmentée.

Dans ce domaine, la première tâche à retenir l'attention est Estimation de pose 6D au niveau de l'instance, qui nécessite des données annotées sur l'objet cible pour la formation du modèle, ce qui rend le modèle profond spécifique à l'objet et impossible à transférer vers celui-ci. de nouveaux objets. Plus tard, l'accent de recherche s'est progressivement tourné vers estimation de pose 6D au niveau de la catégorie, qui est utilisée pour traiter des objets invisibles, mais nécessite que l'objet appartienne à une catégorie d'intérêt connue.

Et estimation de pose 6D sans tir est un paramètre de tâche plus général, étant donné un modèle CAO de n'importe quel objet, visant à détecter l'objet cible dans la scène et à estimer sa pose 6D. Malgré son importance, ce paramètre de tâche sans tir est confronté à des défis importants en matière de détection d'objets et d'estimation de pose.

Figure 1. Tâche d'estimation de la pose d'un objet 6D à échantillon nul

Récemment, le modèle de segmentation tout ce qui est SAM [1] a attiré beaucoup d'attention, et son excellente capacité de segmentation à échantillon zéro est accrocheuse. SAM réalise une segmentation de haute précision grâce à divers indices, tels que des pixels, des cadres de délimitation, du texte et des masques, etc., qui fournissent également un support fiable pour la tâche d'estimation de la pose d'objet 6D à échantillon nul, démontrant ainsi son potentiel prometteur.

Par conséquent, des chercheurs de l'Intelligence interdimensionnelle, de l'Université chinoise de Hong Kong (Shenzhen) et de l'Université de technologie de Chine du Sud ont proposé conjointement un cadre innovant d'estimation de la pose d'objet 6D à échantillon zéro, SAM-6D. Cette recherche a été incluse dans le CVPR 2024.

• Lien papier : https://arxiv.org/pdf/2311.15707.pdf
• Lien code : https://github.com/JiehongLin/SAM-6D

SAM-6D réalise une estimation de pose d'objet 6D à échantillon nul en deux étapes, y compris la segmentation d'instance et l'estimation de pose. De manière correspondante, pour tout objet cible, SAM-6D utilise deux sous-réseaux dédiés, à savoir le modèle de segmentation d'instance (ISM) et le modèle d'estimation de pose (PEM) , pour atteindre l'objectif à partir d'images de scène RVB-D où, ISM utilisant SAM ; En tant qu'excellent point de départ, combiné à des scores de correspondance d'objets soigneusement conçus pour réaliser une segmentation d'instance d'objets arbitraires, PEM résout le problème de pose d'objet grâce à un processus de correspondance d'ensembles de points local à local en deux étapes. Un aperçu du SAM-6D est présenté dans la figure 2.

Figure 2. Présentation du SAM-6D

Dans l'ensemble, les contributions techniques du SAM-6D peuvent être résumées comme suit :

• SAM-6D est une pose 6D innovante sans échantillon estimation Le cadre, étant donné un modèle CAO de n'importe quel objet, réalise la segmentation d'instance et l'estimation de pose d'objets cibles à partir d'images RVB-D, et fonctionne parfaitement sur les sept ensembles de données de base de BOP [2].
• SAM-6D exploite la capacité de segmentation sans tir du modèle Segment Everything pour générer tous les candidats possibles et conçoit un nouveau score de correspondance d'objets pour identifier les candidats correspondant aux objets cibles.
• SAM-6D traite l'estimation de pose comme un problème de correspondance d'ensembles de points local à local, adopte une conception de jeton d'arrière-plan simple mais efficace et propose d'abord un modèle de correspondance d'ensembles de points en deux étapes pour les objets arbitraires. une correspondance d'ensemble de points grossière pour obtenir la pose initiale de l'objet, et la deuxième étape utilise un nouveau transformateur d'ensemble de points clairsemé à dense pour effectuer une correspondance d'ensemble de points fine afin d'optimiser davantage la pose.

Modèle de segmentation d'instance (ISM)

SAM-6D utilise le modèle de segmentation d'instance (ISM) pour détecter et segmenter des masques d'objets arbitraires.

Étant donné une scène encombrée représentée par des images RVB, ISM exploite la capacité de transfert zéro-shot du Segmentation Everything Model (SAM) pour générer tous les candidats possibles. Pour chaque objet candidat, ISM calcule un score de correspondance d'objet pour estimer dans quelle mesure il correspond à l'objet cible en termes de sémantique, d'apparence et de géométrie. Enfin, en définissant simplement un seuil de correspondance, les instances correspondant à l'objet cible peuvent être identifiées.

Le score de correspondance d'objet est calculé par la somme pondérée de trois éléments correspondants :

Correspondance sémantique - Pour l'objet cible, ISM restitue les modèles d'objet sous plusieurs perspectives et utilise DINOv2 [3] Le modèle ViT pré-entraîné extrait les caractéristiques sémantiques des objets candidats et des modèles d'objets, et calcule le score de corrélation entre eux. Le score de correspondance sémantique est obtenu en faisant la moyenne des K scores les plus élevés, et le modèle d'objet correspondant au score de corrélation le plus élevé est considéré comme le meilleur modèle de correspondance.

Correspondance d'apparence - Pour le meilleur modèle de correspondance, le modèle ViT est utilisé pour extraire les caractéristiques du bloc d'image et calculer la corrélation entre celle-ci et les caractéristiques du bloc de l'objet candidat pour obtenir le score de correspondance d'apparence, qui est utilisé pour distinguer sémantiquement des objets similaires mais d'apparence différente.

Correspondance géométrique - En tenant compte de facteurs tels que les différences de forme et de taille de différents objets, ISM a également conçu un score de correspondance géométrique. La moyenne de la rotation correspondant au modèle le mieux adapté et au nuage de points de l'objet candidat peut donner une pose d'objet approximative, et le cadre de délimitation peut être obtenu en transformant et en projetant de manière rigide le modèle CAO d'objet à l'aide de cette pose. Le calcul du rapport d'intersection sur union (IoU) entre le cadre englobant et le cadre englobant candidat peut obtenir le score de correspondance géométrique.

Modèle d'estimation de pose (PEM)

Pour chaque objet candidat qui correspond à l'objet cible, SAM-6D utilise un modèle d'estimation de pose (PEM) pour prédire sa pose 6D par rapport au modèle CAO de l'objet.

Désignons les ensembles de points d'échantillonnage des objets candidats segmentés et des modèles CAO d'objets comme et respectivement, où N_m et N_o représentent le nombre de leurs points en même temps, les caractéristiques de ces deux ensembles de points ; sont exprimés par et , C représente le nombre de canaux de la fonctionnalité. L'objectif de PEM est d'obtenir une matrice d'affectation qui représente la correspondance locale à locale de P_m à P_o ; en raison de l'occlusion, P_o ne correspond que partiellement à P_m, et en raison de l'imprécision de la segmentation et du bruit du capteur, P_m ne correspond que partiellement aux correspondances ET partielles. P_o.

Afin de résoudre le problème de l'attribution de points qui ne se chevauchent pas entre deux ensembles de points, ISM les équipe de jetons d'arrière-plan, enregistrés sous les noms et , qui peuvent établir efficacement une correspondance locale à locale basée sur similitude des caractéristiques. Plus précisément, la matrice d'attention peut être calculée d'abord comme suit :

Ensuite, la matrice de distribution

et représentent respectivement l'opération softmax le long des lignes et des colonnes, représente une constante. La valeur de chaque ligne de (sauf la première ligne) représente la probabilité de correspondance de chaque point P_m dans l'ensemble de points P_m avec l'arrière-plan et le point médian de P_o. En localisant l'indice du score maximum, le point correspondant à P_m. peut être trouvé (y compris l'arrière-plan).

Une fois calculé, toutes les paires de points correspondantes {(P_m,P_o)} et leurs scores correspondants peuvent être rassemblés, et enfin le SVD pondéré est utilisé pour calculer la pose de l'objet.

Figure 3. Diagramme schématique du modèle d'estimation de pose (PEM) dans SAM-6D

À l'aide de la stratégie basée sur les jetons d'arrière-plan ci-dessus, deux étapes de correspondance d'ensembles de points sont conçues dans PEM, et son modèle La structure est comme le montre la figure Comme le montre la figure 3, elle contient trois modules : extraction de fonctionnalités, correspondance d'ensembles de points grossiers et correspondance d'ensembles de points fins.

Le module de correspondance d'ensemble de points approximatifs implémente une correspondance clairsemée pour calculer la pose initiale de l'objet, puis utilise cette pose pour transformer l'ensemble de points de l'objet candidat afin d'obtenir un apprentissage du codage de position.

Le module de correspondance d'ensembles de points fins combine le codage de position des ensembles de points d'échantillonnage de l'objet candidat et de l'objet cible, injectant ainsi la correspondance approximative dans la première étape et établissant davantage une correspondance dense pour obtenir une pose d'objet plus précise. Afin d'apprendre efficacement les interactions denses à ce stade, PEM introduit un nouveau transformateur d'ensemble de points clairsemé à dense, qui implémente des interactions sur des versions clairsemées de fonctionnalités denses et utilise le transformateur linéaire [5] pour transformer les fonctionnalités clairsemées améliorées en retour de diffusion. en traits denses.

Résultats expérimentaux

Pour les deux sous-modèles de SAM-6D, le modèle de segmentation d'instance (ISM) est construit sur la base de SAM sans nécessiter de recyclage et de réglage du réseau, tandis que le modèle d'estimation de pose (PEM) Les ensembles de données synthétiques à grande échelle ShapeNet-Objects et Google-Scanned-Objects fournis par MegaPose [4] sont utilisés pour la formation.

Pour vérifier sa capacité à échantillon zéro, SAM-6D a été testé sur sept ensembles de données de base de BOP [2], notamment LM-O, T-LESS, TUD-L, IC-BIN, ITODD, HB et YCB. -V. Les tableaux 1 et 2 montrent respectivement la comparaison de la segmentation des instances et les résultats de l'estimation de pose de différentes méthodes sur ces sept ensembles de données. Comparé à d’autres méthodes, SAM-6D fonctionne très bien sur les deux méthodes, démontrant pleinement sa forte capacité de généralisation.

Tableau 1. Comparaison des résultats de segmentation d'instance de différentes méthodes sur les sept ensembles de données de base de BOP

Tableau 2. Comparaison des résultats d'estimation de pose de différentes méthodes sur les sept ensembles de données de base de BOP

La figure 4 montre les résultats de visualisation de la segmentation de détection et de l'estimation de pose 6D de SAM-6D sur sept ensembles de données BOP, où (a) et (b) sont respectivement les images RVB et les cartes de profondeur testées, (c) est un objet cible donné, tandis que (d) et (e) sont respectivement les résultats de visualisation de la segmentation de détection et de la pose 6D.

Figure 4. Résultats de visualisation de SAM-6D sur les sept ensembles de données de base de BOP.

Pour plus de détails sur la mise en œuvre de SAM-6D, n'hésitez pas à lire l'article original.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!