Proposition de brevet Qualcomm pour améliorer la configuration de la détection et du suivi des objets pour l'interaction gestuelle AR/VR

Configuration optimisée de la détection et du suivi des objets

(英伟网Nweon 4 janvier 2024) Les appareils de réalité étendue peuvent détecter, suivre et identifier des événements ou des objets cibles grâce à des caméras. Les systèmes de suivi traditionnels peuvent ne pas détecter correctement les gestes de l'utilisateur, tels que ceux effectués à mains nues ou par l'utilisateur tenant un objet.

Dans une demande de brevet intitulée « Détection et suivi d'objets dans les appareils de réalité étendue », Qualcomm a proposé une configuration optimisée de détection et de suivi d'objets.

Dans un mode de réalisation, le dispositif de détection et de suivi d'objets peut comprendre un ou plusieurs éléments optiques et peut détecter un ou plusieurs objets ou parties du corps de l'utilisateur dans l'environnement virtuel pour identifier les gestes d'entrée effectués par l'utilisateur. Les dispositifs de détection et de suivi d'objets peuvent détecter des objets dans le champ de vision de la caméra et déterminer que les objets correspondent à un utilisateur spécifique.

Par exemple, un dispositif de détection et de suivi d'objets peut déterminer qu'un objet correspond à l'utilisateur et est utilisé pour fournir un geste de saisie. Le dispositif de détection et de suivi d'objet peut en outre ou en variante déterminer que l'objet ne correspond pas à l'utilisateur et ne sera donc pas utilisé pour fournir un geste d'entrée.

Dans un autre mode de réalisation, le dispositif de détection et de suivi d'objet peut comprendre un ou plusieurs processeurs qui exécutent des instructions stockées dans une mémoire du dispositif de détection et de suivi d'objet pour effectuer un suivi sur la base de la détection de contour unique de l'objet de l'utilisateur.

Par exemple, le profil unique d'un utilisateur peut inclure une ou plusieurs formes caractérisant les mains de l'utilisateur, les empreintes de paume, les contours de la paume, la taille des ongles de l'utilisateur, la forme des ongles de l'utilisateur, la couleur de l'objet, etc. Le dispositif de détection et de suivi d'objet peut exécuter des instructions pour suivre l'objet sur la base du profil de l'utilisateur afin de détecter un ou plusieurs gestes d'entrée de la part de l'utilisateur sur la base du profil de l'utilisateur.

Dans un mode de réalisation, le dispositif de détection et de suivi d'objets peut comprendre un ou plusieurs processeurs, et les processeurs exécutent un ou plusieurs processus d'apprentissage automatique entraînés pour détecter les objets de l'utilisateur à suivre et recevoir un ou plusieurs gestes.

Par exemple, pendant le processus d'initialisation, le dispositif de détection et de suivi de cible peut inviter l'utilisateur à sélectionner un objet détecté par la caméra ou le capteur du dispositif de détection et de suivi de cible comme objet pour détecter l'entrée gestuelle de l'utilisateur. Le dispositif de détection et de suivi d'objet peut appliquer le processus d'apprentissage automatique entraîné aux données d'image caractérisant l'objet sélectionné pour générer une pluralité de points de données de l'objet sélectionné et un modèle multidimensionnel de l'objet sélectionné.

De plus, les dispositifs de détection et de suivi de cibles peuvent appliquer des processus d'apprentissage automatique entraînés à des modèles multidimensionnels de cibles pour estimer les points d'action. Dans un exemple, le dispositif de détection et de suivi d'objet peut mettre en œuvre un mode d'apprentissage pour un processus d'apprentissage automatique dans lequel le processus d'apprentissage automatique peut modifier de manière itérative le point d'action dans l'espace tridimensionnel du geste correspondant.

Par exemple, un dispositif de détection et de suivi de cible peut déterminer un geste en fonction des points d'action générés, et peut demander et recevoir une vérification de l'utilisateur pour confirmer que le geste déterminé est correct.

Un ou plusieurs processeurs peuvent appliquer un processus d'apprentissage automatique au modèle multidimensionnel de l'objet pour générer une table de recherche. La table de recherche peut comprendre une liste de gestes et une séquence de points de suivi dans l'espace tridimensionnel que l'objet peut parcourir pendant le geste. Les points de suivi peuvent comprendre les coordonnées x, y et z de chaque point de suivi dans un espace tridimensionnel.

Lorsque le processus de formation est terminé, un ou plusieurs processeurs peuvent stocker les valeurs et les séquences de points de suivi et les gestes correspondants sous forme de table de recherche dans le dispositif de stockage du dispositif de détection et de suivi d'objets. Une table de recherche correspondant à un objet peut permettre à un ou plusieurs processeurs de détecter et de reconnaître des gestes effectués par l'objet tout en suivant le mouvement de l'objet.

La figure 1 est un schéma fonctionnel d'un exemple de dispositif de détection et de suivi de cible 100. Comme le montre le mode de réalisation de la figure 1, le dispositif de détection et de suivi de cible 100 peut comprendre un ou plusieurs capteurs d'image 112, tels qu'un capteur d'image 112A, un objectif 113A, et un ou plusieurs processeurs de caméra, tels qu'un processeur de caméra 114.

Le dispositif de détection et de suivi d'objet 100 peut comprendre en outre une unité centrale 116, un encodeur/décodeur 117, une unité de traitement graphique 118, une mémoire locale 120 du GPU 118, une interface utilisateur 122, un ordinateur permettant d'accéder au système. mémoire 130 et la mémoire d'instructions 132, le contrôleur de mémoire 124, et l'interface d'affichage 126.

Le dispositif de détection et de suivi d'objet 100 peut recevoir une entrée utilisateur via l'interface utilisateur 122, et en réponse à l'entrée utilisateur reçue, la CPU 116 et/ou le processeur de caméra 114 peuvent activer l'objectif correspondant à la CPU 116 et/ou au processeur de caméra. 114. Par exemple, l'entrée utilisateur reçue peut correspondre à une confirmation que l'objet/la main vu par la lentille 113A est l'objet/la main de l'utilisateur qui doit être suivi pour le geste d'entrée.

La figure 2A montre la plage de suivi dans le système XR. 2A comprend l'utilisateur 202 ayant un champ de vision 204. Comme le montre la figure 2A, le champ de vision 202 de l'utilisateur 204 peut avoir un écart angulaire de 120 degrés. Le champ de vision 204 peut être la zone dans laquelle le système VR, AR ou XR peut suivre les gestes d'entrée de l'utilisateur 202.

Par exemple, un système VR, AR ou XR peut suivre un objet dans le champ de vision 204, à savoir la main de l'utilisateur. Le champ de vision 204 peut s'étendre d'un premier rayon depuis l'utilisateur jusqu'à un deuxième rayon depuis l'utilisateur. Comme le montre la figure 2A, le champ de vision 204 peut s'étendre d'un rayon d'environ 10 centimètres depuis les yeux de l'utilisateur 202 jusqu'à un rayon de 60 à 80 centimètres depuis l'utilisateur.

Bien que la figure 2A montre la main de l'utilisateur 202 dans le champ de vision 204, plusieurs mains d'utilisateurs différents peuvent apparaître dans le champ de vision 204. Le système VR, AR ou XR peut détecter les mains insérées dans le champ de vision 204, déterminer si chaque main est associée à un utilisateur correspondant et peut suivre les mains associées à l'utilisateur correspondant. Par exemple, un système VR, AR ou XR peut détecter les gestes d'entrée de chaque utilisateur.

La figure 2B montre le champ de vision 204 de l'utilisateur avec une zone de placement 206 utilisée pour initialiser la détection et le suivi de la cible. 2B comprend un utilisateur 202 ayant un champ de vision 204 et une zone de placement 206 dans le champ de vision 204.

Dans un mode de réalisation, lors de l'initialisation du processus de détection et de suivi d'objet, le dispositif de détection et de suivi d'objet 100 peut générer et afficher un surbrillance de la zone de placement 206 dans l'environnement virtuel à l'utilisateur 202.

Par exemple, la CPU 116 peut exécuter des instructions stockées dans l'unité de détection 132A pour générer une demande permettant à l'utilisateur 202 d'insérer un objet dans la zone de placement 206. L'unité d'affichage 208 peut faire en sorte que la zone de placement 206 soit mise en surbrillance dans l'espace virtuel. environnement et affiché à l'utilisateur 202. Lors de l'initialisation, le dispositif de détection et de suivi d'objet 100 peut détecter des objets présents dans la zone de placement 206 en tant qu'objets de l'utilisateur 202 à suivre pour reconnaître les gestes d'entrée de l'utilisateur 202.

La figure 3 illustre l'insertion d'un objet dans la plage de suivi du système XR à l'aide du dispositif de détection et de suivi d'objet 100 de la figure 1. La figure 3 comprend une zone de placement 308 avec l'angle d'insertion et la direction d'insertion de la main 202 de l'utilisateur 310 dans la zone de placement 308 mis en évidence pour l'utilisateur 202. 3 comprend un dispositif de projection 302) capable de projeter une zone de placement 308 entourée des bordures 304 et 306 de la zone de placement 308.

Le dispositif de projection 302 peut mettre en évidence à l'utilisateur l'angle selon lequel l'utilisateur peut insérer la main 310 dans la zone de placement 308 pour la détection par le dispositif de détection et de suivi d'objet 100. Dans un exemple, le dispositif de projection 302 peut générer et afficher une image dans l'environnement virtuel qui identifie la direction d'insertion dans la zone de placement 308 et détecte la main 310.

Dans un mode de réalisation, le dispositif de détection et de suivi de cible 100 peut déterminer si l'angle d'insertion de la main 310 se situe dans une plage prédéterminée, et peut générer des données de contour identifiant la main 310 comme étant la main de l'utilisateur sur la base de la détermination. Par exemple, la plage prédéterminée peut être une plage de valeurs d'angle basées sur le champ de vision de l'utilisateur.

Lorsque le dispositif de détection et de suivi de cible 100 détermine que l'angle d'insertion de détection de la main 310 se situe dans une plage de valeurs prédéterminée, le dispositif de détection et de suivi de cible 100 peut enregistrer la main 310 en tant qu'objet que l'utilisateur doit suivre. De même, le dispositif de détection et de suivi d'objet 100 peut déterminer que la direction d'insertion dans la zone de placement 308 est une direction appropriée (et le dispositif de détection et de suivi d'objet 100 peut enregistrer la main 310 en tant qu'objet à suivre pour l'utilisateur.

Comme autre exemple, le dispositif de détection et de suivi d'objet 100 peut déterminer que l'angle d'insertion de la main 310 n'est pas compris dans une plage numérique prédéterminée et peut ne pas associer la main 310 à l'utilisateur. De même, le dispositif de détection et de suivi d'objet 100 peut déterminer que la direction d'insertion dans la zone de placement 308 n'est pas une direction appropriée et peut ne pas associer la main 310 à l'utilisateur.

De cette manière, le dispositif de détection et de suivi d'objet 100 peut ne pas enregistrer la main 310 comme objet à suivre. Dans un mode de réalisation, le dispositif de détection et de suivi d'objet 100 peut demander à l'utilisateur 202 de rentrer dans la main 310 selon un angle et/ou une direction suggérés.

Par exemple, le dispositif de détection et de suivi d'objet 100 peut fournir des repères visuels par projection à l'intérieur ou à proximité de la zone de placement 308 pour indiquer l'angle d'insertion et/ou la direction d'insertion à l'utilisateur 202 à travers lesquels l'angle d'insertion et/ou la direction d'insertion l'utilisateur 202 peut ensuite insérer la main. 310 est enregistré avec succès comme la main de l'utilisateur 202 via le système XR.

La figure 4 montre la technique de marquage utilisée pour identifier les mains. La figure 4 comprend des aiguilles 402 et 404, dont chacune comprend une pluralité de repères 406 et 408, respectivement. Le dispositif de détection et de suivi d'objets 100 peut identifier de manière unique la main de l'utilisateur 202 comme décrit ici sur la base des points de repère 406 et 408.

Par exemple, chaque repère 406 et 408 peut être un ensemble de points qui décrivent de manière unique la géométrie des mains 402 et 404 de l'utilisateur 202, respectivement. Le dispositif de détection et de suivi d'objet 100 peut détecter et identifier les mains 402 et 404 sur la base de dessins de lignes manuelles.

Le dispositif de détection et de suivi de cible 100 peut comparer les points de repère 406 et 408 à un ensemble de points stockés dans la mémoire du dispositif de détection et de suivi de cible 100. Après avoir détecté avec succès une correspondance, le dispositif de détection et de suivi d'objet 100 peut déterminer que la main insérée dans la zone de placement est la main de l'utilisateur 202 et enregistrer l'objet détecté en tant qu'objet de l'utilisateur 202, suivant et recevant ainsi des gestes d'entrée de l'utilisateur 202 .

La figure 5A illustre les lignes de paume qui peuvent être utilisées pour identifier de manière unique une main. Comme le montre la figure 5A, la figure 5A comprend l'empreinte palmaire 506 (lignes 1 à 7). Le dispositif de détection et de suivi d'objet 100 peut identifier et détecter de manière unique l'objet présentant les caractéristiques représentées sur la figure 5A sur la base de la comparaison des données caractérisant la ligne palmaire 506 avec un autre ensemble de données caractérisant la ligne palmaire et stockées dans la mémoire de détection d'objet. et un dispositif de suivi 100 de la paume de la main.

Après avoir déterminé que la correspondance est réussie, le dispositif de détection et de suivi de cible 100 peut déterminer la main insérée dans la zone de placement 308 comme étant la main de l'utilisateur 202, et peut suivre le mouvement de la main, par exemple en déterminant le geste de l'utilisateur. utilisateur 202. Le dispositif de détection et de suivi d'objets 100 ne se limite pas à utiliser la ligne palmaire 506 comme décrit ci-dessus pour déterminer une correspondance réussie.

Dans un mode de réalisation, le dispositif de détection et de suivi d'objet 100 peut utiliser d'autres caractéristiques uniques de la main de l'utilisateur 202, telles que le contour de la paume, la forme de la main, la taille des ongles, la forme des ongles, la couleur de la main, etc., pour identifier de manière unique la main. .pour la main de l'utilisateur 202. Une fois détecté, le dispositif de détection et de suivi d'objet 100 peut générer des données de contour qui enregistrent la main comme celle de l'utilisateur 202 du système XR. Le dispositif de détection et de suivi d'objet 100 peut suivre le mouvement de la main pour recevoir des gestes d'entrée de l'utilisateur 202 sur la base des données de contour.

La figure 5B montre une carte de contour de la paume qui peut être utilisée pour identifier de manière unique une main. La figure 5B comprend des données d'image de contour de paume 504 comme le montre la figure 5B. Les données d'image de profil de paume 504 peuvent être basées sur des images capturées par la caméra 115 du dispositif 100 de détection et de suivi d'objet. Le dispositif de détection et de suivi d'objet 100 peut identifier et détecter de manière unique une main ayant un profil de paume représenté par des données d'image de profil de paume 504.

Par exemple, le dispositif de détection et de suivi de cible 100 peut comparer les données d'image de profil de paume 504 avec les données de profil de paume stockées dans la mémoire du dispositif de détection et de suivi de cible 100 décrit ci-dessus pour déterminer si le profil de paume correspond.

Dans un mode de réalisation, la mémoire système 132 stocke les données de profil de paume pour plusieurs utilisateurs. Les données de contour de la paume peuvent identifier et caractériser plusieurs emplacements de pixels le long des contours de la main capturés dans l'image. Le dispositif de détection et de suivi d'objet 100 peut effectuer des opérations pour déterminer si des données de profil de paume pour l'utilisateur correspondent au profil des données d'image de profil de paume 504 pour identifier l'utilisateur.

Après avoir déterminé que la correspondance est réussie, le dispositif de détection et de suivi de cible 100 peut déterminer la main insérée dans la zone de placement 308 comme étant la main de l'utilisateur 202, et peut détecter et suivre le geste de la main comme le geste d'entrée de l'utilisateur 202. .

La figure 6 montre la technologie de suivi dans le système XR. La figure 6 inclut l'utilisateur 602 ayant un champ de vision 604. Le champ de vision 602 604 de l'utilisateur peut avoir une extension angulaire de plusieurs degrés, par exemple 120 degrés, comme le montre la figure 6. Généralement, le champ de vision 604 peut être une zone dans un environnement réel où un système VR, AR ou XR peut suivre les gestes d'entrée de l'utilisateur 602.

Comme le montre la figure 6, le champ de vision 604 peut s'étendre d'un rayon d'environ 10 cm depuis les yeux 602 de l'utilisateur jusqu'à un rayon compris entre 60 et 80 cm depuis l'utilisateur.

La figure 7 montre un diagramme de suivi de la main utilisant 20 points différents de la main. Dans ce document, chacun des 20 points est décrit par sa position spécifique sur la main commune. Cependant, lorsque la main de l'utilisateur a une forme irrégulière, comme avoir quatre doigts au lieu de cinq ou que l'utilisateur a un revêtement sur la main, chacun des 20 points représentés sur la figure 7A peut ne pas exister ou ne pas être identifié ;

Par exemple, la figure 8A est un diagramme schématique montrant une main recouverte d'un revêtement. La figure 8A comprend une main 802 avec une moufle couvrant la main et un contour 804 représentant la forme de la main 802.

Par rapport à la figure 7, le modèle à 20 points utilisé pour reconnaître et détecter la main de l'utilisateur peut ne pas être utilisé pour détecter ou suivre le mouvement de la main 802 utilisée pour reconnaître le geste d'entrée, du moins parce que la main 802 ne peut pas être mappée à les 20 points, ou cartographier un nombre suffisant de points pour détecter et suivre la main 802 en utilisant la technique des 20 points.

La figure 8B est un diagramme schématique montrant une main de forme irrégulière. La figure 8B comprend une main 806 ayant une forme irrégulière (par exemple, manquant un majeur), un contour 808 décrivant la forme de la main 806. Contrairement à la figure 7, le modèle à 20 points utilisé pour identifier et détecter la main de l'utilisateur ne peut pas être utilisé pour détecter ou suivre le mouvement de la main 806 utilisée pour reconnaître le geste d'entrée, au moins parce que la main 802 peut ne pas être cartographiée. aux 20 points, ou Mapper un nombre suffisant de points pour détecter et suivre la main 802 en utilisant la technique des 20 points.

Cependant, la technique de démarrage d'initialisation illustrée à la figure 9 peut permettre au dispositif de détection et de suivi d'objets 100 de détecter des formes et des tailles inattendues d'objets.

Plus précisément, la figure 9 montre une technique de suivi des mains pour suivre des mains aux formes inattendues ou irrégulières. La figure 9 comprend la main 902 avec les lignes de contour 904. Après avoir détecté une main couverte (ou une main de forme irrégulière), le dispositif de détection et de suivi d'objet 100 peut générer une pluralité de points de données 906 pour la main 902 sur la base de l'image de la main 902.

Le dispositif de détection et de suivi d'objets 100 peut générer un modèle multidimensionnel de la main 902 basé sur plusieurs points de données 906. Par exemple, le dispositif de détection et de suivi d'objet 100 peut capturer une ou plusieurs images de la main 902 dans un environnement réel d'un environnement hybride d'un système XR et tracer les points de données 906 dans un espace tridimensionnel pour générer un modèle multidimensionnel. de la main 902 .

Le modèle multidimensionnel peut être un modèle 3D de la main 902. Le dispositif de détection et de suivi d'objet 100 peut également générer une pluralité de points d'action sur la base du modèle multidimensionnel de la main 902 et du geste détecté. Le dispositif de détection et de suivi d'objet 100 peut en outre déterminer une pluralité de points de suivi.

Le point de suivi peut être un point dans l'espace tridimensionnel que la main 902 est censée parcourir lors de l'exécution du geste, et le point de suivi peut être stocké dans une table de recherche spécifique à la main 902. Chaque séquence de points de suivi dans la table de recherche peut correspondre à un geste. Lorsque la main 902 se déplace dans un espace tridimensionnel, le dispositif de détection et de suivi d'objet 100 peut déterminer le geste de la main 902 à l'aide d'une table de recherche.

Brevets associés : Brevet Qualcomm | Détection et suivi d'objets dans les appareils de réalité étendue

https://patent.nweon.com/32609

La demande de brevet Qualcomm intitulée « Détection et suivi d'objets dans les appareils de réalité étendue » a été initialement soumise en juin 2022 et a été récemment publiée par l'Office américain des brevets et des marques.

Il est à noter que, de manière générale, après examen d'une demande de brevet américain, elle sera automatiquement publiée 18 mois à compter de la date de dépôt ou de la date de priorité, ou elle sera publiée dans les 18 mois à compter de la date de dépôt à la demande du demandeur. Notez que la publication d'une demande de brevet ne signifie pas que le brevet est approuvé. Après le dépôt d’une demande de brevet, l’USPTO exige un véritable examen, qui peut prendre de 1 à 3 ans.

De plus, il ne s'agit que d'une demande de brevet, ce qui ne signifie pas qu'elle sera approuvée. En même temps, on ne sait pas si elle sera réellement commercialisée ni quel sera l'effet réel de son application.

---

Lien original : https://news.nweon.com/116552

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!