Selon un rapport de Yingwei.com du 2 janvier 2024, la technologie de suivi oculaire pour les casques XR se développe rapidement. Cette technologie peut suivre les mouvements oculaires et déterminer la direction du regard d'un utilisateur en analysant la direction des yeux de l'utilisateur et les signaux lumineux infrarouges réfléchis par les yeux. Par exemple, une technologie courante consiste à installer une ou plusieurs sources de lumière infrarouge sur un visiocasque pour émettre une lumière infrarouge vers les yeux de l'utilisateur depuis différentes directions. Le capteur détecte la lumière infrarouge (scintillement) réfléchie par les yeux de l'utilisateur et est utilisé pour déterminer la position XYZ et la direction du regard des yeux de l'utilisateur.
Afin d'améliorer la précision et la puissance de traitement des systèmes de suivi oculaire infrarouge, il est généralement nécessaire de placer plusieurs sources de lumière infrarouge différentes autour des yeux de l'utilisateur. Ces sources lumineuses produisent différents effets de scintillement sur la cornée. En analysant ces effets de scintillement, le système peut suivre avec plus de précision les mouvements oculaires de l'utilisateur. Cette méthode peut améliorer la précision de suivi du système et être capable de gérer des comportements de mouvements oculaires plus complexes.
Malheureusement, les systèmes XR traditionnels présentent certaines limites lors de l'utilisation de sources de lumière infrarouge pour le positionnement. En règle générale, les systèmes traditionnels placent la source de lumière infrarouge sur le bord du casque ou sur une autre structure où sont montés l'objectif d'affichage et l'écran. Cependant, cette position périphérique n’est pas toujours la meilleure option, il est donc nécessaire d’ajouter davantage de sources lumineuses ou d’utiliser des sources lumineuses plus grandes et plus puissantes. Si la source de lumière pouvait être placée plus près ou mieux par rapport à l'iris de l'œil de l'utilisateur, aucune source de lumière supplémentaire ne serait nécessaire.
Afin de résoudre le problème de l'obstruction visuelle du point de vue de l'utilisateur dans l'environnement de réalité mixte, le système XR a essayé une nouvelle méthode, qui consiste à placer la source de lumière infrarouge loin du bord de l'écran et près des yeux dans le champ de vision de l'utilisateur. Cependant, ce système existant présente des problèmes car la taille de la source de lumière infrarouge est généralement comprise dans la plage diamètre/largeur de 1,0 mm à 4,0 mm, ce qui est très visible dans le champ de vision de l'utilisateur. Par conséquent, afin de réduire l'impact sur l'angle de vision de l'utilisateur, la plupart des systèmes conventionnels positionnent uniquement la source de lumière infrarouge à un emplacement sous-optimal sur le bord périphérique de l'objectif/de l'écran.
En réponse à ce problème, Microsoft a déposé une demande de brevet intitulée « Éclairage invisible basé sur Microled pour le suivi oculaire », qui apporte une solution. Selon Microsoft, cette invention permet d'éclairer directement les sources de lumière infrarouge dans la zone de visualisation de l'objectif du visiocasque dans la direction optimale sans interférer avec la perception de l'utilisateur de l'environnement de réalité mixte. Cette solution est également capable de localiser les yeux/iris de l'utilisateur et les capteurs de caméra correspondants pour alimenter la technologie de suivi oculaire.
La société a proposé une méthode permettant d'utiliser des sources de lumière infrarouge μLED inférieures à 100 μm pour créer des structures de lentilles d'éclairage. Cette µLED est intégrée dans la lentille du casque, rendant sa présence invisible pour l'utilisateur. Par conséquent, lors de son utilisation, cette μLED ne provoquera aucune obstruction ou interférence dans la présentation de l’environnement de réalité mixte.
Maintenant, prêtons attention à la figure 1. La configuration du visiocasque est basée sur la caméra 130 ou d'autres capteurs capturant la réflexion de la lumière pour le suivi oculaire. Lors de l'utilisation, la source lumineuse émet un flash lumineux autour des yeux de l'utilisateur. Une fois la lumière émise, elle est réfléchie par les yeux de l'utilisateur (en particulier l'iris) et est détectée par la caméra.
En détectant l'intensité et le timing de l'intensité lumineuse par rapport à la source lumineuse, le module de traitement de la lumière du casque est capable de détecter avec précision la position et la direction des yeux et de l'iris de l'utilisateur.
Le système peut distinguer les pupilles et l'iris de l'utilisateur en effectuant un traitement supplémentaire sur l'image capturée par la caméra/capteur. Cette image traitée peut aider le système à déterminer la position des yeux de l'utilisateur ainsi que la direction et le regard des yeux de l'utilisateur par rapport à l'hologramme projeté ou à un autre objet. En utilisant les informations de position des yeux de l'utilisateur, le système peut également positionner là où cela est nécessaire et reprojeter l'hologramme pour prendre en charge la présentation d'environnements de réalité mixte.
La figure 2 montre une représentation de l'œil 200 d'un utilisateur, où une source de lumière infrarouge 210 émet une lumière infrarouge 220 vers l'œil 200 de l'utilisateur. La lumière infrarouge est réfléchie sous forme de réflexions spéculaires et diffuses. La figure 2 montre également comment une caméra 250 ou un autre capteur peut être positionné pour détecter une ou plusieurs réflexions.
Grâce à la position de la source lumineuse, au temps pendant lequel la source lumineuse émet de la lumière, à la position de la caméra, ainsi qu'à l'intensité et au temps mesurés de la réflexion de la lumière détectée par l'œil de l'utilisateur, le système peut déterminer le positionnement relatif des yeux de l'utilisateur. /iris. En effet, la lumière se reflète différemment dans différentes parties de l'œil de l'utilisateur, par exemple elle se reflète différemment dans les zones de la pupille et de l'iris de la cornée que dans la sclère. La détection et la mesure de cette différence se font selon que la réflexion est spéculaire ou diffuse.
Pour que la source lumineuse soit positionnée de manière optimale, par exemple à proximité de la cornée de l'utilisateur, la source lumineuse doit être positionnée à l'emplacement approprié. Malheureusement, les sources de lumière infrarouge traditionnelles sont trop grandes (par exemple 1 à 4 mm) pour être positionnées dans le champ de vision de l'utilisateur sans obstruer la vue de l'utilisateur sur l'environnement à travers l'objectif.
Pour aider à résoudre ces problèmes, Microsoft propose l'utilisation de lentilles d'éclairage configurées avec des µLED infrarouges. Avec cette configuration, la source lumineuse peut être placée de manière optimale à proximité des yeux de l'utilisateur sans avoir à prendre en compte les limitations existantes imposées par le facteur de forme physique de la structure de montage du casque.
La figure 3 montre une structure de lentille μLED infrarouge 300 avec 16 μLED infrarouges disposées en grille. La µLED infrarouge est placée sur un substrat transparent 310, formant un circuit le long des traces conductrices 320 entre les bornes anode et cathode. Par exemple, lorsque le circuit est alimenté par l'alimentation du casque, qui peut être connectée électriquement aux bornes de l'anode et de la cathode et contrôlée par une unité de commande d'éclairage, la μLED infrarouge s'activera et émettra une lumière infrarouge.
La longueur d'onde lumineuse de la µLED infrarouge est comprise entre 790 μm et 1 mm. Dans des modes de réalisation préférés, la µLED infrarouge émet de la lumière à une longueur d'onde d'environ 800 à 900 µm, encore plus préférablement à une longueur d'onde d'environ 850 µm.
Les figures 4A à 4D montrent les différents nombres de µLED infrarouges dans différentes structures de lentilles d'éclairage. Plus précisément, le modèle de distribution des uLED infrarouges est quelque peu circulaire/elliptique sur la figure 4A, mais quelque peu rectangulaire sur la figure 4C et quelque peu en forme de losange sur la figure 4D. D'autre part, le mode de réalisation représenté sur la figure 4B comprend deux motifs différents, un motif extérieur circulaire/ovale et un motif intérieur triangulaire.
De plus, la structure de lentilles d'éclairage 400A est composée de 6 uLED infrarouges, tandis que les structures de lentilles d'éclairage 400C et 400D sont chacune composées de 8 uLED infrarouges. La structure de lentille d'éclairage 400B contient 19 uLED infrarouges.
Différentes quantités et modèles d'uLED infrarouges peuvent être modifiés pour répondre à différents besoins et préférences.
Sur la figure 5, l'affichage principal 500 est configuré avec une structure de lentille d'éclairage transparente 510, et la structure de lentille 510 comporte une pluralité de µLED infrarouges 540. Comme le montre la figure, les µLED infrarouges 540 sont réparties selon une forme circulaire, au nombre de 8 dans chaque zone de l'œil et du cristallin. Différentes µLED IR 540 peuvent être sélectionnées pour être connectées dans un seul circuit ou dans deux circuits différents ou plus. Les traces électriques formant le circuit ne sont pas représentées.
Pendant l'utilisation, la lumière émise par l'uLED infrarouge sera dirigée au moins partiellement vers les yeux de l'utilisateur, et la lumière sera réfléchie et détectée par la caméra de l'appareil 530.
La figure 6 montre un mode de réalisation d'une paire de lunettes 600 ayant une première structure de lentille éclairante transparente 610 comprenant quatre uLED infrarouges et une deuxième structure de lentille éclairante transparente 620 comprenant huit uLED infrarouges.
Cet exemple est utilisé pour illustrer que les deux côtés du casque n'ont pas nécessairement une distribution uLED infrarouge correspondante/symétrique. Quels que soient le nombre et la répartition des uLED infrarouges, il convient de comprendre que pendant l'utilisation, la lumière émise par les uLED infrarouges sera dirigée au moins partiellement vers les yeux de l'utilisateur, et que la lumière peut être réfléchie et détectée par la caméra du dispositif 630.
Dans un mode de réalisation connexe, le système de visiocasque 700 représenté sur la figure 7 comprend une structure de lentille d'éclairage transparente 710 avec un pare-soleil. Dans cet exemple, un côté de la visière comporte plusieurs uLED infrarouges formant un motif circulaire. L’autre côté de la visière comporte quatre uLED infrarouges disposées selon un motif carré.
Concernant tous les exemples précédents, l'IR uLED ne s'affiche pas proportionnellement. En fait, les uLED IR sont si petites (
De plus, étant donné que les LED infrarouges sont si petites, elles peuvent être utilisées pour éclairer les yeux de l'utilisateur avec une lumière infrarouge, tout en étant positionnées au-dessus de l'objectif que traverse l'utilisateur sans obstruer le champ de vision de l'utilisateur à travers l'objectif.
Les traces conductrices sont très fines, avec une largeur inférieure à 50 μm, voire inférieure à 25 μm, elles ne sont donc pas visuellement évidentes et pratiquement invisibles lorsqu'elles sont utilisées à proximité des yeux de l'utilisateur. Cette configuration est particulièrement avantageuse car elle permet de positionner la trace à l'intérieur de la structure de lentille d'éclairage. Même s'il est positionné directement devant les yeux de l'utilisateur, il ne gênera pas la vision de l'environnement à travers l'objectif pendant l'utilisation.
La figure 8 visualise le processus de fabrication utilisé pour fabriquer la structure de lentille d'éclairage de l'invention.
Comme illustré, le processus de fabrication comprend l'obtention d'une plaquette 810 contenant une ou plusieurs µLED infrarouges. Par exemple, la tranche 810 peut être une tranche épitaxiale formée par un processus de croissance ou de dépôt épitaxial.
Le processus 800 illustré à la figure 8 comprend également l'obtention d'un substrat 820 sur lequel l'uLED infrarouge est transférée. Comme illustré, un processus de transfert 830 est effectué pour transférer une ou plusieurs uLED infrarouges vers des traces conductrices 825 qui se trouvent déjà sur un substrat 820 et forment un ou plusieurs circuits différents 827 sur le substrat.
La taille d'une μLED IR retirée et placée sur un substrat est limitée à
La taille maximale de l'uLED infrarouge peut être inférieure à 75 μm, inférieure à 50 μm ou même inférieure à 20 μm. Dans un mode de réalisation, la dimension maximale de l'uLED infrarouge est d'environ 10 µm.
La largeur de la trace est également limitée, et l'épaisseur ne peut être supérieure à
La figure 9 montre un organigramme 900 configuré pour effectuer un suivi oculaire, dans lequel le visiocasque comprend une lentille d'éclairage contenant une pluralité de μLED infrarouges, et chacune de la pluralité de μLED infrarouges a une dimension maximale
Les composants du système contrôlent l'éclairage des uLED infrarouges, émettant une lumière infrarouge à partir d'un ou plusieurs uLED infrarouges dans la lentille d'éclairage vers les yeux de l'utilisateur.
Ensuite, le casque est en outre configuré pour détecter et traiter les scintillements de la lumière infrarouge réfléchie par les yeux de l'utilisateur pendant l'utilisation du casque, et déterminer la position des yeux de l'utilisateur en fonction des scintillements détectés et traités.
L'attention se tourne maintenant vers la figure 10, qui illustre un organigramme 1000 pour fabriquer une structure de lentille d'éclairage utilisant plusieurs uLED infrarouges.
Cela inclut l'application de plusieurs traces sur un fond de panier transparent pour obtenir un substrat transparent. Une pluralité de traces sont électriquement conductrices et forment au moins un circuit électrique entre la borne anodique et la borne cathodique.
Ensuite, une plaquette IR μLED est obtenue, qui contient plusieurs μLED IR ou un matériau qui peut être extrait individuellement dans des μLED IR discrètes d'une taille maximale
Brevets associés : Brevet Microsoft | Éclairage invisible à base de microled pour le suivi oculaire
La demande de brevet Microsoft intitulée « Éclairage invisible basé sur Microled pour le suivi oculaire » a été initialement soumise en janvier 2023 et a été récemment publiée par l'Office américain des brevets et des marques.
Il est à noter que, de manière générale, après examen d'une demande de brevet américain, elle sera automatiquement publiée 18 mois à compter de la date de dépôt ou de la date de priorité, ou elle sera publiée dans les 18 mois à compter de la date de dépôt à la demande du demandeur. Notez que la publication d'une demande de brevet ne signifie pas que le brevet est approuvé. Après le dépôt d’une demande de brevet, l’USPTO exige un véritable examen, qui peut prendre de 1 à 3 ans.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
