Laut einem Bericht von Yingwei.com vom 2. Januar 2024 entwickelt sich die Eye-Tracking-Technologie für XR-Headsets rasant weiter. Diese Technologie kann Augenbewegungen verfolgen und die Blickrichtung eines Benutzers bestimmen, indem sie die Richtung der Augen des Benutzers und die von den Augen reflektierten Infrarotlichtsignale analysiert. Eine gängige Technologie besteht beispielsweise darin, eine oder mehrere Infrarotlichtquellen auf einem Head-Mounted-Display zu installieren, um Infrarotlicht aus verschiedenen Richtungen in Richtung der Augen des Benutzers zu senden. Der Sensor erkennt das von den Augen des Benutzers reflektierte Infrarotlicht (Flimmern) und wird zur Bestimmung der XYZ-Position und Blickrichtung der Augen des Benutzers verwendet.
Um die Genauigkeit und Rechenleistung von Infrarot-Eye-Tracking-Systemen zu verbessern, ist es in der Regel notwendig, mehrere verschiedene Infrarotlichtquellen um die Augen des Benutzers zu platzieren. Diese Lichtquellen erzeugen unterschiedliche Flimmereffekte auf der Hornhaut. Durch die Analyse dieser Flackereffekte kann das System die Augenbewegungen des Benutzers genauer verfolgen. Diese Methode kann die Tracking-Genauigkeit des Systems verbessern und komplexere Augenbewegungsverhalten verarbeiten.
Leider weisen herkömmliche XR-Systeme einige Einschränkungen bei der Verwendung von Infrarotlichtquellen zur Positionierung auf. Typischerweise platzieren herkömmliche Systeme die Infrarotlichtquelle am Rand des Headsets oder einer anderen Struktur, an der die Anzeigelinse und der Bildschirm montiert sind. Allerdings ist diese Randposition nicht immer die beste Option, sodass es notwendig ist, mehr Lichtquellen hinzuzufügen oder größere, leistungsstärkere Lichtquellen zu verwenden. Wenn die Lichtquelle näher oder besser relativ zur Augeniris des Benutzers platziert werden könnte, wäre keine zusätzliche Lichtquelle erforderlich.
Um das Problem der Sehbehinderung aus der Sicht des Benutzers in der Mixed-Reality-Umgebung zu lösen, hat das XR-System eine neue Methode ausprobiert, bei der die Infrarotlichtquelle vom Rand des Displays entfernt und nahe an den Augen platziert wird Sichtfeld des Benutzers. Bei diesem bestehenden System gibt es jedoch Probleme, da die Größe der Infrarotlichtquelle typischerweise im Durchmesser-/Breitenbereich von 1,0 mm bis 4,0 mm liegt, was im Sichtfeld des Benutzers gut sichtbar ist. Um die Auswirkungen auf den Blickwinkel des Benutzers zu verringern, positionieren die meisten herkömmlichen Systeme die Infrarotlichtquelle daher nur an einer suboptimalen Stelle am Umfangsrand der Linse/des Displays.
Als Reaktion auf dieses Problem hat Microsoft eine Patentanmeldung mit dem Titel „Microled-basierte unsichtbare Beleuchtung für Eye-Tracking“ eingereicht, die eine Lösung bietet. Laut Microsoft ermöglicht diese Erfindung die direkte Beleuchtung von Infrarotlichtquellen im Sichtbereich der Head-Mounted-Display-Linse in der optimalen Richtung, ohne die Wahrnehmung der Mixed-Reality-Umgebung durch den Benutzer zu beeinträchtigen. Diese Lösung ist auch in der Lage, die Augen/Iris des Benutzers und entsprechende Kamerasensoren zu lokalisieren, um die Eye-Tracking-Technologie zu betreiben.
Das Unternehmen hat eine Methode zur Herstellung von Beleuchtungslinsenstrukturen mit Infrarot-μLED-Lichtquellen vorgeschlagen, die kleiner als 100 μm sind. Diese μLED ist in die Linse des Headsets eingebettet und macht ihre Anwesenheit für den Benutzer unsichtbar. Daher verursacht diese μLED während des Gebrauchs keinerlei Behinderungen oder Störungen bei der Darstellung der Mixed-Reality-Umgebung.
Lassen Sie uns nun auf Abbildung 1 achten. Die Konfiguration des am Kopf montierten Geräts basiert auf der Kamera 130 oder anderen Sensoren, die die Lichtreflexion zur Augenverfolgung erfassen. Während des Gebrauchs sendet die Lichtquelle einen Lichtblitz um die Augen des Benutzers aus. Sobald das Licht ausgesendet wird, wird es von den Augen des Benutzers (insbesondere der Iris) reflektiert und von der Kamera erkannt.
Durch die Erfassung der Intensität und des Zeitpunkts der Lichtintensität im Verhältnis zur Lichtquelle ist das Lichtverarbeitungsmodul des Headsets in der Lage, die Position und Richtung der Augen und der Iris des Benutzers genau zu erkennen.
Das System kann die Pupillen und die Iris des Benutzers unterscheiden, indem es eine zusätzliche Verarbeitung des von der Kamera/dem Sensor aufgenommenen Bildes durchführt. Dieses verarbeitete Bild kann dem System dabei helfen, die Position der Augen des Benutzers sowie die Richtung und den Blick der Augen des Benutzers relativ zum projizierten Hologramm oder anderen Objekt zu bestimmen. Anhand der Positionsinformationen der Augen des Benutzers kann das System das Hologramm auch dort positionieren, wo es benötigt wird, und es neu projizieren, um die Darstellung von Mixed-Reality-Umgebungen zu unterstützen.
Abbildung 2 zeigt eine Darstellung des Auges 200 eines Benutzers, wobei eine Infrarotlichtquelle 210 Infrarotlicht 220 in Richtung des Auges 200 des Benutzers aussendet. Infrarotlicht wird als spiegelnde und diffuse Reflexion zurückreflektiert. Abbildung 2 zeigt auch, wie eine Kamera 250 oder ein anderer Sensor positioniert werden kann, um eine oder mehrere Reflexionen zu erkennen.
Anhand der Position der Lichtquelle, der Zeit, zu der die Lichtquelle Licht aussendet, der Position der Kamera sowie der gemessenen Intensität und Zeit der erkannten Lichtreflexion vom Auge des Benutzers kann das System die relative Position der Augen des Benutzers bestimmen /Iris. Dies liegt daran, dass Licht in verschiedenen Teilen des Auges des Benutzers unterschiedlich reflektiert wird, beispielsweise in den Pupillen- und Irisbereichen der Hornhaut anders als in der Sklera. Die Erkennung und Messung dieses Unterschieds basiert darauf, ob die Reflexion spiegelnd oder diffus ist.
Damit die Lichtquelle optimal positioniert werden kann, beispielsweise in der Nähe der Hornhaut des Benutzers, muss die Lichtquelle an der entsprechenden Stelle positioniert werden. Leider sind herkömmliche Infrarotlichtquellen zu groß (z. B. 1–4 mm), um im Sichtfeld des Benutzers positioniert zu werden, ohne die Sicht des Benutzers auf die Umgebung durch das Objektiv zu beeinträchtigen.
Um diese Probleme zu lösen, schlägt Microsoft die Verwendung von Beleuchtungslinsen vor, die mit Infrarot-μLEDs konfiguriert sind. Mit dieser Konfiguration kann die Lichtquelle optimal nahe an den Augen des Benutzers platziert werden, ohne dass bestehende Einschränkungen durch den physischen Formfaktor der Headset-Montagestruktur berücksichtigt werden müssen.
Abbildung 3 zeigt eine Infrarot-μLED-Linsenstruktur 300 mit 16 in einem Raster angeordneten Infrarot-μLEDs. Die Infrarot-μLED wird über einem transparenten Substrat 310 platziert und bildet einen Stromkreis entlang der Leiterbahnen 320 zwischen den Anoden- und Kathodenanschlüssen. Wenn der Schaltkreis beispielsweise über das Netzteil des Headsets mit Strom versorgt wird, das elektrisch an die Anoden- und Kathodenanschlüsse angeschlossen und von einer Beleuchtungssteuereinheit gesteuert werden kann, wird die Infrarot-μLED aktiviert und sendet Infrarotlicht aus.
Die Lichtwellenlänge von Infrarot-μLED liegt zwischen 790 μm und 1 mm. In bevorzugten Ausführungsformen emittiert die Infrarot-μLED Licht mit einer Wellenlänge von etwa 800–900 μm, noch bevorzugter mit einer Wellenlänge von etwa 850 μm.
Die Abbildungen 4A-4D zeigen die unterschiedliche Anzahl von Infrarot-μLEDs in verschiedenen Beleuchtungslinsenstrukturen. Insbesondere ist das Verteilungsmuster der Infrarot-uLEDs in Abbildung 4A etwas kreisförmig/elliptisch, in Abbildung 4C jedoch etwas rechteckig und in Abbildung 4D etwas rautenförmig. Andererseits umfasst die in Abbildung 4B gezeigte Ausführungsform zwei verschiedene Muster, ein kreisförmiges/ovales Außenmuster und ein dreieckiges Innenmuster.
Darüber hinaus besteht die Beleuchtungslinsenstruktur 400A aus 6 Infrarot-uLEDs, während die Beleuchtungslinsenstrukturen 400C und 400D jeweils aus 8 Infrarot-uLEDs bestehen. Die Beleuchtungslinsenstruktur 400B enthält 19 Infrarot-uLEDs.
Verschiedene Mengen und Muster von Infrarot-uLEDs können an unterschiedliche Bedürfnisse und Vorlieben angepasst werden.
In Abbildung 5 ist das Kopfdisplay 500 mit einer transparenten Beleuchtungslinsenstruktur 510 konfiguriert, und die Linsenstruktur 510 weist eine Vielzahl von Infrarot-μLEDs 540 auf. Wie in der Abbildung gezeigt, sind die Infrarot-μLEDs 540 kreisförmig verteilt, jeweils 8 in jedem Augen- und Linsenbereich. Verschiedene IR-μLEDs 540 können ausgewählt werden, um in einem einzelnen Schaltkreis oder in zwei oder mehr unterschiedlichen Schaltkreisen verbunden zu werden. Die elektrischen Leiterbahnen, die den Stromkreis bilden, sind nicht dargestellt.
Während des Gebrauchs wird das von der Infrarot-uLED emittierte Licht zumindest teilweise auf die Augen des Benutzers gerichtet, und das Licht wird zurückreflektiert und von der Gerätekamera 530 erfasst.
Abbildung 6 zeigt eine Ausführungsform einer Brille 600 mit einer ersten transparenten Beleuchtungslinsenstruktur 610 einschließlich vier Infrarot-uLEDs und einer zweiten transparenten Beleuchtungslinsenstruktur 620 einschließlich acht Infrarot-uLEDs.
Dieses Beispiel soll verdeutlichen, dass die beiden Seiten des Headsets nicht unbedingt eine übereinstimmende/symmetrische Infrarot-uLED-Verteilung aufweisen. Unabhängig von der Anzahl und Verteilung der Infrarot-uLEDs sollte klar sein, dass während der Verwendung das von den Infrarot-uLEDs emittierte Licht zumindest teilweise auf die Augen des Benutzers gerichtet wird und das Licht zurückreflektiert und von der Gerätekamera 630 erfasst werden kann.
In einer verwandten Ausführungsform umfasst das in Abbildung 7 gezeigte am Kopf montierte Anzeigesystem 700 eine transparente Beleuchtungslinsenstruktur 710 mit einer Sonnenblende. In diesem Beispiel sind auf einer Seite des Visiers mehrere Infrarot-uLEDs angebracht, die ein kreisförmiges Muster bilden. Auf der anderen Seite des Visiers befinden sich vier Infrarot-uLEDs, die in einem quadratischen Muster angeordnet sind.
Bei allen vorherigen Beispielen wird die IR-uLED nicht proportional angezeigt. Tatsächlich sind die IR-uLEDs so klein (
Da Infrarot-LEDs außerdem so klein sind, können sie dazu verwendet werden, die Augen des Benutzers mit Infrarotlicht zu beleuchten und gleichzeitig über der Linse positioniert zu werden, durch die der Benutzer geht, ohne das Sichtfeld des Benutzers durch die Linse zu behindern.
Die Leiterbahnen sind mit einer Breite von weniger als 50 μm oder sogar weniger als 25 μm sehr dünn, sodass sie optisch nicht sichtbar und bei Verwendung in Augennähe des Benutzers praktisch unsichtbar sind. Diese Konfiguration ist besonders vorteilhaft, da sie die Positionierung der Spur innerhalb der Beleuchtungslinsenstruktur ermöglicht. Selbst wenn es direkt vor den Augen des Benutzers positioniert ist, behindert es die Sicht des Benutzers auf die Umgebung durch die Linse während des Gebrauchs nicht.
Abbildung 8 veranschaulicht den Herstellungsprozess, der zur Herstellung der Beleuchtungslinsenstruktur der Erfindung verwendet wird.
Wie gezeigt, umfasst der Herstellungsprozess die Beschaffung eines Wafers 810, der eine oder mehrere Infrarot-μLEDs enthält. Beispielsweise kann der Wafer 810 ein epitaktischer Wafer sein, der durch einen epitaktischen Wachstums- oder Abscheidungsprozess gebildet wird.
Der in Abbildung 8 gezeigte Prozess 800 umfasst auch die Beschaffung eines Substrats 820, auf das die Infrarot-uLED übertragen wird. Wie gezeigt, wird ein Übertragungsprozess 830 durchgeführt, um eine oder mehrere Infrarot-uLEDs auf Leiterbahnen 825 zu übertragen, die sich bereits auf einem Substrat 820 befinden und einen oder mehrere verschiedene Schaltkreise 827 auf dem Substrat bilden.
Die Größe einer IR-μLED, die von einem Substrat entfernt und auf einem Substrat platziert wird, ist in jeder Richtung auf
Die maximale Größe von Infrarot-uLED kann weniger als 75 μm, weniger als 50 μm oder sogar weniger als 20 μm betragen. In einer Ausführungsform beträgt die maximale Abmessung der Infrarot-uLED etwa 10 μm.
Die Breite der Spur ist ebenfalls begrenzt und die Dicke darf nicht größer als
Abbildung 9 zeigt ein Flussdiagramm 900, das für die Durchführung von Eye-Tracking konfiguriert ist, wobei das am Kopf montierte Display eine Beleuchtungslinse enthält, die mehrere Infrarot-μLEDs enthält, und jede der mehreren Infrarot-μLEDs eine maximale Abmessung von
Systemkomponenten steuern die Beleuchtung von Infrarot-uLEDs und senden Infrarotlicht von einem oder mehreren Infrarot-uLEDs in der Beleuchtungslinse in Richtung der Augen des Benutzers.
Als nächstes ist das Headset weiter so konfiguriert, dass es Flackern von Infrarotlicht erkennt und verarbeitet, das während der Verwendung des Headsets von den Augen des Benutzers reflektiert wird, und die Position der Augen des Benutzers basierend auf den erkannten und verarbeiteten Flackern bestimmt.
Die Aufmerksamkeit richtet sich nun auf Abbildung 10, die ein Flussdiagramm 1000 zur Herstellung einer Beleuchtungslinsenstruktur unter Verwendung mehrerer Infrarot-uLEDs zeigt.
Dazu gehört das Anbringen mehrerer Leiterbahnen auf einer transparenten Rückwandplatine, um ein transparentes Substrat zu erhalten. Eine Vielzahl der Leiterbahnen ist elektrisch leitend und bildet mindestens einen Stromkreis zwischen dem Anodenanschluss und dem Kathodenanschluss.
Dann wird ein IR-μLED-Wafer erhalten, der mehrere IR-μLEDs oder Material enthält, das einzeln in diskrete IR-μLEDs mit einer maximalen Größe von
Verwandte Patente: Microsoft-Patent |. Mikro-LED-basierte unsichtbare Beleuchtung für Eye-Tracking
Die Microsoft-Patentanmeldung mit dem Titel „Mikroled-basierte unsichtbare Beleuchtung für Eye-Tracking“ wurde ursprünglich im Januar 2023 eingereicht und kürzlich vom US-Patent- und Markenamt veröffentlicht.
Es ist zu beachten, dass eine US-Patentanmeldung im Allgemeinen nach der Prüfung automatisch 18 Monate nach dem Anmeldetag oder Prioritätsdatum veröffentlicht wird oder auf Antrag des Patentinhabers innerhalb von 18 Monaten nach dem Anmeldetag veröffentlicht wird Antragsteller. Beachten Sie, dass die Veröffentlichung einer Patentanmeldung nicht bedeutet, dass das Patent genehmigt wird. Nachdem eine Patentanmeldung eingereicht wurde, verlangt das USPTO eine tatsächliche Prüfung, die zwischen einem und drei Jahren dauern kann.
Das obige ist der detaillierte Inhalt vonInfrarot-μLED-Beleuchtungslinsenstrukturmethode zur Erzielung jeder vorgegebenen Richtung im Microsoft AR/VR-Patent. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
