Apple Vision Pro combine un grand nombre de technologies d'IA pour la détection du statut des utilisateurs

Sterling Crispin, un ancien ingénieur Apple AR qui a participé à Vision Pro, a publié un article partageant le travail qu'il a effectué pendant son séjour chez Apple. Il est mentionné qu'Apple Vision Pro intègre un grand nombre de technologies d'apprentissage automatique, notamment l'utilisation de modèles d'IA pour prédire l'état de votre corps et de votre cerveau, par exemple si vous êtes curieux de connaître l'actualité, si vous êtes distrait, si votre attention est distraite, etc. .

Tout cela est mesuré et jugé sur la base des données de mouvements oculaires, de la fréquence cardiaque, de l'activité musculaire, de la tension artérielle, de la densité sanguine cérébrale et d'autres données de l'utilisateur.

Mike Rockwell, chef de l'équipe du projet Apple Vision Pro, a également déclaré : La direction du regard est une donnée personnelle très sensible. Apple a également mis en œuvre une protection de la confidentialité dans Vision Pro. Les applications tierces ne peuvent pas obtenir la direction de votre regard. seulement vous. Après avoir « cliqué », l’application peut obtenir votre comportement opérationnel, mais elle ne peut pas obtenir la direction de votre regard.

Protection de la vie privée Apple Vision Pro

Ce qui suit est le texte original de Sterling Crispin :

Lorsque j'étais chez Apple en tant que Neurotech Prototyping Fellow au sein du groupe de développement technologique, j'ai passé 10 % de mon temps à contribuer au développement de #VisionPro. Ce fut l’effort le plus long que j’ai jamais fait. Je suis fier et soulagé que cela ait enfin été annoncé. Je travaille dans l'AR et la VR depuis 10 ans et, à bien des égards, c'est l'aboutissement de toute une industrie dans un seul produit. Je suis reconnaissant d'avoir contribué à sa réalisation et je suis ouvert à consulter et à prendre des appels si vous souhaitez accéder à cet espace ou améliorer votre stratégie.

Le travail que j'effectue soutient le développement fondamental de Vision Pro, les expériences de pleine conscience, les produits ▇▇▇▇▇▇ et des recherches plus ambitieuses sur les neurotechnologies. Par exemple, prédire que vous allez cliquer sur quelque chose avant de cliquer dessus, c'est essentiellement lire dans les pensées. J'y ai travaillé pendant 3,5 ans et je suis parti fin 2021, j'ai donc hâte de découvrir comment tout s'est déroulé au cours des deux dernières années. Je suis vraiment curieux de savoir ce qui a été inclus dans le montage et ce qui sera publié plus tard.

Plus précisément, je suis fier d'avoir contribué à la vision, à la stratégie et à l'orientation originales du programme Vision Pro ▇▇▇▇▇▇. Le travail que j’ai effectué au sein d’une petite équipe a permis de donner le feu vert à cette catégorie de produits qui, je pense, pourrait un jour avoir un impact mondial important.

La plupart du travail que j'effectue chez Apple est sous NDA et couvre un large éventail de sujets et d'approches. Mais certaines choses ont été divulguées par le biais de brevets que je peux citer et expliquer ci-dessous.

En général, une grande partie de mon travail consiste à détecter l'état mental de l'utilisateur en fonction des données de son corps et de son cerveau lors d'expériences immersives.

Ainsi, l'utilisateur est dans une expérience de réalité mixte ou de réalité virtuelle, Le modèle d'IA tente de prédire si vous êtes curieux, distrait, effrayé, concentré, si vous vous souvenez d'expériences passées ou dans un autre état cognitif #🎜 🎜#. Ceux-ci peuvent être déduits grâce au suivi oculaire, à l’activité électrique cérébrale, au rythme cardiaque, à l’activité musculaire, à la densité sanguine cérébrale, à la pression artérielle, à la conductivité cutanée et à d’autres mesures.

Il existe de nombreuses astuces pour rendre possible une prédiction spécifique, qui sont détaillées dans les quelques brevets que j'ai mentionnés. L’un des résultats les plus intéressants est de prédire que les utilisateurs cliqueront sur quelque chose avant de cliquer réellement. C'est un travail acharné et c'est quelque chose dont je suis fier. Vos élèves réagissent avant que vous cliquiez, en partie parce que vous anticipez que quelque chose se produira après avoir cliqué. Par conséquent,

vous pouvez créer un biofeedback du cerveau de l'utilisateur en surveillant le comportement oculaire de l'utilisateur et en repensant l'interface utilisateur en temps réel pour créer davantage de cette réponse attendue de l'élève. C'est une interface cerveau-ordinateur grossière à travers les yeux, mais c'est plutôt cool. Et je subirais une chirurgie cérébrale invasive n'importe quand.

D'autres techniques permettant de déduire des états cognitifs incluent le fait de faire clignoter rapidement des visuels ou des sons aux utilisateurs d'une manière dont ils n'en ont peut-être pas conscience, puis de mesurer leur réaction.

Un autre brevet détaille comment l'apprentissage automatique et les signaux du corps et du cerveau peuvent être utilisés pour prédire votre concentration, votre relaxation ou votre apprentissage. L'environnement virtuel est ensuite mis à jour pour améliorer ces états. Imaginez donc un environnement immersif adaptatif qui vous aide à étudier, travailler ou vous détendre en modifiant ce que vous voyez et entendez en arrière-plan.

Tous ces détails sont accessibles au public dans le brevet et ont été soigneusement rédigés pour ne rien révéler. Je suis impliqué dans beaucoup d'autres choses et j'espère en voir plus éventuellement.

Beaucoup de personnes attendent ce produit depuis longtemps. Mais cela reste encore une étape sur la route vers la VR. L’industrie ne parviendra pas pleinement à rattraper la grande vision de la technologie avant la fin de la décennie.

Encore une fois, si votre entreprise cherche à entrer dans cet espace ou à améliorer sa stratégie, je suis ouvert au travail de conseil et à la prise d'appels. Surtout, je suis fier et soulagé que cela soit enfin annoncé. Cela fait plus de cinq ans que j'ai commencé à travailler là-dessus, et c'est là que je passe la plupart de mon temps, tout comme d'autres concepteurs et ingénieurs. J'espère que le tout est supérieur à la somme de ses parties et que Vision Pro vous épatera.

Source : Sterling Crispin

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!