Une plongée profonde dans « l'IA » cachée dans Apple Vision Pro

Texte/VR Gyro Yuanqiao

Lors de la conférence des développeurs Apple de cette année (WWDC 2023), Tim Cook a poursuivi l'expression de Steve Jobs selon laquelle « encore une chose » et a lancé une nouvelle génération de produit d'informatique spatiale : Apple Vision Pro.

C'est un moment historique qui mérite d'être rappelé. Nous voyons arriver un autre moment "encore une chose". Plus important encore, la technologie d'interface homme-machine inaugurera un nouveau développement après le lancement de nouveaux produits par Apple. un autre pas en avant.

La raison pour laquelle je dis « encore » est qu'avant qu'Apple ne lance de nouveaux produits, OpenAI a lancé les grands modèles ChatGPT et GPT, permettant aux humains de ressentir pleinement les capacités extraordinaires de l'IA. En conséquence, l'application de la technologie de l'IA dans le domaine AR/VR a été améliorée. a également été soulignée, et a même provoqué une nouvelle série de changements dans la structure industrielle.

AI+ est considéré comme un facteur clé dans le développement de l'industrie de la réalité virtuelle/augmentée, et c'est également la technologie sous-jacente qui favorise l'approfondissement de l'industrie. Apple a toujours été le « fixateur de règles du jeu » dans l'industrie et dispose d'un longue histoire de mise en page au niveau de l'IA. Bien qu'Apple n'ait pas mentionné l'intelligence artificielle lors de la conférence WWDC 2023 de cette année, nous pouvons en avoir un aperçu grâce aux produits présents lors de cette conférence et au nouveau Vision Pro.

La configuration IA d'Apple depuis plus de dix ans

Le 2 juin, selon le Twitter du média étranger Mark Gurman, Apple recrutait des talents en intelligence artificielle. Selon des sources médiatiques étrangères, Apple a publié au moins 88 postes sur le portail de recrutement depuis mai. modélisation générative visuelle, intelligence active et recherche appliquée en IA.

Photo : Mark Gurman Twitter

Le poste annoncé fait partie d'une équipe qui « façonnera la manière dont la technologie d'intelligence artificielle générative modifie la plate-forme informatique mobile d'Apple », indiquant en outre que les applications d'IA dans des produits tels que l'iPhone et Vision Pro seront encore étendues.

Mais l'implantation d'Apple dans l'intelligence artificielle est en fait antérieure. En 2010, Apple a acquis l'équipe Siri pour 200 millions de dollars. En 2011, avec la sortie de l'iPhone 4s, Siri a fait ses débuts sur le marché en tant qu'assistant vocal intelligent. , iPad et même le nouveau produit Vision Pro.

Photo : Appeler Siri dans Vision Pro (Source : Internet)

Graphique : aperçu des acquisitions d'Apple (disposition du gyroscope VR)

Par rapport à cette opération simple, il est facile pour les gens d'oublier que Siri est en fait une intelligence artificielle, mais son principe de fonctionnement est différent de ChatGPT. L'un des principes de fonctionnement de Siri est que lorsqu'il reçoit une commande, elle sera d'abord envoyée au centre de données d'Apple. Le centre de données analysera le contenu de la commande et donnera une réponse connue. La deuxième étape consiste à la télécharger sur le serveur. cloud et donnez la réponse. "Je n'en sais pas grand chose, mais j'ai trouvé cette information sur Internet" et ainsi de suite. ChatGPT n'a pas de flux de traitement local, il s'appuie directement sur d'énormes calculs et raisonnements de modèles, et peut donner des réponses indépendamment du fait qu'il comprenne ou non le sens des instructions.

Source : Internet

Apple a toujours été prudent quant au développement de l'IA, préférant mettre l'accent sur les fonctions d'apprentissage automatique et offrir des avantages aux utilisateurs. Comme Cook l'a déclaré dans une interview avec les médias lors de la conférence WWDC 2023, "Nous considérons que (l'IA) est." intégrée dans nos produits, mais les gens ne la considèrent pas nécessairement comme une intelligence artificielle. »C'est pourquoi Apple limite le développement incontrôlé de Siri.

En revanche, la stratégie IA d’Apple se concentre davantage sur deux points : les performances et la sécurité. Au niveau des performances, Apple intégrera l'IA dans ses produits pour améliorer l'utilisation du produit ; la sécurité est une question de confidentialité, et la confidentialité est un point sur lequel Apple s'est toujours concentré. Par exemple, en 2015, Apple a acquis Perceptio, une société principalement active. classification de photos par intelligence artificielle, mais en plus de la classification automatique des images, Perceptio protège également la confidentialité sans stocker les données des utilisateurs dans le cloud.

En 2020, John Giannandrea, vice-président senior de la stratégie d'apprentissage automatique et d'intelligence artificielle d'Apple, et Bob Borchers, vice-président du marketing produit, ont affirmé la stratégie d'IA d'Apple dans une interview et ont déclaré qu'Apple avait accéléré ce processus en 2018 pour permettre à l'iPhone d'accéder au FAI. il travaille en étroite collaboration avec le moteur neuronal (unité centrale de traitement), mais Apple ne parlera pas trop de ses capacités d'IA, mettant l'accent sur le modèle de langage Transformer, l'apprentissage automatique, etc.

Photo : John Giannandrea (Source : Internet)

Giannandrea et Borchers ont également été clairs : aujourd'hui, l'apprentissage automatique joue un rôle important dans les fonctions des produits Apple, et l'application de l'apprentissage automatique chez Apple continuera d'augmenter.

Capacités IA révélées dans Apple Vision Pro

En cette année où l'IA générative est en plein essor, de nombreux acteurs de l'industrie prédisent qu'Apple pourrait également parler de l'IA lors de la conférence WWDC 2023 de cette année. Cependant, lors de la conférence de presse de près de deux heures, l'IA n'a pas été mentionnée une seule fois. dans le produit. M. Gyro a fait le tri dans les capacités d'IA affichées par Vision Pro. Il n'est pas difficile de voir que si l'AR/VR veut se développer davantage, elle sera inévitablement indissociable du support de la technologie IA.

1.Clone numérique AI

L'accès à l'IA rend la production de personnes numériques plus réaliste. Même sur certains sites Web, les utilisateurs peuvent créer des personnes numériques qui répondent à leurs propres besoins. Meta a publié Codec Avatar version 2.0, qui est plus complète que la 1.0 en termes d'effets réalistes des humains numériques.

Source : Internet

Vision Pro analyse les informations faciales des personnes via la caméra frontale et, basé sur la technologie d'apprentissage automatique, le système utilise des réseaux neuronaux de codage avancés pour générer un « clone numérique » pour l'utilisateur. Et lorsque l'utilisateur passe un appel FaceTime, l'avatar numérique peut imiter dynamiquement les mouvements du visage et des mains de l'utilisateur, en conservant le volume et la profondeur de l'avatar numérique.

Source : Internet

Apple a déclaré que son équipe optimisait activement cette fonctionnalité et rendrait les utilisateurs numériques plus réalistes dans les futures mises à jour de visionOS. En revanche, à en juger par les résultats de la conférence de presse, la construction d'avatars numériques est effectivement très réaliste, et l'opération est également plus simple. Il suffit d'utiliser l'appareil pour scanner les informations faciales. a dépassé le marché actuel. Obtenez un logiciel d'avatar numérique.

2.Détection d'émotion AI

Apple a acquis une société de détection d'émotions par IA en 2016 et cette année, selon les médias étrangers, Apple développe un service de conseils en matière de santé par intelligence artificielle et une nouvelle technologie de suivi des émotions appelée Quartz.

Après la sortie de Vision Pro, l'ancien chercheur d'Apple, Sterling Crispin, a révélé de nombreuses technologies noires concernant Vision Pro sur Twitter. La chose la plus étonnante est que Vision Pro peut détecter l'état mental de l'utilisateur grâce aux données corporelles et cérébrales de l'utilisateur pendant l'expérience immersive. "Interface cerveau-ordinateur" ou "lecture dans les pensées", c'est ainsi que Sterling Crispin l'appelle.

Photo : informations Twitter de Sterling Crispin

Le principe principal de cette technologie est que les élèves de chacun réagissent avant de faire quoi que ce soit, en partie parce que vous vous attendez à ce que quelque chose se produise après avoir cliqué. Par conséquent, Apple peut surveiller de manière algorithmique votre comportement oculaire. Phrase réécrite : Créez un biofeedback du cerveau individuel en repensant l’interface utilisateur en temps réel pour produire des réponses plus attendues des élèves.

Source : Internet

3. Méthode de saisie plus intelligente

Afin de satisfaire davantage l'interaction de l'utilisateur avec la fonction de guidage et le contenu spatial, Vision Pro introduit un nouveau système de saisie, qui interagit avec les yeux, les gestes et la voix, et s'applique en regardant l'application et en sélectionnant les gestes « taper/cliquer ». , ou utilisez les commandes vocales pour naviguer dans les applications.

Source : Internet

Lorsque vos yeux regardent le champ de recherche du navigateur, le champ de recherche entrera dans l'état de saisie de dictée. À ce stade, il vous suffit de prononcer le contenu que vous souhaitez récupérer, et vous pouvez automatiquement taper le texte puis rechercher. Utilisez Siri pour ouvrir et fermer rapidement des applications, lire des fichiers multimédias et bien plus encore.

Source : Internet

Bien qu'Apple n'ait pas mis l'accent sur la méthode de saisie lors de l'introduction de Vision Pro, il ressort de l'introduction d'iOS 17 que la méthode de saisie plus intelligente mise à jour d'Apple peut non seulement corriger les fautes d'orthographe, mais également corriger les erreurs grammaticales commises par les utilisateurs lors de la saisie. processus. . Plus important encore, sur la base de l'apprentissage automatique côté appareil, la méthode de saisie améliorera également automatiquement le modèle en fonction de la saisie de chaque utilisateur, amenant la fonction de correction automatique de la méthode de saisie à une précision sans précédent.

Source : Internet

4. Nouveau système d'exploitation "visionOS"

Selon Apple, sur la base de la recherche et du développement de macOS, iOS et iPadOS, ils ont conçu un nouveau système d'exploitation VisionOS pour Vision Pro à partir de zéro pour atteindre des capacités de calcul spatial très élevées avec de faibles exigences de latence. iOS est intégré respectivement au Framework et au calcul spatial ; framework, moteur audio spatial, moteur spatial 3D, moteur de rendu fovéal, sous-système de pilote en temps réel, etc.

Source : Internet

Selon Apple, visionOS disposera d'un nouvel AppStore et il y aura à l'avenir davantage d'applications développées spécifiquement pour Vision Pro, telles que des diagrammes d'anatomie 3D, etc.

Il ressort de ce qui précède que l'innovation de Vision Pro est indissociable du développement de l'IA. Dans le calcul audio spatial, la capture des mouvements oculaires et du comportement des mains, ce sont les domaines dans lesquels la technologie de l'intelligence artificielle a apporté de grandes contributions. s'appuie sur M2 La prise en charge de la puissance de calcul fournie par les puces R1 a permis de réaliser avec succès le déploiement local de l'intelligence artificielle.

Source : Internet

En plus des capacités d'IA omniprésentes cachées dans Vision Pro, la technologie d'IA est visible dans presque tous les produits Apple. L'IA a pénétré presque tous les détails de ses produits, démontrant ainsi le rôle de « AI+ » dans la RA/l'importance de la VR. développement du niveau.

Bien qu'Apple n'ait rien dit sur l'IA, Cook a déclaré dans une interview que "il utilise personnellement ChatGPT et est enthousiasmé par cette application unique et a déclaré qu'Apple accordait actuellement une attention particulière à l'outil. Cook a également ajouté: "Langage à grande échelle." les modèles sont très prometteurs, mais il existe également un risque de biais, de désinformation et, dans certains cas, pire encore »

.

De l’avis de l’auteur, l’IA en tant que technologie devrait être utilisée pour améliorer les performances des produits et mieux servir les êtres humains. Trop de battage médiatique ou de publicité a fait perdre à cette technologie ce qu’elle devrait être. Dans le même temps, l'intelligence artificielle ou l'apprentissage automatique deviendront plus courants à l'avenir. En ce qui concerne l'IA générative, Apple ne la développera peut-être pas comme le public l'espère, mais je pense qu'une fois qu'Apple l'aura intégrée silencieusement dans ses produits, elle le fera. améliore définitivement l'expérience utilisateur et la rend plus conviviale. Les yeux des gens s'illuminent.

"AI+", un élément clé du développement AR/VR

Gyro Jun a déjà analysé l'impact de « AI+ » sur le modèle de concurrence de l'industrie dans un article. Vous pouvez cliquer pour lire « Le perturbateur GPT-4 est arrivé, et le modèle de concurrence de l'industrie AR est entré dans une nouvelle dimension », mais a mis. Mis à part le modèle de concurrence du secteur, il semble que « AI+ » apportera également de plus grandes améliorations aux performances des appareils AR/VR.

Cette année, Meta a publié un nouveau modèle de segmentation d'images, Segment Anything Model (SAM). Selon le blog Meta, SAM a appris des concepts généraux sur les objets et peut générer des masques pour n'importe quel objet dans n'importe quelle image ou vidéo. et les types d'images non rencontrés lors de la formation sont inclus. SAM est une technique polyvalente qui peut être adaptée à une variété de cas d'utilisation et peut être immédiatement appliquée à de nouveaux domaines d'images sans nécessiter de formation supplémentaire.

Comme le montre la figure ci-dessous, SAM peut très bien segmenter automatiquement tout le contenu de l'image :

Source : Internet

À l'avenir, SAM devrait être connecté aux appareils AR/VR. Par exemple, il pourra être utilisé pour identifier des objets du quotidien grâce à des lunettes AR. L'utilisateur n'a qu'à regarder l'objet avec ses yeux, et SAM peut le segmenter. l'image que l'utilisateur voit ; coopérer avec l'application de lunettes AR pour afficher à l'utilisateur des rappels et des instructions pour l'objet regardé.

D'un autre côté, les progrès des modèles linguistiques à grande échelle peuvent offrir une expérience interactive plus immersive pour les appareils AR/VR pour l'interaction vocale et la reconnaissance d'objets. Les grands modèles de langage peuvent comprendre des langages naturels plus complexes, effectuer des tâches de traitement du langage naturel plus complexes, puis être capables de comprendre et de répondre aux instructions complexes données par les utilisateurs sous forme vocale, améliorant ainsi l'expérience d'interaction vocale des appareils AR/VR. À mesure que la puissance de calcul continue d’augmenter et que de grands modèles sont rapidement itérés, les méthodes interactives d’expériences immersives AR/VR vont probablement s’enrichir.

Deuxièmement, le développement de l'IA générative réduira davantage le coût et le seuil de création 3D dans les applications AR/VR et résoudra la forte demande de matériaux 3D dans l'AR/VR. Concernant l'impact de l'IA générative sur la création 3D, M. Gyro a déjà rédigé une brève analyse. Vous pouvez cliquer pour lire « La création 3D par IA arrive-t-elle ? "La recherche d'emplois" devient réalité.

Source : Internet

Enfin, le développement de « AI+ » intégrant AR/VR est devenu une tendance majeure dans le développement de l'industrie. Qu'il s'agisse des produits Apple, de la dernière présentation de Meta ou de l'impact de l'IA sur les mises à jour des appareils, il a pleinement démontré que la combinaison de la technologie de l'IA est une solution. partie importante du développement futur de l’industrie AR/VR.

Cependant, il convient de mentionner que le développement de l'IA n'a pas encore vu la publication de documents normatifs clairs. L'impact négatif du développement illimité de l'IA sur l'industrie ne peut être sous-estimé, comme la violation de la vie privée des utilisateurs, la fraude, la fuite de données, etc. Biais cognitifs et plus encore.

Article de référence :

1.https://arstechnica.com/gadgets/2020/08/apple-explains-how-it-uses-machine-learning-across-ios-and-soon-macos/

2.https://blog.roboflow.com/apple-vision-pro-visionos-computer-vision/

3. L’application d’intelligence artificielle d’Apple est différente de ChatGPT

4. Apple Vision Pro cache réellement une « interface cerveau-ordinateur » ?

5.Quelles capacités d'IA d'Apple Apple Vision Pro « fuite » ?

Pour coopérerveuillez contacter

Coordonnées de Game Top :

Coopération commercialeConnexion :

Pastèque : (WeChat 1865903032)

Wenjing : (WeChat mutou_kiki)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!