Apple Vision Pro は、ユーザーの状態を検出するために多数の AI テクノロジーを組み合わせています

Vision Pro に参加した元 Apple AR エンジニアの Sterling Crispin は、Apple 時代に行った仕事を共有する記事を投稿しました。 Apple Vision Proには、AIモデルを使用して時事問題に興味があるかどうか、気が散っていないか、注意が散漫になっていないかなど、身体と脳の状態を予測するなど、多数の機械学習テクノロジーが組み込まれていると述べられています。 。

これらはすべて、ユーザーの眼球運動データ、心拍数、筋肉活動、血圧、脳血液密度などのデータに基づいて測定および判断されます。

Apple Vision Pro プロジェクト チームの責任者、マイク ロックウェル氏も次のように述べています: 視線の方向は非常に機密性の高い個人のプライバシー データです。Apple は Vision Pro にもプライバシー保護を実装しています。サードパーティのアプリはあなたの視線の方向を取得できません。 「クリック」後、アプリは操作動作を取得できますが、視線の方向は取得できません。

Apple Vision Pro プライバシー保護

以下はスターリング・クリスピンの原文です:

私がテクノロジー開発グループのニューロテクノロジー プロトタイピング フェローとして Apple にいたとき、私は自分の時間の 10% を #VisionPro の開発に貢献しました。これは私がこれまでに行った中で最も長い努力でした。ようやく発表できたことを誇りに思うと同時に安心しています。私は AR と VR の分野で 10 年間働いてきましたが、多くの意味で、これは 1 つの製品における業界全体の集大成です。この実現に貢献できたことに感謝しています。この分野に参入したい場合や戦略を改善したい場合は、いつでも相談に応じます。

私の仕事は、Vision Pro、マインドフルネス体験、▇▇▇▇▇▇製品、およびより野心的なニューロテクノロジーのムーンショット研究の基礎的な開発をサポートしています。たとえば、クリックする前に何かをクリックするだろうと予測することは、基本的に心を読むことです。そこで 3 年半働き、2021 年末に退職したので、この 2 年間ですべてがどのように融合したかを体験するのが楽しみです。何が編集されて、その後何が公開されるのか非常に興味があります。

具体的には、Vision Pro ▇▇▇▇▇▇ プログラムの当初のビジョン、戦略、方向性に貢献できたことを誇りに思います。私が少人数のチームで行った仕事は、この製品カテゴリにゴーサインを与えるのに役立ち、いつか世界的に大きな影響を与える可能性があると考えています。

私が Apple で行った仕事のほとんどは NDA の下で行われ、幅広いトピックとアプローチに及びました。しかし、いくつかのことは特許を通じて開示されており、以下に引用して説明します。

一般に、私の仕事の多くは、没入型体験中にユーザーの体と脳からのデータに基づいてユーザーの精神状態を検出することに関係しています。

つまり、ユーザーは複合現実または仮想現実体験の中におり、人工知能モデルは、ユーザーが好奇心を抱いているのか、気が散っているのか、恐怖を感じているのか、集中しているのか、過去の経験を思い出しているのか、またはその他の認知状態にあるのかを予測しようとします 。これらは、視線追跡、脳の電気的活動、心拍とリズム、筋肉の活動、脳の血液密度、血圧、皮膚の伝導率などの測定を通じて推測できます。

特定の予測を可能にするためには多くのトリックが関係しており、それについては私が言及したいくつかの特許で詳しく説明されています。最も優れた結果の 1 つは、ユーザーが実際にクリックする前に何かをクリックすると予測することです。それは大変な仕事であり、私が誇りに思っていることです。クリックする前に生徒が反応するのは、クリック後に何かが起こると予想していることが一因です。したがって、ユーザーの目の動作を監視し、リアルタイムで UI を再設計して、意図した瞳孔反応をさらに生み出すことで、ユーザーの脳の バイオフィードバック を作成できます。目を通して見る脳とコンピューターのインターフェイスは粗雑ですが、非常にクールです。そして、私はいつでも侵襲的脳手術を受けるつもりです。

認知状態を推測するその他の手法には、ユーザーが気づかないような方法で視覚や音声を高速で点滅させ、それに対するユーザーの反応を測定することが含まれます。

別の特許では、機械学習と身体と脳からの信号を使用して、集中力、リラックス力、または勉強の程度を予測する方法について詳しく説明しています。その後、仮想環境が更新されて、これらの状態が強化されます。そこで、背景で見たり聞いたりするものを変えることで、学習、仕事、リラックスに役立つ、適応型の没入型環境を想像してみてください。

これらすべての詳細は特許で公開されており、何も漏らさないように慎重に書かれています。私は他にもたくさんのことに関わっているので、最終的にはさらに多くのことを見たいと思っています。

多くの方がこの商品を長い間待っていました。しかし、これは VR への道のまだ一歩です。業界がこのテクノロジーの壮大なビジョンに完全に追いつくのは今世紀末まででしょう。

同様に、あなたのビジネスがこの分野への参入や戦略の改善を検討している場合、私はコンサルティング業務や電話対応に喜んで応じます。何よりも、これがついに発表されることを誇りに思うと同時に安心しています。私がこれに取り組み始めてから 5 年以上が経ちましたが、他のデザイナーやエンジニアと同様に、私もほとんどの時間をここに費やしています。全体が部分の合計よりも優れており、Vision Pro があなたの心を驚かせることを願っています。

出典: スターリング・クリスピン

以上がApple Vision Pro は、ユーザーの状態を検出するために多数の AI テクノロジーを組み合わせていますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。