首頁 科技週邊 人工智慧 挖掘數百篇AR/VR專利,蘋果XR全方位探索

挖掘數百篇AR/VR專利,蘋果XR全方位探索

Jun 03, 2023 pm 11:40 PM
ar/vr 專利 探索

近期大家也看了很多蘋果XR的消息,與其看各種爆料、不如從專利入手來看看蘋果XR頭顯可能會有哪些不同的玩法。於是,我們就從蘋果近年來有關AR/VR的數百篇專利中,選出可能會直接決定和影響XR產品體驗的部分匯總出來。當然,這些專利不會集中在一款產品上,我們也無法準確告訴你蘋果XR到底長啥樣,但仍可透過專利窺探一二。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

在整理近年來蘋果AR/VR專利時,主要發現以下幾個特點:

1)部分AR/VR專利來自先前收購的公司,如PrimeSense、Metaio、NextVR、SMI、Spaces等等;

2)結構光、LiDAR測距、VST透視、數位旋鈕、動態變焦等是蘋果的創新重點;

3)探索多種不同的光學方案,衍射光波導、視網膜投影等等;

4)後期多項專利描述一種多透鏡組的AR/VR顯示方案,預計將與頭戴裝置的VST攝影機陣列搭配使用。

目錄

  • 一,光學顯示
  • 二,眼球追蹤
  • 三,生物感測器
  • 四,互動技術
  • 五,VST透視
  • 六,空間音訊
  • 七,定位系統
  • 八,其它感測器
  • 九,設計
  • 十,UX設計
  • 十一,應用場景

一,光纖顯示

#◎ LBS微鏡掃描方案 衍射光波導:編號US20190377181A1等

有多種不同的光路設計,甚至可能在相位光柵和波導之間插入反射偏振器,特點是可切換光束,改變反射光線、衍射光線的相對偏光。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 視網膜掃描:編號US10681328B1

蘋果描述了一種AR/VR視網膜投影系統,原理是利用微鏡將像素逐一掃描到使用者的視網膜上,好處是支援動態變焦,AR/VR影像中物體、表面可以顯示在正確的視覺深度上顯示。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 可調光透鏡波導

#在2018年時,蘋果曾探索基於LCoS 光波導的AR/VR顯示方案,光學引擎位於眼鏡框左右兩側,向使用者眼前的光波導注入影像。除此之外,此方案的特點是搭載了可調焦透鏡。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

而在另一項專利(US11221488B1)中,蘋果則指出調焦透鏡可採用一個或多個液晶透鏡,或是流體填充透鏡、Alvarez透鏡,特點是支持視力調節,緩解近視、遠視等視力問題。

◎ 全像光波導 Micro LED

#編號US20180321432A1,蘋果在專利中描述了一種結合全像光學薄膜的光波導方案,採用Micro LED光源,特點是光線可根據觀看角度重定向,從而形成立體視覺觀感。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

除了全像光波導外,蘋果在另一項2019年的專利中(編號US20190285897A1),曾提到一種基於反射全像組合器的AR光學方案,具有半反半透特性。

◎ 折反射式光纖系統

編號US20190146198A1,指出了一種折反射式方案的AR/VR掛鉤難學系統,特點是由多層高透光透鏡(玻璃或塑膠材質)組成,可能包含平凸鏡和平凹鏡,具有折射和反射特性。而採用折疊光路設計的目的,是為了縮減頭顯光學模組的厚度。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 流體調節透鏡

專利編號US20200096770A1,指出了一種可動態調節的AR/VR透鏡組,特點是在透鏡之間加入流體夾層,以實現動態調焦、屈光調節的效果。液體層由電子機械幫浦控制,透鏡之間的液體越多,距離就越遠,由於左右眼光模組是獨立的,所以左右眼焦距可獨立控制。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 微透鏡陣列方案(Lenticular Display)

#

在編號US20200103669A1、US20210072556A1、US11143865B1、US11187914B2、US20220035160A1、US20220146820A1146820A1146820A1146820A120035160A1、US20220146820A1等專利,均以圓柱組成,是多距光柱組成了一個折光鏡。鏡更薄,有助於縮小頭顯體積,而且FOV大,支援動態視角切換,適配多攝影機陣列的VST透視模組。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

此外也詳細描述了此光學方案的最佳化方式,例如採用louver薄膜來控制顯示器光線發射角度,從而減少串擾,或是加入反射鏡來改變透視角度,將透視場景向使用者「視覺拉近”,以顯示更準確的場景深度/距離。

◎ 多層幾何相位透鏡方案

編號US20210048674A1專利中,蘋果提出了一種用於顯示立體感虛實融合畫面的光學方案,特點是採用多層透鏡結構,在不同的焦面顯示不同物體,並拼接為沉浸、立體的場景。要實現這種方案需要高度關注光學、眼球追蹤、軟體演算法等方面的要求,才能成功模擬人眼動態變焦效果。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 可變色鏡片

在2019年的一項專利(US11029521B2)中,蘋果提出了一種疊加光致變色層的AR鏡片方案,特點是在紫外​​線強光下可降低透光度,使AR影像在戶外能更清晰顯示。類似於常見的變色眼鏡,機制可以取代一些採用遮光罩的AR眼鏡。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 色散補償光纖方案:編號US20200117003A1

此方案旨在提升AR等近眼光學的光學效率和畫質,特點是使用多種全像材料作為光柵介質,每種全像材料具備不同的光柵向量、頻率和方向,因此可以很好的消除色差。此方案可搭配偏鏡、投影元件來組成光學方案。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 改善Micro LED螢幕品質

#為了更好的控制Micro LED螢幕的生產質量,蘋果設計了特殊的測試設備和架構,宣稱可在Micro OLED與面板鍵合之前,捕捉亮度不達標的LED像素(比如利用顯示屏光學掃描),發現問題後可直接替換備用LED,更有效的修復。

Micro LED是比較前沿的顯示技術,除了用於手機、智慧手錶外,未來也有望用於AR/VR頭戴裝置。

◎ 360°透視

#在編號US20210092292A1的專利中,蘋果描述了一種搭載8顆攝影機的AR/VR頭顯方案,特點是在頭顯周圍(包括前蓋、頭帶)佈局了8顆攝影機,用於捕捉和透視周圍360°環境,進而增強使用者的環境感知能力,即使是視覺盲點也能看見。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 主畫面 副螢幕設計

在2021年公佈的一項專利中,蘋果設計了一種基於主屏副屏的AR眼鏡方案,特點是主副屏可獨立運行,主屏幕分辨率較高,用於顯示主要的AR功能,而副螢幕解析度較低,主要顯示一些簡單的提示訊息,例如倒數計時、事件等等,而鏡框最外圍還有一圈LED指示燈,可提示AirTag就在附近。這種設計的好處是更合理地使用有限的螢幕區域,同時降低算力和耗電。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

而在編號US11450297B1的專利中,蘋果則設計了一塊主屏配兩塊副屏的注視點渲染方案,這三塊屏幕(可採用柔性或硬性面板)以符合頭部曲線的弧形排列,為了隱藏螢幕邊界,蘋果在透鏡上加入了一層獨立的漫射結構,以優化高解析度和低解析度螢幕的銜接。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

二,眼球追蹤

#

眼球追蹤技術,是蘋果AR/VR專利中反覆提及的關鍵,主要用途包括:注視點渲染、降低功耗、動態調焦、生物監測、視力偵測、注視點輸入等等。此外,專利中也詳細描述了眼球追蹤的實現和最佳化方式,例如:

  • 近紅外線方案(可捕捉瞳孔放大、注視點);
  • 基於定向視網膜閃光的方案;
  • 同軸照明方案(特定脈衝頻段光源與影像感測器在同一軸上,好處是可捕捉更明亮的瞳孔影像);
  • 眼球追蹤延遲補償、效果最佳化。

以下是幾個比較有特色的:

◎ 編號US20200019238A1:人眼的眼跳是一種常見現象,通常每秒眼跳數次(succade),在眼跳出現的短暫時間裡,視覺敏感度也會短暫降低,從而引起不易察覺的短暫失明。正是利用此特性,系統可在使用者難以察覺的情況下調整顯示內容,進而達到降低功耗,降低燒屏風險的效果。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

此方案需要結合眼球追蹤技術來實現,可能採用CV或IR感測器方案。

◎編號US20190339770A1:專利中描述了一種基於注視點追蹤的機械變焦AR/VR方案,可跟隨使用者註視點變化而切換畫面焦距。而為了彌補變焦系統的延遲,該專利重點描述了一種注視點預測技術,可提前預測人眼運動軌跡(眼球掃視的落點),並對影像進行預渲染,好處是可以讓焦點切換更加絲滑。

在2018年時,蘋果曾為注視點渲染方案申請專利,產生可實現8K解析度(中心視覺區域)。而在2019年,也有亮相蘋果專利提到注視點渲染方案(編號分別為US20190172399A1、US20190180672A1),特點是採用兩塊屏幕(高清主屏低清副屏),分辨率預計也可達到8K,屏幕ppi在1000到2000之間。

◎ 編號US20190133440A1:指出了一種透過辨識主導眼,來提高和優化眼球追蹤準確性和穩定性的方案。主導眼又稱主視眼,在眼球追蹤中重點分析主導眼數據,可以更好地對齊眼球的光軸和視軸,帶來更好、更快的校準效果。

辨識主導眼的另一個好處,是能幫使用者診斷與聚散度相關的眼疾,如斜視或弱視,並在此基礎上優化注視點渲染技術。而為了進一步優化眼球追蹤對廣泛人群的適配度,蘋果在編號US11644896B2的專利中提到,眼球追蹤系統可提取不同用戶的眼部特徵作為控制參數,並在此基礎上動態校準注視點。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 編號WO2020068447:蘋果提出了一種基於眼球追踪的AR/VR應用開啟方式,特點是結合了語音玩法,用戶只需要盯著目標應用標誌,說出“開啟”便可開啟應用,操控夠自然快速。而在2021年公佈的另一項專利中,蘋果則還提出了用注視點快速切換文字輸入框的方案,可以讓你在VR中更快的填表、錄入個人資訊。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

在蘋果看來,眼球追蹤還可以動態優化第一人稱視訊錄製,例如用注視點驅動相機拍攝的位置,將使用者註意的位置放在視訊中心,並根據注視點變化快速運鏡(使用平滑演算法來防手震)。這將很適合未來全天候的AR眼鏡。

◎ 編號US20200278539A1:為了節省眼球追蹤硬體的功耗,蘋果在專利中設計了一種基於事件相機的方案,特點是僅在識別到眼動時開啟,而不是持續開啟掃描。專利的另一個特點,則是能根據使用者的生物資訊來調節光線強度,當使用者眨眼次數超常,或是辨識到兒童使用者時,系統演算法會降低照明光源的亮度,進而提升視覺舒適性。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

而另一個省電的方案,則是結合低解析度和高解析度兩種模式的眼球追踪,分別識別眼球相對運動和準確位置,並結合頭部感測器來定位注視點。

◎ 編號US10354136B2:為了提高眼球追蹤準確性,減少漂移是一個關鍵。在該專利中,蘋果介紹了一種特殊透鏡系統,宣稱可減少眼球追蹤的漂移現象。該方案基於光線追踪,可透過識別光線到達人眼並反射的數據,來對眼球建模等等。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

一些眼球追蹤專利也來自蘋果在2017年收購的SMI(SensoMotoric)公司,例如US10437327B2,提出了一種透過二次成像捕捉注視點的方案,特點是第一次成像捕捉到清晰的眼球,用於定位瞳孔位置,而第二次成像清晰度較低,用來辨識眼球發亮,兩次捕捉資料結合後,注視點預測資料可以更準確。

三,生物感測器

在一些專利中,蘋果提出在AR/VR頭戴裝置中加入生物感測器,用於感知穿戴者的身體狀態,並相應改變顯示的內容。細節方面,頭顯可辨識力度、溫度、濕度、位移、EEG、電容、EMG和心率等訊息,從而評估心理壓力、個人健康狀態,然後在AR/VR中推薦幫助放鬆的應用或內容,甚至還能主動提示就醫資訊。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

而在2019年一項專利中,蘋果曾描述一種臉部追蹤方案,特點是在AR/VR頭顯、眼鏡中加入多種生物感測器,例如PPG(光電容積脈搏波描記法)、ECG (心電圖)、GSR(皮膚電訊號)、壓力感測器、eField、熱感測器等等。該裝置能夠偵測使用者的健康狀況,透過分析咀嚼、眨眼、鼻子皺動等多種複雜的臉部動作來實現。

四,互動技術

#1,隔空手勢

蘋果的一些3D手勢技術來自於2013年收購的PrimeSense,從一些相關專利中可以發現,發明者為前PrimeSense員工。例如在一項專利中,就介紹了一種3D手勢方案,特點是允許用戶用抓取、推播、釋放等手勢操作3D用戶介面,來玩遊戲或播放影片。

隔空手勢是蘋果AR/VR專利中常見且重要的技術,不僅可用於AR/VR頭顯,還能在iPhone、iPad、Mac等裝置上實現。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

蘋果隔空手勢系統可採用多種方案,例如結構光、LiDAR、RGB、IR感測器、超音波換能器、VSWR感測器等等。

例如在編號US20210011289A1專利中,蘋果描述了一種支援Inside-Out定位的AR/VR頭顯方案,特點是搭載RGB相機、ToF感測器和IR LED模組,支援手勢追蹤、3D環境測距等多項功能。

2,體感/智慧手套

蘋果曾為AR/VR手套申請多項專利,涵蓋了各種不同的技術方案,例如在手套的指尖末端加入磁性感測器,透過偵測磁場變化和乾擾,來定位磁源和感測器的相對位置,從而實現手勢定位。可運用柔性力感測器陣列和光導材料,來偵測微小的觸感互動和握力的動態變化等。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

此外,也提出基於IMU定位的手套方案,特點是將IMU感測器內建在手套的指關節部位,可準確偵測手掌、手指動作和位置,不受遮擋等因素困擾,因此可辨識手指交叉動作。

在編號US11397486B2的專利中,蘋果也 提出了一種利用超音波來辨識手勢的VR手套,特點是可辨識使用者手掌施加的壓力,以及手指厚度。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

除了追蹤手勢外,蘋果還希望基於摩擦阻力、柔性貼片等技術,為AR/VR手套賦予體感回饋(編號US10481688B1、US20200257362A1),以模擬「觸摸」大海、海浪、樹、沙灘、方向盤等紋理的感受。

而在另一項2020年的專利中,蘋果則描述了一種基於織物材質的柔性體感手套方案,特點是織物部分可膨脹或收縮,以適配不同手型的用戶。

3,智慧手環/手錶

在一項專利中,蘋果描述了一種用智慧手錶來操控VR遊戲的方案,特點是基於皮膚感測,可透過對比和分析靜脈影像,來推測手部關節動作。

而在編號US20210303068A1等專利中,蘋果也提出在智慧手錶上透過攝影機CV、UWB、EMG、RF、感測電路等方式,來識別雙手接觸動作的方案,允許你用一根手指在另一隻手掌上滑動,來模擬遊標移動、拖曳、開啟或其他指示。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

實際上,Apple Watch在2021年已經推出手勢辨識功能(AssistiveTouch),可辨識握拳、捏手指等動作,讓你用單手微動作來操控手錶介面。未來,這種形式的互動有可能與AR/VR頭戴裝置結合,以便直接實現自然的手勢互動。

4,智慧戒指

#目前,市面上AR/VR主要互動方式是手柄,其次是手勢。 Google、Meta和蘋果等公司正在研究使用智慧戒指來控制AR/VR技術。尤其是在蘋果AR/VR相關專利中(US20190004604A1,US10444834B2等),經常出現對智慧戒指的介紹,涉及各種不同的設計。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

例如:U型戒指(彈性/柔性材質,尺寸可調)、戒指、指套(追蹤五指運動),或是時髦的螺旋式、鉸鍊式等設計。特點是外型可擴展,且可多個一起使用,或與Apple Pencil等週邊設備協同使用。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

特點是採用無線設計,光學定位織物、搭載多個感測器:觸控板、NFC通訊、生物感測器、SMI壓力感測器、加速針等裝置,可識別皮膚接觸/捏合、敲擊等微手勢交互,支援6DoF定位,甚至能辨識環境溫度、物理表面形狀和紋理,以及心率、血壓、血氧等生物訊號。一些專利中也提到,智慧指環可配備一些與Apple Watch接近的智慧功能,例如數位旋鈕、解鎖Mac電腦等等。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

5,手寫筆互動

在一些專利中,蘋果曾提出用手寫筆(如Apple Pencil)在空間中進行3D創作,這與傳統基於觸控筆的手寫筆方案有很大不同。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

例如編號US20180018057A1,就指出了一種基於非電子表面輸入的手寫筆設計,特點是手寫筆內置定位傳感器,可識別在任何地方書寫的內容。

而在2020年的一項專利中,蘋果則描述了一種支援6DoF定位的手寫筆,特點是支持剪切力反饋,用戶握筆時可感受到模擬的表面、體積、內部紋理等物理體感特性。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

在另一項專利中,蘋果還提出了一種簡易的手寫筆適配器,可為Apple Pencil帶來壓力感應功能(作用類似於VR手柄的扳機鍵),並允許用戶使用Pencil在空間中輸入資訊。此外,手寫筆還能作為控制器來玩遊戲(US20230042447A1),例如在AR/VR中做出敲擊、滾動、旋轉、輕彈和滑動等動作。

6,虛擬鍵盤

#編號US10237509B1:為了幫助AR/VR用戶快速輸入文字,蘋果在專利中提出了一種虛擬鍵盤設計,概念是在實體鍵盤上疊加一層虛擬鍵盤,相比於相機直接透視按鍵,虛擬鍵盤視覺看起來更加清晰。輸入硬體方面,此方案相容於實體鍵盤,或是平板電腦的觸控鍵盤、手勢追蹤手套。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

編號US20200088999A1:這項專利中設想了一種基於投影的虛擬鍵盤方案,特點是在頭顯上搭載投影裝置,可將鍵盤投影到桌面等物理平面上,並利用3D感測器來識別用戶敲擊鍵盤的動作。值得注意的是,這項專利中提到的頭顯還支援其他外屏交互,例如在外殼上加入按鈕、觸控感測器、觸控顯示屏,允許用戶不戴頭顯也能快速使用。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

而在另一項專利(US10890952B2)中,蘋果也提到了類似的互動式表面投影機方案,特點是可將任何實體表面變成可操作性的選單,例如在筆記本上疊加計算器功能,或在手臂上疊加互動UI。

五,VST透視

在一些專利上可以看到,蘋果部分VST技術是從他們2017年收購的VRVANA公司獲得的透視技術。 VRVANA技術特點是可修正光學透鏡的影像失真,VST透視延遲僅幾毫秒。在2019年公佈的一項專利中(發明者之一為VRVANA創始人Bertrand Nepvue),蘋果就描述了一種基於即時色度鍵控原理的MR方案,可將真實場景中人的背景替換為虛擬內容,類似綠幕替換。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

此外,蘋果在2019的另一項專利中指出(US10330935B2),可為頭顯配備高分辨率和低分辨率兩種透視攝像頭,這種設計利用了VR的注視點渲染技術,通過降低使用者餘光部分的透視分辨率,來優化計算任務、降低硬體成本。

專利也指出,AR/VR頭戴裝置透過兩組RGB相機捕捉周圍立體環境,宣稱可模擬人眼視覺系統。

六,空間音訊

#蘋果針對空間音頻也曾申請多項專利,例如一些基於HRTF(頭部相關傳輸函數)、幾何聲學等技術的方案,或是透過即時聲音射線追蹤來模擬室內聲場。此外,也探討了根據頭部定位資訊來預測雙聲道音訊的方案,特點是可根據使用者頭部運動來動態調整聲音的模擬距離和方向,改善VR RPG遊戲、恐怖電影等內容的體驗感。

而在US2022032965A1中,則描述了一種根據頭對軀幹方向來定位使用者朝向的方案,類似於AirPods的身體朝向模式。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

在2021年的一項專利中,蘋果曾指出AR/VR頭顯可搭載多個麥克風陣列,支援定向音訊偵測,可計算出周圍環境中某個聲音的來源,並以視覺形式標註或提示。這樣的功能可以很好的補充人的聽力,幫助使用者辨識超出正常感知範圍的聲音(類似的概念還可以用AR標記肉眼不可見的氣體、電磁訊號等)。

而在2023年的一項專利(US2023014111A1)中,也指出可以使用空間濾波器,根據用戶所處的環境,為雙聲道音頻加入空間線索,讓空間音頻的實際體驗更加身臨其境。

七,定位系統

#◎ 超音波定位

目前,主流VR定位是基於光學方案,例如紅外線、CV等等。在編號US20190094955A1的專利中,蘋果提出了一種基於飛時測距原理的超音波定位方案,宣稱可測量感測器與牆壁、目標、障礙物之間的相對測距,為周圍環境生成3D地圖,並定位手把、頭顯,以及偵測障礙物、辨識表面。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 3D測距/掃描

#蘋果不只一次在專利中提到,AR/VR頭顯可搭載多個3D感測器,包括:結構光感測器、雙眼3D影像感測器模組(由2個或以上相機組成)、LiDAR、3D無線電感測器、紅外線或CV相機等等,這些感測器可用來定位空間,也可以識別障礙物。

八,其它感測器

#◎ 多感測器陣列

在2021年,USPTO曾曝光一項來自蘋果的關鍵AR/VR專利(US20210165229A1),其中描述了一種分離式、搭載多相機和感測器的AR/VR頭顯。為什麼說它重要呢?首先專利發明者都是蘋果的一些關鍵人物,例如HoloLens聯合發明者Avi Bar-Zeev,以及在蘋果工作了二十多年的Geoff Stahl。最近,彭博社曝光,Stahl現在負責蘋果AR/VR專案中的關鍵應用程式xrOS作業系統。

除此之外,在編號US20210294104A1的專利中,蘋果還設想AR/VR頭顯可以搭載更多感測器,例如度相機、眼球追蹤模組、雷射雷達、指紋辨識模組、手勢辨識模組、超音波感測器、光學距離感測器、視網膜掃描感測器、溫度感測器、EMG、氧氣感測器、心率感測器、血流量感測器、電阻式感測器、應變儀、加速計、磁性感測器、電位器等。

◎ 霍爾感測器(編號US10557724B1)

通常,AR/VR頭戴裝置採用距離感應器來感知配戴狀態,偵測到使用者配戴頭戴裝置後,便會開啟系統,而偵測到使用者摘掉頭戴裝置後,則進入待機狀態。相較於距離感測器,霍爾感測器更省電,蘋果希望在頭顯中採用多個霍爾感測器和磁性機制,透過偵測裝置的旋轉角度,來判斷配戴狀態。實際上,蘋果藍牙耳機AirPods也採用了霍爾感應器。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

九,設計

#◎ 數位旋鈕

蘋果在多項專利中(如US20210089136A1),曾提到數位旋鈕設計在AR/VR頭戴裝置上的應用。實際上,數位旋鈕是蘋果產品的經典互動方式,先前曾出現在Apple Watch、AirPods Max耳機中,而應用在AR/VR頭顯時,它將可以調整音量、螢幕亮度,甚至可以切換AR和VR模式。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

有趣的是,在編號US20230162929A1的專利中,蘋果中指出數位旋鈕可支援更複雜的操作,例如將多次旋轉動作組合,觸發組合指令,實現更豐富的交互。

◎ 柔性智慧紡織材料

目前AR/VR主要在外殼上採用織物包裹,還未應用導電的織物設計。在編號US20190191557A1的專利中,蘋果提出了一種柔性智慧織物方案,特點是內建凹槽導電纜,可應用於臂帶、AR眼鏡等穿戴設備。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 隱藏相機

AR/VR頭戴裝置不可或缺的部分是光學感光元件和相機,它們主要用於感知環境、定位和手勢辨識。 AR眼鏡的全天候佩戴可能導致眼鏡上的相機和感測器運行時間過長,從而引起周圍其他人的不滿。為了讓相機看起來更隱蔽,蘋果在專利(編號:US20190353836A1)中提出了一种红外透光單面鏡塗層,原理類似於警局問詢室常用的單面鏡,該塗層能透過紅外線光(不影響SLAM定位),從外部看不到內部的攝影機。

◎ 外殼大面積觸控

在編號US20210089150A1的專利中,蘋果提出了一種大面積支援觸控的AR/VR頭戴裝置外殼設計,特點是配備感測器、滑桿按鈕、旋鈕等多種操作方式,支援靈活的外部操控。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

而在其他的專利中,蘋果也提到某種肉眼不易察覺的「隱形」按鈕和觸控滑塊方案,用於優化AR/VR頭顯的產品美學設計。

◎ AR頭顯盒子

蘋果在多項專利中曾提出插入式AR/VR頭顯盒子設計,特點是可將手機直接插入有透鏡的鏡架中,在用戶眼前顯示內容。鏡腳處還可配備觸控感應器,用於操作AR/VR介面。在2022年的一項更新專利(US11258891B2)中,也加入了新功能:支援AR(VST模式)/VR模式切換。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

比較與整合式AR/VR頭顯,頭戴裝置盒子的優點是成本更低,可以靈活利用現有的iPhone手機,甚至還能保護看手機的隱私。不過從一系列爆料來看,蘋果似乎暫時不會推出這樣的產品。

◎ 模組化AR眼鏡

在2020年公佈的一項專利中,蘋果構想了一種比較超前的AR眼鏡產品設計,特點是鏡片、鏡架等部分高度模組化,可替換和拆卸,例如根據不同的需求和場景,更換不同的零件,例如高解析度顯示器模組、長續航電池、更小巧的元件等等。值得注意的是,AR鏡框與鏡腳之間採用插入式榫接結構,使用者無需額外的工具輔助,自己就能組裝完整的AR眼鏡。這種玩法類似於Apple Watch的可更換錶帶機制,允許用戶將產品個人化。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 可設定、擴充的AR/VR音訊系統(編號US20200089008A1)

耳機的耳罩採用變形泡棉材質,可透過充氣和放氣來切換降噪和穿透模式,以改變音訊模式。在VR場景中,可快速切換至沉浸式音訊(降噪模式),而在AR場景中,則改為​​開放式音頻,透過骨傳導原理播放聲音。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 鏡片保護模式

Apple engineers envisioned a protective mechanism in a patent published in December 2019 to prevent the lenses of AR glasses from shattering upon impact from falls.。此方案可透過感測器偵測AR眼鏡的狀態,當時別到正在自由落地、被撞擊時,便會啟動光學系統的保護模式,即移動相關鏡片,並在透鏡間隔填充空氣或特殊液體,來形成緩衝,從而降低碰撞帶來的意外損失。

而在編號US20210302745A1的專利中,蘋果還提出了一種光學模組自檢系統,當識別到跌落、碰撞等情況時,會自動檢測內部組件錯位情況,並自動進行位置補償,以恢復預設值。

有趣的是,蘋果在另一項專利(US11340466B2)中,也提出了一種彈性鏡框設計,特點是鏡腿可變形,在受到撞擊時可起到緩衝作用,避免光波導等光學模組變形。

◎ 頭顯綁帶最佳化

編號US20190072772A1:通常,用戶在佩戴AR/VR頭戴裝置之前,需要針對自己的頭型去調節綁帶,這需要一個過程,因此不能像手機那樣拿出來就能用。當多人共享AR/VR頭戴裝置時,每個人都需要調整綁帶,這可能會比較麻煩。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

為了簡化頭顯配戴流程,蘋果在專利中描述了一種機械綁帶系統,特點是可識別使用者頭部參數,並自動適應尺寸。值得注意的是,該系統還會根據手勢、頭顯內容來調節,例如透過使用者手的位置來輔助摘掉、穿戴動作,而在運行不需要用戶移動的內容(例如看電影),綁帶就會放鬆。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

除此之外,蘋果還在一項專利中提出了一種可折疊頭帶系統(US11320659B1),特點是將柔性綁帶與磁吸模組結合,特點是容易收納,支援模組化擴展(例如將相機、電池、揚聲器等元件吸附在頭帶上)。

十,UX設計

#◎ 主動散熱系統

編號US20190075689A1:為了提升散熱效率,Quest 2已經採用風扇來主動散熱。相較之下,蘋果專利中所描述的方案具有較好的通風性,特點是在頭顯上下兩面各配置兩個風扇,以實現上下對流風,為內部零件降溫。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

此外,此風扇系統可根據渲染任務動態調節強度,還能對臉部吹風,為肌膚降溫。

而在2022年的一項專利中,蘋果進一步提出了一種風扇噪音控制系統,特點是可識別散熱系統的噪音,並即時調節風扇速度來降噪,以避免干擾用戶與接打電話、Siri語音助理交流。有趣的是,還可以增加風扇音量,來提示使用者周圍有障礙物。

◎ 光纖部件自我清潔

我們知道,AR/VR頭顯通常是基於精密的光學結構,如果在透鏡、顯示器之間的縫隙進入灰塵或碎片,很可能阻礙光源傳播,進而影響顯示效果。然而,光學元件通常不好拆開,人為清潔困難。因此,蘋果在2021年公佈的一項專利中指出一種可自我清潔的光學方案,其概念足夠簡單,主要是檢測光學質量,當出現問題時,便通過抖動將灰塵顆粒抖開,並安全的手機到用戶視線範圍外。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 臉部適配系統

編號US20200081259A1:蘋果提出了一種模組化的頭顯面部支撐系統,特點是採用長度可伸縮的材質、充氣式材料,以及彈性橡膠材料,好處是可以根據不同人的面部結構(額頭、兩頰、太陽穴)調整,即使因頭顯晃動而出現面罩錯位,也可以透過調整貼合度來提升舒適感。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 跨裝置認證解鎖

在一項名為「認證設備輔助用戶認證」(US10893412B2)專利中,蘋果指出了一種多設備就近認證的方案,允許用戶佩戴AR/VR頭顯直接解鎖自己的iPhone,從而省去重複穿脫頭戴裝置、解鎖手機的步驟。這款跨裝置之間的連動設計,在Apple Watch上已經採用,可讓你快速解鎖iPhone或Mac電腦。除了使用解鎖功能外,你還可以透過使用頭戴式顯示器來鎖定手機等設備,同時還可以設定二次驗證機制。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

在另一項編號US20210105614A1的專利中,蘋果也提到了類似的多設備認證、解鎖系統,允許用戶使用AR/VR頭顯解鎖附近的蘋果設備。

◎ 增強融合顯示

編號US10347050B1,蘋果提出了一種利用AR扭曲影像來增強顯示效果的方案,其特點是透過辨識使用者的視覺盲點,來用AR的形式改變真實環境的視覺效果,讓原本使用者看不到的內容,也能以某種形式可見。此方案基於眼球追蹤技術,需要使用3D深度感知來捕捉周圍場景。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 頭戴裝置無線感應充電

#在編號US20200081490A1的專利中,蘋果提出了一種適用AR/VR頭顯的感應充電架,特點是可直接將頭顯掛在上面展示,或是將電池分離,放在架上充電。這個設計的優點在於它能夠實現頭顯的美觀收​​納和展示,而且頭顯不使用時還可以充電,方便用戶隨時拿取使用。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ AirPlay隔空播放

在多項專利中,蘋果曾提出將AR/VR頭戴裝置與電腦、筆記型電腦、電視連動的方案,概念類似於現有的AirPlay功能,可以快速在頭戴裝置中同步周圍其他裝置的螢幕(來播放影片、載入文件、信箱等等)。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 毫米波通訊系統

在2020年的一項專利中,蘋果提出了一種基於毫米波的多人互動方案,特點是透過毫米波基地台和多個中繼基地台,來實現與電子設備之間的大規模無線通訊,例如向多台AR/VR頭戴裝置串流內容等等。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

十一,應用場景

在某些專利中,蘋果深入探討了AR/VR的多種應用場景,例如沉浸式觀影、AR導航、AR視訊通話系統等等。

◎ AR通話(專利編號20160344972)

基於相機捕捉、產生3D模型,用於實現沉浸式遠端AR通話。此方案可用於iPad、Apple TV等設備,特點是可將通話者、通話者手上拿著的物體捕捉,並以虛擬形式呈現在影片中。

也會結合外部相機,搭載RGB影像感測器、深度感測器、IR感測器等,可辨識空中手勢,用於簡化選單操控方式。

◎ 虛擬助理

特點是具備上下文感知能力,利用電腦產生字元或影像,用於提示、導航、顯示額外的訊息,輔助使用者使用AR/VR。除了視覺輔助外,虛擬助理也支援語音互動。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ AR導航

#編號US20170213393A1:蘋果AR/VR頭顯可能支援視覺導航,例如現實場景中的建築、興趣點上標記額外的訊息,或是用AR標記車內的音響等各種功能。此外,支援手勢互動。專利來自Metaio的技術,除了AR導航方案外,Metaio也為AR環境辨識(3D環境捕捉,以及天氣、時間、座標等資料辨識)申請專利。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

而在2018年另一份專利中,蘋果也曾提出可從多角度檢視的3D AR地圖方案。

◎ AR體育轉播

編號US20200175275A1:為運動比賽轉播加入可互動的AR內容,豐富觀賞體驗。這個方案的特點是,需要使用外部設備來檢測觀眾的興趣點,並在此基礎上顯示額外的信息,例如當你看對籃球員的鞋子感興趣,系統就會在電視上顯示球鞋的信息,還可以AR的形式展現球鞋模型,讓觀眾從多角度看。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 低延遲色度摳像

#Zoom等視訊軟體已經支援背景替換功能,而在VST混合實境頭戴裝置中,背景替換也可以得到很好的應用,例如將眼前的人、物件與實際背景風格,並即時替換為虛擬背景。蘋果的專利方案與通常的背景替換方案不同,它是更立體的,可以呈現3D背景,而不是2D圖像。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 與電腦協同

在某些專利中,蘋果提到了AR/VR在辦公室場景的應用,例如搭配Mac電腦,利用虛擬螢幕來擴展電腦螢幕的顯示區域,或將電腦螢幕內容顯示在頭顯中,以保護使用者隱私,防止窺屏。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 手機等連接AR/VR頭戴裝置(編號US20190065027A1)

描述了某種分離式觸控互動方案,即使用手機等具備觸控板、觸感按鍵和顯示器的設備,來操控AR/VR頭顯顯示的內容。換句話說,將iPhone作為AR/VR頭顯的手柄,這可以看做是手勢、手柄之外的另一種互動方式,而且可以很好的融合蘋果全家桶設備。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

◎ 360°視訊編碼/解碼技術

專利編號20190004414,指出了一種自適應解析度和投影格式,特點是預設了多種編碼配置方案,可根據成像效果選擇是否插幀,從而提升360°和MR視訊渲染品質。

挖掘數百篇AR/VR專利,蘋果XR全方位探索

雖然我們擁有這些專利,但它們只揭示了蘋果XR設備開發的一小部分,因此無法確定最終的外觀和功能。本文只是拋磚引玉,透過這些專利給大家一些線索和啟示。蘋果XR設備有待揭曉,期待在WWDC23讓我們一睹芳容。

以上是挖掘數百篇AR/VR專利,蘋果XR全方位探索的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1421
52
Laravel 教程
1315
25
PHP教程
1266
29
C# 教程
1239
24
傳音回應在印度被高通訴專利侵權:已簽署並履行協議 傳音回應在印度被高通訴專利侵權:已簽署並履行協議 Jul 18, 2024 pm 03:03 PM

7月13日消息,近日有報告稱,高通正在印度德里高等法院起訴傳音控股集團,控告後者侵犯其四項非標準必要專利。傳音對此回應稱,已與高通簽署了5G標準專利許可協議並正在履行該協議。傳音表示,其銷售網路涵蓋非洲、南亞等超過70個新興市場的國家,在某些國家,部分專利權人並未擁有或只擁有少量的專利。但要求依照全球統一的費率,訴求過高的許可費,並未考慮不同區域的經濟發展水平差異、其在特定區域或市場無專利或只有少量專利、以及既有判例存在不同區域提供不同費率等因素。這種做法並未完全遵循公平、合理和非歧視原則。傳音

曝華為在自己做超音波螢幕下指紋 明年 P80 系列預計將首發 曝華為在自己做超音波螢幕下指紋 明年 P80 系列預計將首發 Mar 15, 2024 pm 08:31 PM

隨著手機技術的不斷進步,螢幕下指紋解鎖已成為市場上的標準配備之一。根據數位部落客@數位閒聊站的消息,華為正在研發超音波螢幕下指紋技術,但有關匯頂專利風險的傳言並不完全屬實。此外,華為不僅在超音波技術上取得進展,還在光學屏下指紋和電容式指紋方面擁有自主研發的演算法方案,展現出強大的研發實力。據悉,目前屏下指紋辨識技術主要有光學指紋辨識和超音波指紋辨識兩種。和光學指紋辨識相比,超音波指紋辨識技術具有辨識速度快、辨識率高、穿透性強,無懼水漬、污漬,幹擾能力強,支援活體偵測,安全性較高等特點,是目前主流旗艦機

探索Go語言的未來發展趨勢 探索Go語言的未來發展趨勢 Mar 24, 2024 pm 01:42 PM

標題:探索Go語言的未來發展趨勢隨著網路科技的快速發展,程式語言也不斷演變與改進。其中,作為一門由Google開發的開源程式語言,Go語言(Golang)因其簡潔、高效和並發特性而備受追捧。隨著越來越多的公司和開發者開始採用Go語言來建立應用程序,Go語言的未來發展趨勢備受關注。一、Go語言的特徵和優勢Go語言是一門靜態類型的程式語言,具有垃圾回收機制和

Go語言中常用資料庫選擇的探索 Go語言中常用資料庫選擇的探索 Jan 28, 2024 am 08:04 AM

探索Go語言中常用的資料庫選擇引言:在現代的軟體開發中,無論是Web應用、行動應用或物聯網應用,都離不開資料的儲存與查詢。而在Go語言中,我們有許多優秀的資料庫選擇。本文將探討Go語言中常用的資料庫選擇,並提供具體的程式碼範例,幫助讀者了解並選擇適合自己需求的資料庫。一、SQL資料庫MySQLMySQL是一種流行的開源關係型資料庫管理系統。它支援廣泛的功能和

Vision Pro 功能下放? iPhone、iPad 等裝置或將支援空中手勢 Vision Pro 功能下放? iPhone、iPad 等裝置或將支援空中手勢 Mar 27, 2024 pm 12:16 PM

根據最近公示的世界智慧財產權局(WIPO)清單顯示,蘋果公司最新獲得了一項名為《GESTURERECOGNITIONWITHHAND-OBJECTINTERACTION》的手勢識別專利。這項消息暗示著現在針對VisionPro頭戴裝置的多種空中手勢操作技術可能會擴展到iPhone、iPad和MacBook等其他裝置。這項專利技術的關鍵在於讓設備能夠掃描和識別用戶的手勢,透過分析數據來識別特定的手勢。例如,相機可以拍攝使用者手臂的影像,或者手部的加速度計可以記錄手部的運動資訊。透過對捕獲到的手勢數據進

榮耀、OPPO、vivo與諾基亞達成專利交叉授權:三家可貢獻15億歐元 榮耀、OPPO、vivo與諾基亞達成專利交叉授權:三家可貢獻15億歐元 Feb 07, 2024 pm 12:57 PM

當地時間2月5日,芬蘭通訊設備大廠諾基亞宣布已與中國智慧型手機廠商vivo簽署了多年專利交叉授權協議。根據協議,vivo將向諾基亞支付特許權使用費,並追加支付爭議期間的款項。該協議解決了雙方在所有司法管轄區之間所有懸而未決的專利訴訟。具體的協議條款將按照雙方商定保持保密。諾基亞技術公司總裁珍妮·盧坎德(JenniLukander)表示:「這是我們在過去13個月內簽署的第6份主要智慧型手機專利許可協議,現在我們幾乎已經完成了智慧型手機授權更新週期。這些許可協議共同證明了諾基亞在開發整

深入探索Linux內核原始碼分佈 深入探索Linux內核原始碼分佈 Mar 15, 2024 am 10:21 AM

這是一篇深度探索Linux內核原始碼分佈的關於1500字的文章。因為篇幅有限,我們將重點介紹Linux核心原始碼的組織結構,並提供一些具體的程式碼範例,以幫助讀者更好地理解。 Linux核心是一個開源的作業系統內核,其原始碼託管在GitHub上。整個Linux核心原始碼分佈非常龐大,包含了數十萬行程式碼,涉及多個不同的子系統和模組。要深入了解Linux核心原始碼

OPPO之後 vivo宣布與諾基亞和解:今日簽署專利交叉授權協議 OPPO之後 vivo宣布與諾基亞和解:今日簽署專利交叉授權協議 Feb 05, 2024 pm 07:48 PM

2月5日消息,今天,vivo宣布與諾基亞簽署5G專利交叉許可協議,該協議涵蓋雙方在5G和其他蜂窩通訊技術方面的標準必要專利。在協議簽署後,雙方將結束在所有司法管轄區的所有未決訴訟,不過協議具體條款按雙方約定保密。這已經是諾基亞近一年多來,達成的第6項智慧型手機授權協議,今年1月份,諾基亞與OPPO達成了類似協議,此前更是與蘋果、三星、榮耀和華為達成了類似交叉授權協議。 vivo表示,基於長期在5G通訊標準領域的投入研發,vivo在全球進行了廣泛的智慧財產權佈局,形成了業界領先的專利組合,目前已在

See all articles