首頁 科技週邊 人工智慧 微軟AR/VR專利分享用於ToF成像的運動校正方法

微軟AR/VR專利分享用於ToF成像的運動校正方法

Oct 19, 2023 am 11:25 AM

(映維網Nweon 2023年10月19日)諸如飛行時間ToF相機這種深度感測系統可用於為HoloLens 2產生環境的深度影像,其中深度影像的每個像素表示到環境中相應點的距離。在ToF成像中,環境中成像表面上點的距離取決於ToF攝影機發出的光傳播到該點,然後返回ToF相機感測器的時間間隔長度。

基於相位的ToF成像是ToF成像的變體,其中深度是根據從物件反射回來的調幅光的相移來計算。由於ToF相機在相位資料擷取之間的運動,幀內相位資料可能會相對移位。例如,在第一幀內相位資料擷取中,像素可以在場景內的位置以第一調製頻率感測相位資料。然後在下一幀內相位資料擷取期間,像素可以在第二調變頻率下感知不同場景位置的相位資料。不同頻率的相位資料變得不一致,則可以稱為運動模糊。

所以在名為「Motion correction for time-of-flight depth imaging」的專利申請中,微軟提出了一種用於ToF成像的運動校正方法。

為此,將對應於第一光光調變頻率的主動亮度AB影像與對應於第二光光調變頻率的AB影像進行比較,以確定幀內二維平移。幀內二維平移對應於攝影機相對於成像場景的估計運動。

然後,將幀內二維平移應用於相位數據,以幫助相位影像對齊並形成校正後的相位數據。接下來,對校正後的相位資料進行相位解包,得到幀內校正後的三維深度影像。幀內二維平移同時可用於對幀內AB影像執行運動校正。例如,可以透過對校正後的AB影像取平均值來獲得幀內校正後的AB影像。

在這樣的範例中,將來自第一幀的第一AB影像與來自第二幀的第二AB影像進行比較,以確定幀間二維平移。幀間平移是幀間運動的估計。然後,可以將幀間二維平移應用於第一幀的深度影像,以形成幀間產生的深度影像。可根據幀內校正的AB影像確定幀間二維平移。

另外,作為攝影機運動的估計,可以輸出幀間二維平移並用於各種時間後處理例程或軟體服務。因此,專利描述的實施例可以使用二維幀內AB影像資料來幫助實現3D深度資料的運動模糊校正。透過使用二維數據,與使用3D深度數據進行運動模糊校正相比,可以即時執行運動校正,具有相對高效的計算性能。

微軟AR/VR專利分享用於ToF成像的運動校正方法

圖2顯示了包含ToF相機202的範例。其中,ToF相機是基於相位的ToF深度成像系統200。 ToF相機202包含感測器陣列204,感測器陣列204包含多個ToF像素206,每個像素206配置為取得擷取相位資料的光樣本,控制器208和物鏡系統210。

控制器208配置為收集和處理來自感測器陣列204的ToF像素206的數據,從而建立深度影像。控制器208可以包括執行去雜訊和/或相位展開的可執行指令。

深度成像系統200同時包括調製光發射器230和用於感測器陣列204的類比和/或數位調變電子快門232,以透過感測器陣列204控制光的整合。調製光發射器230可以配置成發射具有可由ToF像素206檢測到的任何頻率的電磁輻射。

調製光可以依序或同時以不同頻率調製,而感測器陣列204配置為取樣從調變光發射器230反射到表面220並返回相機的光。感測器陣列204的每個ToF感測像素206可包括一個或多個像素tap,以在不同的時間間隔整合反射光訊號,並由此確定相移。

對於每個調製頻率,控制感測器陣列204以來自光源的幅調製光的多個相位角對光進行採樣,並從用於調製頻率的多個光樣本中確定用於每個調製頻率的相位樣本。然後相位樣本可以展開以獲得每個像素的深度值。

由於調製光的周期性,測量的總相位每2π重複一次。由於n(k)不能透過基於相位的ToF像素直接測量,因此總相位以及與測量相關的實際距離是模糊的。因此在基於相位的ToF成像中,可以測量的距離(無模糊範圍)受到調製頻率的限制。

可以使用兩個或多個不同的調變頻率來增加無模糊範圍,然後將收集到的相移資料展開,以準確確定距離。

微軟AR/VR專利分享用於ToF成像的運動校正方法

圖3示意性地說明用於多個K個調變頻率的範例ToF影像資料300。資料300表示深度成像系統200在多頻幀擷取過程中可取得的資料。

在所示的範例中,深度資料包括針對K個調變頻率中的每個頻率的M×N資料數組,從而產生幀內深度資料302a-c的M×N網格,其中每個網格中的每個像素304表示在K個調變頻率的相應照明光調變頻率K下獲得的測量值。

測量的相位用於計算與像素相關聯的深度值。但如上所述,在基於相位的ToF成像中,可以測量的距離(無模糊範圍)受到調製頻率的限制。因此,可以使用一組K≥2個調變頻率K來增加範圍,從而允許相位資訊解開以準確確定距離。

相位展開是透過使用多個不同頻率的調幅光照射場景來消除相移資料歧義並識別正確距離值的一種方法,因為對於每個照明光的頻率,距離歧義是不同的。

但如上所述,如果ToF深度攝影機處於運動狀態,則可能發生相位展開錯誤。由於每個頻率的深度資料擷取是順序進行,因此相位影像和AB影像在一幀內暫時分離。

例如,幀內相位圖像306a可包括朝向幀的開始處獲取的第一頻率ƒ1相位數據,幀內相位圖像306b可包括在幀的中間處獲取的第二頻率ƒ2相位數據,幀內相位影像306b可包括朝向幀的結束處取得的第三頻率ƒ3相位資料。

因此,如果ToF深度相機在幀內擷取之間移動,則三種不同頻率的相位資料可能會移位和錯位。相位資料不一致可能導致相位展開時出現錯誤。

所以,微軟提出了利用AB影像資料來估計運動並確定二維平移的解決方案。

這家公司指出,儘管可以使用深度數據,但由於場景中物件之間的主動亮度差異,基於AB影像資料確定二維平移可能更加穩健。然後,可以使用二維平移對相位資料執行幀內運動校正。對幀內校正的相位資料執行相位展開可以幫助避免因運動模糊而導致的展開錯誤。

微軟AR/VR專利分享用於ToF成像的運動校正方法

圖4示出用於在相位展開之前對深度資料執行這種校正的範例方法。方法400可在接收來自ToF深度攝影機的資料的計算系統實現。

在402,進行多頻幀收集,其中透過ToF影像感測器收集多個幀內相位樣本。對多個照明光調變頻率(ƒ1、ƒ2、ƒ3)中的每一個擷取幀內相位樣本,以形成對應的幀內深度資料404a-c。在本例中,首先取得幀內深度資料404a,其次取得幀內深度資料404b,第三取得幀內深度資料404c,如時間箭頭所示。

在406,進行訊號校準校正以獲得相位資料408和主動亮度資料410。如上所述,由於相機運動,不同頻率的幀內深度資料可能會相對移位。因此,方法400比較主動亮度資料410來估計和校正運動。

這裡,將幀內AB影像410a與幀內AB影像410b進行比較,以確定第一幀內二維平移412。從AB1到AB2的二維平移可以用[Δu, Δv]1,2來表示,其中Δu是x方向的像素位移,Δv是y方向的像素位移。幀內二維平移412是幀內深度資料404a和幀內深度資料404b之間運動的估計。

接下來,將幀內AB影像410a與幀內AB影像410c進行比較,以決定第二個幀內二維平移414,表示為[Δu,Δv]13。

在一個實施例中,可以將幀內AB影像410b與幀內AB影像410c進行比較,以確定第三幀內二維平移。在其他範例中,可以比較任何合適的幀內AB影像對以確定相應的幀內二維平移。任何合適的方法都可以用來比較AB影像並確定平移。在一個範例中,從AB影像中提取特徵,形成特徵映射,並用於比較影像。

在確定二維平移後,可以使用確定的平移來校正相位資料。在圖4所示的實施例中,對相位影像408b施加幀內二維平移412,對相位影像進行校正,形成校正後的相位影像420b。同樣,對相位影像408c進行幀內二維平移414,對相位影像進行校正,形成校正後的相位影像420c。

因此,校正後的相位資料420表示已「重新對齊」到相位影像408a的相位資料。在一個範例中,可以應用一個或多個二維平移來形成與相位影像408b或408c對齊的校正相位影像。

在422,方法400同時包含對校正後的相位資料420執行相位展開以形成深度影像424。由於校正後的相位影像420b、420c可以與相位影像408a重新對齊,與忽略運動模糊校正的範例相比,在422的相位展開可以產生相對較少的展開誤差。

所以,方法400可以幫助在處理深度資料404以形成深度影像424方面實現更好的效能。

另外,幀內二維平移的應用可以透過卷積執行,因此可以與也利用卷積的空間和時間濾波處理結合。同時,作為攝影機運動的估計,確定的幀內二維平移可能有助於實現各種後處理應用,例如時間濾波器、軌跡估計、動態區域估計或映射。類似的技術可用於校正幀內AB影像並形成幀內校正的AB影像。

微軟AR/VR專利分享用於ToF成像的運動校正方法

參考圖5,方法500利用幀內二維平移412、414形成校正後的AB資料510。在一個範例中,方法500與方法400一起執行。在其他範例中,方法500與方法400分開執行。

如圖5所示,將幀內二維平移412應用於幀內AB影像410b,對影像進行校正,形成校正後的AB影像510b。進一步,將幀內二維平移414應用於AB影像410c,以形成校正後的AB影像510c。與幀內AB影像408a一起,校正後的AB影像510b-c形成校正後的AB資料510。

在518,方法500進一步包括對校正後的AB資料510進行平均,以形成幀內校正後的AB影像520。可輸出幀內校正的AB影像520以便進一步處理和/或輸出到顯示器。

幀內校正的AB影像也可用於產生幀間深度影像。除了校正深度影像影格內的運動模糊外,同時可以在影格之間進行校正。

相關專利:Microsoft Patent | Motion correction for time-of-flight depth imaging

名為「Motion correction for time-of-flight depth imaging」的微軟專利申請最初在2022年3月提交,並在日前由美國專利商標局公佈。

以上是微軟AR/VR專利分享用於ToF成像的運動校正方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

最佳AI藝術生成器(免費付款)創意項目 最佳AI藝術生成器(免費付款)創意項目 Apr 02, 2025 pm 06:10 PM

本文回顧了AI最高的藝術生成器,討論了他們的功能,對創意項目的適用性和價值。它重點介紹了Midjourney是專業人士的最佳價值,並建議使用Dall-E 2進行高質量的可定製藝術。

開始使用Meta Llama 3.2 -Analytics Vidhya 開始使用Meta Llama 3.2 -Analytics Vidhya Apr 11, 2025 pm 12:04 PM

Meta的Llama 3.2:多模式和移動AI的飛躍 Meta最近公佈了Llama 3.2,這是AI的重大進步,具有強大的視覺功能和針對移動設備優化的輕量級文本模型。 以成功為基礎

最佳AI聊天機器人比較(Chatgpt,Gemini,Claude&更多) 最佳AI聊天機器人比較(Chatgpt,Gemini,Claude&更多) Apr 02, 2025 pm 06:09 PM

本文比較了諸如Chatgpt,Gemini和Claude之類的頂級AI聊天機器人,重點介紹了其獨特功能,自定義選項以及自然語言處理和可靠性的性能。

10個生成AI編碼擴展,在VS代碼中,您必須探索 10個生成AI編碼擴展,在VS代碼中,您必須探索 Apr 13, 2025 am 01:14 AM

嘿,編碼忍者!您當天計劃哪些與編碼有關的任務?在您進一步研究此博客之前,我希望您考慮所有與編碼相關的困境,這是將其列出的。 完畢? - 讓&#8217

頂級AI寫作助理來增強您的內容創建 頂級AI寫作助理來增強您的內容創建 Apr 02, 2025 pm 06:11 PM

文章討論了Grammarly,Jasper,Copy.ai,Writesonic和Rytr等AI最高的寫作助手,重點介紹了其獨特的內容創建功能。它認為Jasper在SEO優化方面表現出色,而AI工具有助於保持音調的組成

AV字節:Meta' llama 3.2,Google的雙子座1.5等 AV字節:Meta' llama 3.2,Google的雙子座1.5等 Apr 11, 2025 pm 12:01 PM

本週的AI景觀:進步,道德考慮和監管辯論的旋風。 OpenAI,Google,Meta和Microsoft等主要參與者已經釋放了一系列更新,從開創性的新車型到LE的關鍵轉變

向員工出售AI策略:Shopify首席執行官的宣言 向員工出售AI策略:Shopify首席執行官的宣言 Apr 10, 2025 am 11:19 AM

Shopify首席執行官TobiLütke最近的備忘錄大膽地宣布AI對每位員工的基本期望是公司內部的重大文化轉變。 這不是短暫的趨勢。這是整合到P中的新操作範式

視覺語言模型(VLMS)的綜合指南 視覺語言模型(VLMS)的綜合指南 Apr 12, 2025 am 11:58 AM

介紹 想像一下,穿過​​美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

See all articles