真·3D創作來了,必須用手比劃!這回AI總不能搶我飯碗了吧
在AR向前推進的這條路上。還會不斷有新的產業角色、技術力量加入進來,共同推動AR駛向我們的終極想像:真正意義上面向大眾的擴增實境。
本文經AI新媒體量子位元(公眾號ID:QbitAI)授權轉載,轉載請聯絡來源。
AR苦內容久矣。
過去一段時間來,AR廠商們都爭相推出消費級AR眼鏡,在重量、續航、功能上卷出新花樣,但也逃不脫被人們詬病:
除了看片還能幹啥?
當下的消費級AR到底是不是真·AR?
對於使用者來說,AR眼鏡的作用,如果只是將一台投影機縮小到鏡片大小架在眼前,很難長期滿足消費者不斷湧現的新需求。
一直跟手機借內容生態?
似乎也不可取,畢竟AR最大的想像力就在於如何成為一個新型獨立終端。更何況手機內容都侷限在2D,和擴增實境基本定義裡反覆提及的3D也有本質性差異。
所以該怎麼辦?
賣空自家6萬台AR眼鏡庫存的行業頭部玩家,最近頂著元宇宙退潮交出了自家答卷:
透過一個AR應用,他們讓普通人在10分鐘內建造屬於自己的AR數位空間。
而且還是必須用手在物理空間裡創作的那種,AI這回沒話說了吧?
當然這是開玩笑,背後真正的目的在於,能夠讓更多開發者、創作者,能夠來AR空間內發揮自己的想像力,壯大AR內容生態,並進一步達到推動AR向大眾層面鋪平。
所以這款應用程式到底是什麼?僅憑它就能實現如此宏大的目標嗎?背後又揭露了AR產業的哪些暗湧?
靈境是什麼?
Rokid創辦人兼CEO 祝銘明表示,靈境是AR產業劃時代的產品,可以讓每一個人都參與AR數位內容的創作。
官方定義,靈境是一款AR空間創作工具,能做的事就是在3D空間內創作AR內容,而且門檻很低,人人可用。
具體操作步驟分為5步驟:
- 手機掃描空間
- 雲端空間重建
- 線上場景佈局
- #多端一鍵發布
- AR終端體驗
也就是說,透過普通手機攝像頭,靈境就能獲取到空間信息,然後在雲端進行重建。之後就可以按照自己的想法完成創作了。
創作好的AR內容可以直接發佈在平台上,一個空間內可以有多個人發布自己的創作。最後只要戴上AR眼鏡就能體驗。
整個過程下來,一個10平米左右的空間,只要10分鐘就能搞定。
據介紹,靈境的內容渲染也是基於Rokid自己的3D渲染引擎,這樣可以大幅降低整個內容創作、落地的時間和人力成本。
要知道,目前AR內容創作的落地過程,基本上都還是一個長鏈流程。
需要有一定的產品資源、開發資源和內容創作資源,然後再由專業團隊打包資源到現場測試,最後進行驗收。常用的創作工具如Unity、UnrealEngine,在使用上也有門檻,要求用戶具備一定的開發基礎能力。
而且靈境也強調一大特點:協同合作。
不僅實現了多端一致,即在手機、PC、AR眼鏡上都能看到創作內容空間;也實現了讓多人參與到同一空間內的AR創作。
這個定位明顯更偏向大眾化,業界使用者和一般消費者都能上手體驗,同時也會提出一些新的要求,如高並發需求、終端算力、內容創作效果等。
那麼問題來了--
靈境是如何實現的?
這背後其實是一整套技術堆疊的全方位升級,包括硬體、系統、雲端服務、演算法等。
首先來看硬體方面,這次配合靈境的發布,Rokid將AR眼鏡從傳統「雙魚眼 RGB三攝方案」升級為「單攝RGB輕量化SLAM」。
單眼方案的好處很直接:結構簡單、硬體設計複雜度降低、主機板面積小、成本功耗比大幅降低,用戶側能直接感受到配戴舒適度和續航力上的提升。
在落地應用程式上,據悉靈境搭載的硬體也是只有一個相機的。
因為把相機數量壓縮到最後一個,單眼方案可以帶來更低功耗、更簡結構,更低成本等諸多優勢,舒適的配戴和較普惠的價格,符合靈境的「讓AR更普惠」的需求。
但單目方案也確實有短板,例如它無法得到絕對的尺度訊息,所以需要透過初始化恢復尺度訊息,而初始化的好壞直接影響演算法最終的精度。單眼計算絕對尺度準確度不夠高,尺度收斂也有不確定性,這些對單目SLAM演算法開發帶來很大的挑戰,會直接影響到AR體驗。
不過Rokid表示,目前業界已經出現了對應的解決方案。
演算法上,在IMU的輔助下,單目的靜態初始化和動態初始化已經有了很多方案,初始化完畢以後基本上獲得比較精確的絕對尺度先驗。再結合例如基於濾波的演算法,可以在後期使用過程中對各種SLAM參數持續優化,進一步提升演算法的定位精度,同時基於深度學習的技術在SLAM演算法上也有很多技術探索。
由此,也能感受到Rokid的理念是:AR產品不僅只是堆疊感測器,而是軟體、硬體、演算法和場景作為整體,提供用戶更舒適的AR綜合體驗。
軟體方面的提升,主要體現在3D點雲和SLAM方面。
並利用端雲協同的方式平衡了算力、功耗和高並發幾個方面的要求。
Rokid應用平台中心部門負責人Watson介紹:
基於3D點雲的視覺定位技術和裝置端的SLAM技術(Simultaneous localization and mapping,同步定位和地圖建構),可以類比自動駕駛中的道路高精地圖和車輛空間感知。
在AR場景下,也有一些開發者拿點雲作全域的粗定位,拿SLAM做局部精定位,兩個鬆耦合在一起。
Rokid這次將這個鬆散耦合,做了更深度的融合。實現了端上只做定位和跟踪,雲端上空間建圖。
這種端雲協同協作運算的方式,可以提升一些場景下的定位精度,如弱紋理、環境有變化的場景,同時也能降低行動端的運算功率。原理上主要利用了RTC(Real time communication,即時通訊)在弱網對抗/低時延傳輸和視訊影像壓縮上的優勢。
緊密耦合的實現,依靠了Rokid全新升級的底層作業系統YodaOS-Master。
具體變化體現在XR系統、XR雲端服務和XR硬體三個層面。
系統全方位升級後,Rokid可以建立一個更完整閉環的OS生態,以此更好地連結開發者和消費者。
深扒完靈境的技術堆疊後不難發現,Rokid這次發布是有備而來。
最核心的目的十分明確:降低AR內容創作門檻,壯大AR內容創作團隊。
只需一部手機即可體驗,耗時縮短到10分鐘,這確實是每個人幾乎都能滿足的條件,還有機會感受到所謂「真正的AR」到底是什麼形態。想一想,確實能吸引一波好奇者了。
由此也讓人開始好奇,為什麼要在此刻正式推出靈境?又為什麼要主打降門檻?
答案還是要從市場需求、AR產業發展及產業玩家經驗驗證幾個維度看起。
為什麼要做靈境?
最直接的影響因素還是來自於市場需求。
Rokid副總裁、數位文化事業部負責人陳希表示,目前在文博文旅領域,對AR內容的需求非常突出,她給了一個很驚人的數據來說明:
今年春節期間在文博場景體驗過Rokid AR的人數達到了4萬人。
全國範圍內,如廣東省博物館、西安博物院、陝西自然博物館、蘇州博物館、良渚古城遺址公園等都陸續推出了AR導覽。
AR會在文博領域快速進入的原因也很好理解,它能極大程度上豐富3D空間內的內容豐富度,並將文化知識以更加直觀、豐富、多樣的方式呈現到參觀者面前。
而全國登記在冊的博物館數量就超過了6000家,隨著越來越多博物館提出需求,過去長鏈條的內容生產模式,難以快速響應。更何況這種以方案落地的模式,對人力物力成本的要求也很高。
因此,市場上亟需一個能高效易上手的生產力工具,能夠加速AR內容的創作,並降低成本。
另一邊,在工業方面類似的情況。
Rokid副總裁、產品技術中心負責人江濤介紹說,和文博場景有些相似,在工業生產一線上,也希望能夠在3D空間裡盡可能展示更多信息。
這樣第一線人員進行操作時,不用再專門走到一些儀表前查看資料、核對情況,而是直接在工作現場就能看到所需資訊。
用江濤的話來說,從工業元宇宙的大概念出發,完成數位轉型是做完了工業元宇宙的基建,將整合分析好的數據再重新反饋到現場,才真正走完了一整個閉環。
由於工業場景天然對降本增效提出更高要求,因此工業場景內AR的需求和市場可能會更大。
在許多工廠中,許多條真實的AR生產線已經被搭起來了:
此外,在教育領域,用上AR輔助教學也逐漸普及開來。
例如基於AR的安防教育,就不再只是書面、視訊形式的灌輸了。小朋友們可以在模擬的火災場景中學習如何逃生,記憶點會更加深刻,教育的效果自然也會更好。
而在這一幕內,學校老師往往是需要基於課程要求,持續更新AR內容的,一個基於手機就能用的低門檻內容生產工具,也確實符合真實需求。
如上是市場方面帶來的直接需求。
更深層的影響因素,是AR現階段演化的要求。
一直以來,AR原生內容生態匱乏都常常被人吐槽,成為許多人不願意體驗AR設備的一大原因。
跟手機借生態?雖然內容豐富度短期上來了,但展現的內容更多侷限在2D層面,真正的AR內容沒有被展現出來,還會讓人覺得AR眼鏡的終途就是手機配件?
由此,對AR產業而言,幾乎所有人都意識到豐富內容生態是當下發展的重中之重。如蘋果在最早期探索AR時,也是率先發布了AR Kit開發平台,把APP Store的打法繼續用在AR領域。
畢竟只有內容豐富了,使用者才會被吸引過來,AR才有機會向前更進一步。那麼眼下的問題就變成如何豐富AR原生內容。
僅憑AR廠商一己之力顯然效率不夠高,過去多年來探索出的AR互動場景還是非常有限。
號召更多開發者和創作者加入,正逐漸成為業界的共識,並且要把使用門檻和成本都打下來。
由此也不難理解,身為業界的資深玩家,Rokid選擇推出靈境這樣一個AR空間引擎。
但,為什麼是現在?
Rokid給出的答案是:自身在文博領域的經驗積累,驗證了市場對於AR的真實需求。
陳希回憶起最初和良渚古城遺址公園的合作時,各種場景仍歷歷在目。
她記得當Rokid和花園提出,可以利用AR來對文物遺址進行修復時,花園立刻表示很感興趣。整個計畫從最初提出到落地,前後經歷了3個月左右,最終在2020年國慶日和大眾見面。
最開始,Rokid一天提供了200副AR眼鏡的租賃,結果一個小時左右設備就全被租出了。並且對AR好奇的人群,很多都是老人小孩,也出乎了Rokid的預料。
而有了真實場景的應用,其實能從第一線累積到非常寶貴的開發經驗。例如在設想里人們都會按照導覽順序參觀,但實際上不是如此,Rokid就要保證亂序參觀也不會影響AR效果的展現。以及針對博物館室內燈光條件不好的情況,技術團隊也特別做了優化……最終這些優化和迭代,一併體現在了靈境的設計上。
陳希也感慨說,不可否認當下還不是所有人都願意花上千元去購買一個專門的設備來體驗AR,但是如果只花50塊錢通過租借,是很多人都願意嘗試的。
那麼等到未來,應用場景夠多時,價值就會慢慢體現,那時候可能就到了AR真正走向C端的時刻。
由此也不難理解,為什麼靈境會在此刻推出。
因為它能通過一個小槓桿,撬動龐大的開發者和創作者群體,發動數以千計、數以千計的人,共同探索廣闊的AR內容和應用場景。
並以此助推AR更快速走向大眾群體,成長為真正意義上的下一代行動運算終端設備。
靈境會帶來什麼?
作為一款AR原生內容生產力工具,靈境的出現向產業內外傳遞了一個訊號:
是時候發展AR的內容生態了。
並且不再是和手機或其他終端借生態,而是從AR本身出發,能夠展示「什麼叫真正的AR」。
一方面,參考目前行動運算終端的絕對霸主智慧型手機,它正是在出現了爆款內容應用程式後,才快速吸引了大量用戶。
另一方面,AR原生內容和手機等終端內容有本質性區別,它需要是3D的。
如果一直跟手機借生態,那最終大眾對於AR的理解,可能只是手機的虛擬大屏,這會限制整個技術和產業發展的想像力,也會影響AR的獨立發展。
由此,開發AR原生內容是當下必須做的事。
儘管目前在算力、硬體等條件的限制下,AR內容還無法一下達到大家的最終期待。但誠如Windows最初,不也是只有掃雷、蜘蛛紙牌這樣的簡單應用嗎?
我們需要給予科技足夠的耐心,等待改變發生。
更何況,端雲一體的思路,確實為解決當下算力問題提供了新解法。
如果再從AR產業外的角度來看,靈境的出現也為廣大開發者和創作者提供了一個新的機會。畢竟每一代行動運算終端的崛起,都會伴隨一大批非常優秀的內容應用和軟體湧現。
總之,在AR向前推進的這條路上。還會不斷有新的產業角色、技術力量加入進來,共同推動AR駛向我們的終極想像:真正意義上面向大眾的擴增實境。
你覺得呢?
以上是真·3D創作來了,必須用手比劃!這回AI總不能搶我飯碗了吧的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

熱門話題

寫在前面&筆者的個人理解三維Gaussiansplatting(3DGS)是近年來在顯式輻射場和電腦圖形學領域出現的一種變革性技術。這種創新方法的特點是使用了數百萬個3D高斯,這與神經輻射場(NeRF)方法有很大的不同,後者主要使用隱式的基於座標的模型將空間座標映射到像素值。 3DGS憑藉其明確的場景表示和可微分的渲染演算法,不僅保證了即時渲染能力,而且引入了前所未有的控制和場景編輯水平。這將3DGS定位為下一代3D重建和表示的潛在遊戲規則改變者。為此我們首次系統性地概述了3DGS領域的最新發展與關

您一定記得,尤其是如果您是Teams用戶,Microsoft在其以工作為重點的視訊會議應用程式中添加了一批新的3DFluent表情符號。在微軟去年宣佈為Teams和Windows提供3D表情符號之後,該過程實際上已經為該平台更新了1800多個現有表情符號。這個宏偉的想法和為Teams推出的3DFluent表情符號更新首先是透過官方部落格文章進行宣傳的。最新的Teams更新為應用程式帶來了FluentEmojis微軟表示,更新後的1800表情符號將為我們每天

0.寫在前面&&個人理解自動駕駛系統依賴先進的感知、決策和控制技術,透過使用各種感測器(如相機、光達、雷達等)來感知周圍環境,並利用演算法和模型進行即時分析和決策。這使得車輛能夠識別道路標誌、檢測和追蹤其他車輛、預測行人行為等,從而安全地操作和適應複雜的交通環境。這項技術目前引起了廣泛的關注,並認為是未來交通領域的重要發展領域之一。但是,讓自動駕駛變得困難的是弄清楚如何讓汽車了解周圍發生的事情。這需要自動駕駛系統中的三維物體偵測演算法可以準確地感知和描述周圍環境中的物體,包括它們的位置、

寫在前面&筆者的個人理解目前,在整個自動駕駛系統當中,感知模組扮演了其中至關重要的角色,行駛在道路上的自動駕駛車輛只有通過感知模組獲得到準確的感知結果後,才能讓自動駕駛系統中的下游規控模組做出及時、正確的判斷和行為決策。目前,具備自動駕駛功能的汽車中通常會配備包括環視相機感測器、光達感測器以及毫米波雷達感測器在內的多種數據資訊感測器來收集不同模態的信息,用於實現準確的感知任務。基於純視覺的BEV感知演算法因其較低的硬體成本和易於部署的特點,以及其輸出結果能便捷地應用於各種下游任務,因此受到工業

當八卦開始傳播新的Windows11正在開發中時,每個微軟用戶都對新作業系統的外觀以及它將帶來什麼感到好奇。經過猜測,Windows11就在這裡。作業系統帶有新的設計和功能變更。除了一些添加之外,它還附帶功能棄用和刪除。 Windows11中不存在的功能之一是Paint3D。雖然它仍然提供經典的Paint,它對抽屜,塗鴉者和塗鴉者有好處,但它放棄了Paint3D,它提供了額外的功能,非常適合3D創作者。如果您正在尋找一些額外的功能,我們建議AutodeskMaya作為最好的3D設計軟體。如

ChatGPT為AI產業注入一劑雞血,一切曾經的不敢想,都成為現今的基操。正持續進擊的Text-to-3D,就被視為繼Diffusion(影像)和GPT(文字)後,AIGC領域的下一個前緣熱點,得到了前所未有的關注。這不,一款名為ChatAvatar的產品低調公測,火速收攬超70萬瀏覽與關注,並登上抱抱臉週熱門(Spacesoftheweek)。 △ChatAvatar也將支援從AI生成的單視角/多視角原畫生成3D風格化角色的Imageto3D技術,受到了廣泛關注現行beta版本生成的3D模型,

寫在前面項目連結:https://nianticlabs.github.io/mickey/給定兩張圖片,可以透過建立圖片之間的對應關係來估計它們之間的相機姿態。通常,這些對應關係是二維到二維的,而我們估計的姿態在尺度上是不確定的。一些應用,例如隨時隨地實現即時增強現實,需要尺度度量的姿態估計,因此它們依賴外部的深度估計器來恢復尺度。本文提出了MicKey,這是一個關鍵點匹配流程,能夠夠預測三維相機空間中的度量對應關係。透過學習跨影像的三維座標匹配,我們能夠在沒有深度測試的情況下推斷度量相對

對於自動駕駛應用程式來說,最終還是需要對3D場景進行感知。道理很簡單,車輛不能靠著一張影像上得到感知結果來行駛,就算是人類駕駛也不能對著一張影像來開車。因為物體的距離和場景的和深度資訊在2D感知結果上是體現在現在的,而這些資訊才是自動駕駛系統對周圍環境做出正確判斷的關鍵。一般來說,自動駕駛車輛的視覺感應器(例如攝影機)安裝在車身上方或車內後視鏡上。無論哪個位置,攝影機所得到的都是真實世界在透視視圖(PerspectiveView)下的投影(世界座標係到影像座標系)。這種視圖與人類的視覺系統很類似,
