首篇僅使用2D標籤訓練多視圖3D佔用模型的新範式
本文經自動駕駛之心公眾號授權轉載,轉載請聯絡來源。
【RenderOcc,首篇僅使用2D標籤訓練多視圖3D佔用模型的新範式】作者從多視圖圖像中提取NeRF風格的3D體積表示,並使用體積渲染技術來建立2D重建,從而實現從2D語意和深度標籤的直接3D監督,減少了對昂貴的3D佔用標註的依賴。大量實驗表明,RenderOcc的性能與使用3D標籤完全監督的模型相當,突顯了這種方法在現實世界應用中的重要性。已開源。
主題: RenderOcc: Vision-Centric 3D Occupancy Prediction with 2DRendering Supervision
作者單位: 北京大學,小米汽車,港中文MMLAB
需要重寫的內容是:開源位址:GitHub - pmj110119/RenderOcc
3D佔用預測在機器人感知和自動駕駛領域具有重要前景,它將3D場景量化為帶有語義標籤的網格單元。最近的工作主要利用3D體素空間中的完整佔用標籤進行監督。然而,昂貴的標註過程和有時模糊的標籤嚴重限制了3D佔用模型的可用性和可擴展性。為了解決這個問題,作者提出了RenderOcc,這是一個僅使用2D標籤訓練3D佔用模型的新範式。具體而言,作者從多視圖影像中提取NeRF風格的3D體積表示,並使用體積渲染技術來建立2D重建,從而實現從2D語義和深度標籤的直接3D監督。此外,作者引入了一種輔助光線方法來解決自動駕駛場景中的稀疏視點問題,該方法利用順序幀為每個目標建立全面的2D渲染。 RenderOcc是第一次嘗試只使用2D標籤來訓練多視圖3D佔用模型,從而減少了對昂貴的3D佔用標註的依賴。大量實驗表明,RenderOcc的性能與使用3D標籤完全監督的模型相當,突顯了這種方法在現實世界應用中的重要性。
網路結構:
圖1展示了RenderOcc的一種新的訓練方法。與以往依賴昂貴的3D佔用標籤進行監督的方法不同,本文提出的RenderOcc利用2D標籤來訓練3D佔用網路。透過2D渲染監督,該模型能夠受益於細粒度的2D像素級語義和深度監督
#圖2.RenderOcc的整體框架。本文透過2D到3D網路提取體積特徵並預測每個體素的密度和語義。因此,本文產生了語意密度場(Semantic Density Field),它可以執行體積渲染來產生渲染的2D語意和深度。對於Rays GT的生成,本文從相鄰幀中提取輔助光線來補充當前幀的光線,並使用所提出的加權光線採樣策略來淨化它們。然後,本文以光線GT和{}計算損失,實現2D標籤的渲染監督
#重寫後的內容:圖3。輔助光線:單幀影像無法很好地捕捉物體的多視圖資訊。相鄰相機之間只有很小的重疊區域,視角差異有限。透過引入來自相鄰幀的輔助光線,該模型可以顯著受益於多視圖一致性約束
實驗結果:
需要進行改寫的內容是:原文連結:https://mp.weixin.qq.com/s/WzI8mGoIOTOdL8irXrbSPQ
#以上是首篇僅使用2D標籤訓練多視圖3D佔用模型的新範式的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

想像一下,一個人工智慧模型,不僅擁有超越傳統運算的能力,還能以更低的成本實現更有效率的效能。這不是科幻,DeepSeek-V2[1],全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合(MoE)語言模型,具有訓練經濟、推理高效的特點。它由236B個參數組成,其中21B個參數用於啟動每個標記。與DeepSeek67B相比,DeepSeek-V2效能更強,同時節省了42.5%的訓練成本,減少了93.3%的KV緩存,最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

AI,的確正在改變數學。最近,一直十分關注這個議題的陶哲軒,轉發了最近一期的《美國數學學會通報》(BulletinoftheAmericanMathematicalSociety)。圍繞著「機器會改變數學嗎?」這個話題,許多數學家發表了自己的觀點,全程火花四射,內容硬核,精彩紛呈。作者陣容強大,包括菲爾茲獎得主AkshayVenkatesh、華裔數學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業界知名學者。 AI的世界已經發生了天翻地覆的變化,要知道,其中許多文章是在一年前提交的,而在這一

谷歌力推的JAX在最近的基準測試中表現已經超過Pytorch和TensorFlow,7項指標排名第一。而且測試並不是JAX性能表現最好的TPU上完成的。雖然現在在開發者中,Pytorch依然比Tensorflow更受歡迎。但未來,也許有更多的大型模型會基於JAX平台進行訓練和運行。模型最近,Keras團隊為三個後端(TensorFlow、JAX、PyTorch)與原生PyTorch實作以及搭配TensorFlow的Keras2進行了基準測試。首先,他們為生成式和非生成式人工智慧任務選擇了一組主流

波士頓動力Atlas,正式進入電動機器人時代!昨天,液壓Atlas剛「含淚」退出歷史舞台,今天波士頓動力就宣布:電動Atlas上崗。看來,在商用人形機器人領域,波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後,短短十幾小時內,就已經有一百多萬觀看。舊人離去,新角色登場,這是歷史的必然。毫無疑問,今年是人形機器人的爆發年。網友銳評:機器人的進步,讓今年看起來像人類的開幕式動作、自由度遠超人類,但這真不是恐怖片?影片一開始,Atlas平靜地躺在地上,看起來應該是仰面朝天。接下來,讓人驚掉下巴

本月初,來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。 KAN與MLP一樣具有強大的數學基礎,MLP基於通用逼近定理,而KAN基於Kolmogorov-Arnold表示定理。如下圖所示,KAN在邊上具

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

目標偵測在自動駕駛系統當中是一個比較成熟的問題,其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而,利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大,標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述,我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示,並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型,並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP

寫在前面項目連結:https://nianticlabs.github.io/mickey/給定兩張圖片,可以透過建立圖片之間的對應關係來估計它們之間的相機姿態。通常,這些對應關係是二維到二維的,而我們估計的姿態在尺度上是不確定的。一些應用,例如隨時隨地實現即時增強現實,需要尺度度量的姿態估計,因此它們依賴外部的深度估計器來恢復尺度。本文提出了MicKey,這是一個關鍵點匹配流程,能夠夠預測三維相機空間中的度量對應關係。透過學習跨影像的三維座標匹配,我們能夠在沒有深度測試的情況下推斷度量相對
