超逼真渲染!虛幻引擎技術大牛解讀全局光照系統Lumen
即時全域光照(Real-time GI)一直是電腦圖形學的聖杯。
多年來,業界也提出多種方法來解決這個問題。
常用的方法套件透過利用某些假設來約束問題域,例如靜態幾何,粗糙的場景表示或追蹤粗糙探針,以及在兩者之間插值照明。
在虛幻引擎中,全局光照和反射系統Lumen這項技術便是由Krzysztof Narkowicz和Daniel Wright一起創立的。
目標是建立一個與前人不同的方案,能夠實現統一照明,以及類似烘焙一樣的照明品質。
近期,在SIGGRAPH 2022上,Krzysztof Narkowicz和團隊講述了他們建構Lumen技術之旅。
軟體光線追蹤-高度場
#目前的硬體光線追蹤缺少強大的GPU算力支援。我們不知道硬體光線追蹤速度有多快,甚至不知道新一代主機是否支援它。
因此,軟體光線追蹤方法運用而出。事實證明,它確實是一個非常好用的工具,可以用於縮放或支援有大量重疊實例的場景。
軟體光線追蹤提供了一個可能性,那便是可以使用各種各樣的追蹤結構,例如三角形、距離場(distance fields)、面元(surfels) ,或高度場(heightfields)。
在此,Krzysztof Narkowicz放棄了研究三角形,簡要研究了面元,但是對於那些需要相當高密度才能表示的幾何圖形,對其進行更新或追踪面元是相當昂貴的。
經過初步探索,高度場是最合適的,因其能夠很好地映射到硬體中,並提供表面表示和簡單的連續 LOD。
因為我們可以使用所有的POM演算法,例如最小-最大四叉樹,因此它的追蹤速度是非常快的。
此外,多個高度場可以表示複雜幾何,類似柵格化邊界卷層次結構。
若將其視為面元的加速結構也非常有趣,一個單獨的texel就是一個受限於常規網格的面元。
除了高度場,Lumen還有其他屬性,如反照率或照明,這樣就能夠計算出每次的照明。
在Lumen中,開發者將這張帶有表面資料的完整貼花式投影命名為卡片(Cards),即捕獲位置。
BVH 偵錯視圖
擷取位置
這裡最棘手的部分是如何放置高度場,以便捕捉整個網格。 Krzysztof Narkowicz稱,「其中一個想法是基於GPU的全局距離場。每一幀我們都會追蹤一小組主射線來尋找沒有被卡片覆蓋的射線。
接下來,對於每一個未發現的射線,我們將使用表面梯度遍歷全域距離場,以確定一個最佳的卡片方向和範圍,從而產生一個新的卡片。
全域距離場的捕獲位置
一方面,它被證實可以為整個合併場景產生卡,而不必為每個網格去生成卡。另一方面,事實證明它在實踐中相當挑剔,因為每次相機移動時都會產生不同的結果。
##另一個想法就是把每個相機移動時都會產生不同的結果。
##另一個想法就是把每個網格的卡片作為一個網格導入步驟。透過建立幾何學的BVH 來做到這一點,其中每個節點將被轉換為N 張卡。##如下:
#光線步進卡(高場)
#卡位置檢視
#這個方法在尋找一個好的位置時遇到了問題,因為BVH節點並不是放置卡片的好代理。
那麼,研究人員又提出了另一個想法:遵循紫外線展開技術,並嘗試聚類表面元素。
因為要處理數百萬個由Nanite提供的多邊形,因此他們將三角形換成面元。
同時,他們也切換到了一個較少的約束自由導向卡,以嘗試與表面匹配更好。
自由導向的卡片位置
#透過嘗試,這個方法對於簡單的形狀非常有效,但是在收斂到更複雜的形狀上就出現了問題。最後,Narkowicz又切換迴軸對齊的卡片,但是這次是由面元集群和每個網格生成的。
錐形追蹤
追蹤高度場的獨特性質還可以實現錐形追蹤。
錐形追蹤對於降低噪音非常有效,因為一個預先過濾的單個錐體追蹤代表了數千條單獨的射線。#######################光線追蹤### #########################錐形追蹤##########對於每個卡,開發者還儲存了一個完整的預過濾 mip-map鏈表面高度、照明和材料屬性。
在追蹤時,根據圓錐足跡選擇合適的步進光線,並對其進行射線追蹤。
#無卡邊和帶有卡片邊的追蹤
合併場景表示
在軟體中追蹤大量的非相干射線是非常慢的。理想情況下,可以使用單一的全域結構,而非多個高度場。
當錐形足跡越來越大時,實際上並不需要精確的場景表示,可以用更近似的表示來替代,以獲得更快的速度。
一個更複雜的場景,有數十張卡片來追蹤每個光線
第一個成功的方法是實現純體素圓錐跟踪,整個場景在運行時是體素化的,就像經典的“Interactive Indirect Illumination Using Voxel Cone Tracing”一文中的那樣實現。
#體素圓錐追蹤
光線步進卡繼續與體素錐追蹤
而這種方法的主要缺點是,由於場景幾何體的過度融合而導致洩漏,這種現像在追蹤粗低映射時尤其明顯。
帶有透明度的體素
最早的追蹤合併表示的方法是,對全域距離欄位和使用全域每個場景卡的著色命中進行錐形跟踪。即遍歷一個 BVH,找出場景中的哪些卡片會影響採樣點,然後根據錐形足跡對每張卡的適度滑步水平進行採樣。
本文放棄了這個方法,因為當初沒有考慮只用它來表示遠場軌跡,而是把它看作是高場光線步進的直接替代。有點諷刺的是,這種被拋棄的方法與我們兩年後最終達成的解決方案最為接近。
第一個示範
到這裡,已經可以產生一些相當不錯的結果了:
儘管如此,還是遇到了許多圖形洩漏的問題,而且在這個簡單的場景中,即使在一個高階PC GPU 上,效能也不是很理想。
為了解決洩漏問題,以處理更多的實例、在PS5上以8毫秒以下時間完成處理。這個demo堪稱是真正的催化劑。
與以往的方案相比,第一個變化也是最大的變化是,用距離場追蹤取代高度場追蹤。
為了遮蔽生命點,從卡片上插入生命點的光線,因為距離場沒有頂點屬性,這樣,未覆蓋的區域只會導致能源損失,而不是洩漏。
基於同樣的考慮,將體素錐形追蹤改為全域距離場射線追蹤。
同時,我們也做了很多不同的最佳化,並透過快取方案對Lumen的不同部分進行了時間分流。值得注意的是,如果沒有錐體追踪,我們必須更積極地去噪和緩存追踪,但這又是一個漫長而複雜的故事。
這是我們發送第一個演示後的最終結果,在PS5上一直低於8ms,包括所有共享資料結構的更新,例如全域距離欄位。目前的性能表現甚至更好了,例如最新demo的完成時間接近4毫秒,品質上也有明顯的改進。
尾聲
總之,本文對整個Lumen進行了全面重寫,還有許多不同的想法沒有實施。另一方面,有些東西被重新利用。就像最初我們用卡片作為追蹤表示,但現在用來作為快取網格表面的各種計算方式。和軟體追蹤類似,開始是我們主要的追蹤方法,主要是圓錐體追踪,但最後成為一種縮小規模和支持具有大量重疊實例的、複雜重度場景的方法。
以上是超逼真渲染!虛幻引擎技術大牛解讀全局光照系統Lumen的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

StableDiffusion3的论文终于来了!这个模型于两周前发布,采用了与Sora相同的DiT(DiffusionTransformer)架构,一经发布就引起了不小的轰动。与之前版本相比,StableDiffusion3生成的图质量有了显著提升,现在支持多主题提示,并且文字书写效果也得到了改善,不再出现乱码情况。StabilityAI指出,StableDiffusion3是一个系列模型,其参数量从800M到8B不等。这一参数范围意味着该模型可以在许多便携设备上直接运行,从而显著降低了使用AI

一先導與重點文章主要介紹自動駕駛技術中幾種常用的座標系統,以及他們之間如何完成關聯與轉換,最終建構出統一的環境模型。這裡重點理解自車到相機剛體轉換(外參),相機到影像轉換(內參),影像到像素有單位轉換。 3d向2d轉換會有對應的畸變,平移等。重點:自車座標系相機機體座標系需要被重寫的是:平面座標系像素座標系難點:要考慮影像畸變,去畸變和加畸變都是在像平面上去補償二簡介視覺系統一共有四個座標系:像素平面座標系(u,v)、影像座標系(x,y)、相機座標系()與世界座標系()。每種座標系之間均有聯繫,

軌跡預測在自動駕駛中承擔著重要的角色,自動駕駛軌跡預測是指透過分析車輛行駛過程中的各種數據,預測車輛未來的行駛軌跡。作為自動駕駛的核心模組,軌跡預測的品質對於下游的規劃控制至關重要。軌跡預測任務技術堆疊豐富,需熟悉自動駕駛動/靜態感知、高精地圖、車道線、神經網路架構(CNN&GNN&Transformer)技能等,入門難度很高!許多粉絲期望能夠盡快上手軌跡預測,少踩坑,今天就為大家盤點下軌跡預測常見的一些問題和入門學習方法!入門相關知識1.預習的論文有沒有切入順序? A:先看survey,p

這篇論文探討了在自動駕駛中,從不同視角(如透視圖和鳥瞰圖)準確檢測物體的問題,特別是如何有效地從透視圖(PV)到鳥瞰圖(BEV)空間轉換特徵,這一轉換是透過視覺轉換(VT)模組實施的。現有的方法大致分為兩種策略:2D到3D和3D到2D轉換。 2D到3D的方法透過預測深度機率來提升密集的2D特徵,但深度預測的固有不確定性,尤其是在遠處區域,可能會引入不準確性。而3D到2D的方法通常使用3D查詢來採樣2D特徵,並透過Transformer學習3D和2D特徵之間對應關係的注意力權重,這增加了計算和部署的

突然發現了一篇19年的論文GSLAM:AGeneralSLAMFrameworkandBenchmark開源程式碼:https://github.com/zdzhaoyong/GSLAM直接上全文,感受這項工作的品質吧~1摘要SLAM技術最近取得了許多成功,並吸引了高科技公司的關注。然而,如何同一現有或新興演算法的介面,一級有效地進行關於速度、穩健性和可移植性的基準測試仍然是問題。本文,提出了一個名為GSLAM的新型SLAM平台,它不僅提供評估功能,還為研究人員提供了快速開發自己的SLAM系統的有用

作者的一些個人思考在自動駕駛領域,隨著BEV-based子任務/端到端方案的發展,高品質的多視圖訓練資料和相應的模擬場景建立愈發重要。針對當下任務的痛點,「高品質」可以解耦成三個面向:不同維度上的長尾場景:如障礙物資料中近距離的車輛以及切車過程中精準的朝向角,以及車道線資料中不同曲率的彎道或較難收集的匝道/匯入/合流等場景。這些往往靠大量的資料收集和複雜的資料探勘策略,成本高昂。 3D真值-影像的高度一致:當下的BEV資料取得往往受到感測器安裝/標定,高精地圖以及重建演算法本身的誤差影響。這導致了我

寫在前面&筆者的個人理解基於圖像的3D重建是一項具有挑戰性的任務,涉及從一組輸入圖像推斷目標或場景的3D形狀。基於學習的方法因其直接估計3D形狀的能力而受到關注。這篇綜述論文的重點是最先進的3D重建技術,包括產生新穎的、看不見的視野。概述了高斯飛濺方法的最新發展,包括輸入類型、模型結構、輸出表示和訓練策略。也討論了尚未解決的挑戰和未來的方向。鑑於該領域的快速進展以及增強3D重建方法的眾多機會,對演算法進行全面檢查似乎至關重要。因此,本研究對高斯散射的最新進展進行了全面的概述。 (大拇指往上滑

請留意,這個方塊人正在緊鎖眉頭,思考著面前幾位「不速之客」的身份。原來她陷入了危險境地,意識到這一點後,她迅速展開腦力搜索,尋找解決問題的策略。最終,她決定先逃離現場,然後儘快尋求幫助,並立即採取行動。同時,對面的人也在進行著與她相同的思考……在《我的世界》中出現了這樣一個場景,所有的角色都由人工智慧控制。他們每個人都有著獨特的身份設定,例如之前提到的女孩就是一個年僅17歲但聰明又勇敢的快遞員。他們擁有記憶和思考能力,在這個以《我的世界》為背景的小鎮中像人類一樣生活。驅動他們的,是一款全新的、
