LightSim：NeurIPS 2023推出的自動駕駛光照模擬平台，實現真實、可控且可拓展的模擬體驗

最近，來自 Waabi AI、多倫多大學、滑鐵盧大學和麻省理工的研究者們在 NeurIPS 2023 上提出了一種全新的自動駕駛光照模擬平台 LightSim。研究者提出了從真實資料中產生配對的光照訓練資料的方法，解決了資料缺失和模型遷移損失的問題。 LightSim 利用神經輻射場（NeRF）和基於物理的深度網絡渲染車輛駕駛視頻，首次在大規模真實數據上實現了動態場景的光照仿真。

• 計畫網站：https://waabi.ai/lightsim
• #論文連結：https://openreview.net/pdf?id=mcx8IGneYw

#為什麼需要自動駕駛光照仿真？

相機模擬在機器人技術中，尤其對於自動駕駛車輛感知室外的場景非常重要。然而，現有的相機的感知系統一旦遇到訓練時未學習過的室外照明條件，就表現不佳。透過相機模擬產生豐富的室外照明變化資料集，可以提高自動駕駛系統的穩健性。

常見的相機模擬方法一般是基於實體引擎。這種方法透過設定 3D 模型和照明條件來渲染場景。但往往仿真效果缺乏多樣性且不夠逼真。此外，由於高品質的 3D 模型數量有限，且物理渲染結果與真實世界場景不完全匹配。這導致訓練模型在真實資料上的泛化能力較差。

另一種是基於資料驅動的（data-driven）模擬方法。它利用神經渲染重構真實世界的數位孿生（digital twins），以複製感測器觀測到的資料。這種方法可以更具擴展性地創建場景並提高現實感，但現有技術往往將場景照明烘焙（bake）到3D 模型中，這阻礙了對數位孿生進行編輯，例如改變照明條件或增刪新的物體等。

在NeurIPS 2023 的一篇工作中，來自Waabi AI 的研究者們展示了一個基於物理引擎和神經網路的光照模擬系統LightSim: Neural Lighting Simulation for Urban Scenes.

不同於以往工作，LightSim 同時做到了:

1. 真實（ realistic）: 首次做到對大規模室外動態場景進行光照仿真，並且可以較為準確地模擬陰影、物體間的光照效果等。

2. 可控（controllable）：支援動態駕駛場景的編輯（增添、刪除物件、相機位置和參數、改變光照、產生安全關鍵場景等），從而產生更逼真且一致性更強的影片來提升系統對於光照和邊緣情況的穩健性。

3. 可擴展(scalable): 方便擴展到更多的場景和不同資料集中，只需要採集一次資料（single pass), 就能重新建構並進行真實可控的仿真測試。

模擬系統的建構

#第一步：建構真實世界的可重複照明數位孿生體

#為了在數位世界中重建自動駕駛場景，LightSim 首先從採集的資料中劃分動態物件和靜態場景。這一步使用了 UniSim 來重建場景，並在網路中移除了相機視角依賴。再使用 marching cube 得到 geometry, 並進一步轉換為有基本材料的 mesh。

除了材料和幾何，LightSim 還能夠根據室外白天場景的主要光源太陽和天空，估算室外照明，得到高動態範圍的環境圖（HDR Sky dome） 。借助感測器資料和擷取的幾何體，LightSim 可以估算出一個不完整的全景影像，然後補全它，以獲得全方位 360° 的天空視圖。從而利用這個全景影像和 GPS 資訊產生 HDR 環境圖，準確估算出太陽強度、太陽方向和天空外觀。

第二步：動態城市場景的神經照明模擬

在得到數字孿生體後，可以進一步對其進行修改，例如增加或移除物體，改變車輛軌跡或更改照明等，以產生擴增實境的特性。 LightSim 將執行基於物理的渲染，產生有關修改場景的照明相關數據，如基本色彩、深度、法向量和陰影。利用這些與照明相關的數據以及場景來源和目標照明條件的估算，LightSim 的工作流程如下所示。

雖然基於物理的渲染圖像很好地重建了場景中的照明效果，但由於幾何形狀的不完美以及材料/ 照明分解中的誤差，渲染結果往往缺乏真實感，例如模糊、不真實的表面反射和邊界偽影。因此，研究者提出了增強真實感的神經延遲渲染。他們引入了一個圖像合成網絡，該網絡採用源圖像和渲染引擎生成的照明相關數據的預計算緩衝區，生成最終的圖像。同時，論文中的方法也為網路提供了環境圖，以增強照明上下文，並透過數位孿生體產生了成對影像，提供了一種新穎的成對模擬和真實資料訓練方案。

模擬能力展示

#改變場景的光照(Scene Relighting)

LightSim 可以在新的光照條件下以時間一致的方式渲染相同場景。如影片所示，新的太陽位置和天空外觀會導致場景的陰影和外觀發生變化。 LightSim 可以批量地進行場景重新照明，從估計的和真實的 HDR 環境圖中生成同一場景的新的時間一致的和可 3D 感知的照明變化。

陰影編輯(Shadow Editing)

LightSim 的照明表示是可編輯的，可以改變太陽的方向，從而更新與太陽光方向相關的照明變化和陰影。 LightSim 透過旋轉 HDR 環境圖並將其傳遞給神經延遲渲染模組以產生以下影片。 LightSim 也可以批次地進行陰影編輯。

可感知光照的物件添加(Lighting-Aware Actor Insertion)

除了修改照明之外，LightSim 還可以對不常見的物件（例如建築障礙物）執行照明感知的添加。這些新增的物件可以更新物件的照明陰影、做到準確遮擋物體以及與整個相機配置的空間適配。

模擬遷移(Generalization to nuScenes)

由於LightSim 的神經延遲渲染網絡是在多個駕駛影片上進行訓練的，因此LightSim 可以推廣到新場景中。以下影片展示了 LightSim 泛化到 nuScenes 中的駕駛場景的能力。 LightSim 可以為每個場景建立照明感知數位孿生，然後應用於在 PandaSet 上預先訓練的神經延遲渲染模型。 LightSim 遷移表現良好，可以較為穩健地為場景重新照明。

真實可控制的相機模擬

綜合以上展示的所有功能，LightSim 實現了可控、多樣化且逼真的相機模擬。以下影片展示了 LightSim 的場景模擬效能。在影片中，一輛白色的車緊急變換車道至SDV 車道，引入了新的路障，這使得白色車輛進入了產生一個全新的場景，在新場景的多種照明條件下LightSim 生成的效果如下所示。以下影片中展示了另一個實例，插入了新的道路障礙後，又增加了一組新的車輛。使用 LightSim 搭建的模擬光照，讓新加入的車輛能夠無縫地融入場景中。

總結與展望

#LightSim 是可感知光照的相機模擬平台，為處理大規模動態駕駛場景服務。它可以根據現實世界的數據建立可感知照明的數位孿生體，並對其進行修改，以創建具有不同物件佈局、SDV 視角的新場景。 LightSim 能夠對場景模擬新的照明條件以實現多樣化、真實且可控的相機仿真，從而產生時間 / 空間一致的影片。值得注意的是，LightSim 還可以結合逆向渲染、天氣模擬等技術來進一步提升模擬效能。

以上是LightSim：NeurIPS 2023推出的自動駕駛光照模擬平台，實現真實、可控且可拓展的模擬體驗的詳細內容。更多資訊請關注PHP中文網其他相關文章！