CVPR 2024 | 跳舞時飛揚的裙擺，AI也能高度還原了，南洋理工提出動態人體渲染新範式

AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

在日常活動中，人的運動經常引起衣服的附屬運動(secondary motion of clothes) 並因此產生不同的衣服褶皺，而這需要同時對人體及衣服的幾何、運動（人體姿態及速度動力學等）及外觀進行動態建模。由於此過程涉及複雜的人與衣服的非剛體物理交互，導致傳統三維表徵往往難以應對。

近年來從視訊序列中學習動態數位人渲染已取得了極大的進展，現有方法往往把渲染視為從人體姿態到圖像的神經映射，採用「運動編碼器—運動特徵—外觀解碼器」的範式。而該範式基於圖像損失做監督，過於關注每一幀圖像重建而缺少對運動連續性的建模，因此對複雜運動如 “人體運動及衣服附屬運動”難以有效建模。

為解決這個問題，來自新加坡南洋理工大學S-Lab 團隊提出運動—外觀聯合學習的動態人體重建新範式，並提出了基於人體表面的三平面運動表徵(surface-based triplane)，把運動物理建模和外觀建模統一在一個框架中，為提升動態人體渲染質量開闢了新的思路。此新範式可有效對衣服附屬運動建模，並可用於從快速運動的影片（如跳舞）中學習動態人體重建，以及渲染運動相關的陰影。在渲染效率上比三維體素渲染方法快 9 倍，LPIPS 影像品質提高約 19 個百分點。

• 論文標題：SurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering
• #論文網址：https://arxiv.org/pdf/2404.01225.pdf
• 專案首頁：https://taohuumd.github.io/projects/Sur​​Mo
• #Github 連結：https://github.com/TaoHuUMD/SurMo

#方法概覽

#

針對已有範式「運動編碼器—運動特徵—外觀解碼器」只關注於外觀重建而忽略運動連續性建模的缺點，提出了新範式SurMo ：「①運動編碼器—運動特徵— ②運動解碼器、③外觀解碼器」。如上圖所示，此範式分為三個階段：

• #區別於已有方法在稀疏三維空間對運動建模，SurMo 提出基於人體表面流形場（或緊湊的二維紋理UV 空間）的四維（XYZ-T）運動建模，並透過定義在人體表面的三平面（surface -based triplane）來表徵運動。
• 提出運動物理解碼器去根據當前運動特徵（如三維姿態、速度、運動軌跡等）預測下一幀運動狀態，如運動的空間偏導—表面法向量和時間偏導—速度，以此對運動特徵做連續性建模。
• 四維外觀解碼，對運動特徵在時序上解碼以此渲染三維自由視點視頻，主要透過混合體素—紋理神經渲染方式實現(Hybrid Volumetric-Textural Rendering, HVTR [Hu et al. 2022]).

SurMo 可基於重建損失和對抗損失端對端訓練，從影片中學習動態人體渲染。

實驗結果

#該研究在3 個資料集，共9 個動態人體視訊序列上進行了實驗評估: ZJU-MoCap [Peng et al. 2021], AIST [Li, Yang et al. 2021] MPII-RRDC [Habermann et al. 2021] .

新視點時序渲染

#該研究在ZJU-MoCap 資料集上探究在新視點下對一段時序的動態渲染效果(time-varying appearances)，特別研究了2 段序列，如下圖所示。每段序列包含相似的姿態但出現在不同的運動軌跡中，如①②，③④，⑤⑥。 SurMo 可對運動軌跡建模，因此產生隨時間變化的動態效果，而相關的方法產生的結果只取決於姿態，在不同軌跡下衣服的褶皺幾乎一樣。

渲染運動相關的陰影及衣服附屬運動

SurMo 在MPII-RRDC資料集上探討了運動相關的陰影及衣服附屬運動，如下圖所示。該序列在室內攝影棚拍攝，在燈光條件下，由於自遮擋問題，表演者身上會出現與運動相關的陰影。

SurMo 在新視點渲染下，可恢復這些陰影，如①②，③④，⑦⑧。而對比方法 HumanNeRF [Weng et al.] 則無法恢復與運動相關的陰影。此外，SurMo 可重建隨運動軌跡變化的衣服附屬運動，如跳躍運動中不同的褶皺 ⑤⑥，而 HumanNeRF 無法重建此動態效果。

渲染快速運動的人體

#########SurMo 也從快速移動的影片中渲染人體，並恢復與運動相關的衣服褶皺細節，而對比方法則無法渲染出這些動態細節。 ##################消融實驗########################（1）人體表面運動建模###############該研究比較了兩種不同的運動建模方式：目前常用的在體素空間(Volumetric space) 的運動建模，以及SurMo 提出的在人體表面流形場的運動建模(Surface manifold) ，具體比較了Volumetric triplane 與Surface-based triplane，如下圖所示。 ############

可以發現，Volumetric triplane 是一種稀疏表達，僅有大約21-35% 的特徵用於渲染，而Surface-based triplane 特徵利用率可達85%，因此在處理自遮擋方面更有優勢，如（d）所示。同時 Surface-based triplane 可透過體素渲染中過濾部分遠離表面的點實現更快的渲染，如圖（c）所示。

同時，該研究論證Surface-based triplane 可比Volumetric triplane 在訓練過程收斂更快，在衣服褶皺細節、自遮擋上均有明顯優勢，如上圖所示。

（2）動力學學習

#SurMo 透過消融實驗研究了運動建模的效果，如下圖所示。結果顯示，SurMo 可解耦運動的靜態特性（如某一幀下固定姿態）及動態特性（如速度）。例如改變速度的時候，貼身衣服褶皺不變，如①，而寬鬆衣服褶皺則受速度影響較大，如②，這與日常人們的觀測相一致。

以上是CVPR 2024 | 跳舞時飛揚的裙擺，AI也能高度還原了，南洋理工提出動態人體渲染新範式的詳細內容。更多資訊請關注PHP中文網其他相關文章！