一張照片 一段視頻，就能讓照片活起來！
近日，由阿里、復旦大學、南京大學聯合發布的可控人體視覺生成工作Champ火爆全網。模型僅開源5天GitHub即收穫1k星，在Twitter更是“火出圈”，吸引了大量博主二創，瀏覽量總量達到300K。
目前 Champ 已經開源推理程式碼與權重，使用者可以直接從 Github 下載使用。官方 Hugging Face 的 Demo 已經上線，封裝的 Champ-ComfyUI 也正在同步推進中。 GitHub 首頁顯示團隊將會在近期開源訓練程式碼及資料集，有興趣的小夥伴可以持續關注專案動態。 
計畫首頁：https://fudan-generative-vision.github.io/champ/
論文連結：https ://arxiv.org/abs/2403.14781
Github 連結：https://github.com/fudan-generative-vision/champ
#Hugging Face 連結：https://huggingface.co/fudan-generative-ai/champ
Champ 在現實世界人像上的影片效果，能夠讓不同的人像「複製」相同的動作，從左上角的角度的動作影片為輸入。
雖然Champ 僅用真實的人體影片訓練，但它在不同類型的圖像上展現了強大的泛化能力：
黑白照片，油畫，水彩畫等效果拔群，在不同文生圖模型產生的真實感影像，虛擬人物也不在話下：
技術概覽
Champ 利用先進的人體網格恢復模型，從輸入的人體視頻中提取對應的參數化三維人體網格模型SMPL 序列（Skinned Multi-Person Linear Model ），進一步從中渲染出對應的深度圖，法線圖，人體姿態與人體語義圖，作為對應的運動控制條件去指導視頻生成，將動作遷移到輸入的參考人像上，能夠顯著地提升人體運動視頻的質量，以及幾何和外觀一致性。
針對不同的運動條件，Champ 採用了一個多層運動融合模組（MLMF），利用自註意力機制充分融合不同條件之間的特性，實現更為精細化的運動控制。下圖中展示了該模組不同條件的注意力可視化結果：深度圖關注人物形態的幾何輪廓信息，法線圖指示了人體的朝向，語義圖控制人體不同的部分的外觀對應關係，而人體姿態骨架則僅關注人臉與手部的關鍵點細節。
另一方面，Champ 發現並解決了人體視訊生成中一直被忽略的體型遷移的問題。先前的工作或基於人體骨骼模型，或是基於輸入的視訊所得到的其他幾何資訊來驅動人像的運動，但這些方法都無法將運動與人體體型解耦，導致產生的結果無法與參考影像的人體體型匹配。
例如，給定一個大胖作為參考圖像得到的如下圖7 所示的比較結果：
可以看到，Animate Anyone 與MagicAnimate的生成結果中，大胖的大肚子被抹平，甚至骨架也有一些縮水。而 Champ 利用 SMPL 中體型參數，來將其與驅動視訊的 SMPL 序列進行參數化的體型對齊，從而在體型，動作上都取得了最佳的一致性（圖中 with PST）。
實驗結果
如下表4 所示，與其他的SOTA 工作相比，Champ 有更好的運動控制以及更少的偽影：
同時，Champ 也展現了其優越的泛化性能與外觀匹配上的穩定性：
更多技術細節以及實驗結果請參閱 Champ 原始論文與程式碼，也可在 HuggingFace 或下載官方源碼動手體驗。
以上是Champ首發開源：人體影片產生新SOTA，5天拿下1k星，demo可玩的詳細內容。更多資訊請關注PHP中文網其他相關文章！
