AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
3D生成是生成式人工智慧和電腦圖形學領域最引人注目的話題之一，符合影視、遊戲標準的3D生成尤其受產業界關注。在生產流程中，一般品類的3D資產往往以手工建模或掃描的方式製作。但作為3D資產的重要類別，服裝資產的往往來自平面板片與實體模擬等流程，而不是直接在3D上建模。 上海科技大學、影眸科技與賓夕法尼亞大學聯合提出DressCode，它是首個完全支持CG 操作，能夠兼容到工業流程的3D 服裝生成框架，並通過文本的引導，實現自動生成具有高品質渲染效果、可編輯、可驅動、可模擬的3D 服裝。 
Dresscode已經被電腦圖形領域國際頂尖期刊 Transactions on Graphics 接收，並將在國際電腦圖形頂級會議 SIGGRAPH 2024 上展示。
計畫連結：https://sites.google.com/view/projectpage-dresscode
服裝在人類外觀中扮演著重要角色，這突顯了服裝數位化對於數位人創造的重要性。近期在 3D 內容創造領域的巨大進展對於數位人的創造至關重要。 然而，對於服裝生成的工作仍有空缺，由於通用生成方法生成的網格或神經場與實際數字服裝生產流程不相容，使這類方法直接應用於服裝類別並未能達到很好的效果。 為了解決這些問題，來自影眸科技與上海科技大學的研發團隊提出了一個文本驅動的3D 服裝生成框架——DressCode，旨在為初學者設計數位服裝簡單化，並在時尚設計、虛擬試穿和數位人創造提供巨大潛力。 該框架可以透過自然語言互動產生對 CG 流程友善的服裝模型，並且還便於版片補全和紋理編輯， 透過用戶友好的互動簡化了設計過程。本文將對 DressCode 的主要功能進行詳細介紹，並探討其在實際設計場景中的應用前景。 對於版片生成模組，該論文提出了 SewingGPT，這是一個基於 GPT 的自回歸模型，用於透過文字提示生縫紉版片。其首先將縫紉版片參數轉換為一系列量化的token，訓練了一個 Decoder-only Transformer。並且透過在Transformer中融合使用文字提示詞的交叉關注力，來達到用文字來引導生成結果。 訓練完成後，該模型可以根據使用者條件自回歸地產生token序列，並將產生的序列經過反向量化來得到產生的縫紉版片參數。 借助 SewingGPT，該框架能夠直接從文本提示中產生多樣化的縫紉版片。由於材質貼圖在 CG 流程中非常關鍵，該框架為這些版片生成相應的基於物理的紋理，更緊密地與服裝設計工作流程相契合。 作者們提出的DressCode框架，透過利用 SewingGPT 和 PBR 紋理產生器來產生3D服裝的幾何部分與紋理部分，並且進一步利用大型語言模型透過自然語言互動為使用者創建客製化服裝。 在實現透過文字提示生成縫紉版片和紋理之後，為了在實際場景中使設計師能夠使用自然語言與生成器交互，而不是依賴於資料集格式的提示，作者們採用GPT- 4 進行內容學習，以解釋使用者的自然語言輸入，產生幾何提示詞和紋理提示詞。 這些提示詞輸入到 SewingGPT 和 PBR 紋理產生器後，得到產生的縫紉版片與紋理，並經過仿真、渲染得到最終的結果。同時，生成的服裝以及 PBR 紋理可以被無縫整合到工業軟體中，可以與人體模型進行動畫驅動，並在各種照明下進行渲染，確保生動、逼真的效果。 
得益於自回歸模型，SewingGPT可以透過利用模型提供的機率預測，在接收全部分縫紉版片後補全版片。此外，輸入文字提示可以指導模型補全縫紉版片。如給定一個袖子後， 模型能夠根據不同的提示補全完成各種縫紉版片。這使得用戶能夠手動設計部分版片，利用 SewingGPT 進行靈感激發並基於文字提示來補充全服裝。 在近期大多3D 生成任務中，無法產生結構化的UV 映射是實際應用場景無法用於實際設計場景。本文提出的生成方法，利用縫紉版片表示，使得能夠創建每個版片獨特且結構化的 UV 映射。這也促使使用者可以在特定位置便捷得編輯紋理，支援對紋理貼圖進行高效的後處理。 DressCode 框架在與其他方法比較中取得了優異的成績，該框架作為第一個基於縫紉版的服裝工作和專業設計師都能透過簡單的文字提示產生高品質的縫紉版片和PBR 紋理，使服裝設計流程大幅簡化。 DressCode 的易用性和創新方法有望推動數位服裝的未來發展。這類以縫紉版片為基礎的生成任務，將推動虛擬試穿、時尚設計和數位人創造的數位服裝領域的發展，讓我們共同期待。 以上是SIGGRAPH2024｜上科大、影眸聯合提出DressCode：從文本生成3D服裝板片的詳細內容。更多資訊請關注PHP中文網其他相關文章！
