目錄
方法概覽
首頁 科技週邊 人工智慧 AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

Jan 12, 2024 am 08:51 AM
ai 3d

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

19世紀是印象主義藝術運動盛行的時期,該運動在繪畫、雕塑、版畫等藝術領域都有影響力。印象主義的特徵是使用短小、斷斷續續的筆觸,幾乎不追求形式的精準,這後來演變為印象派藝術風格。簡言之,印象派藝術家的筆觸沒有經過修飾,呈現出明顯的特點,不追求形式的精確度,甚至有些模糊。印象派藝術家將光與色的科學概念引入繪畫中,革新了傳統的色彩觀念。

在D3GA中,作者有一個與眾不同的目標,他希望透過反其道而行的方式創造出逼真如照片般的表現效果。為了實現這一目標,作者在D3GA中創造性地運用了高斯潑濺(Gaussian Splatting)技術,將其作為一種現代化的“段筆觸”,用來構建虛擬角色的結構和外觀,並實現實時穩定的效果。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

《日出·印象》是著名的印象派畫家莫內的代表作品。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型


為了創造可生成動畫新內容的逼真人類形象,虛擬形象的建構工作目前需要大量的多視角數據。這是因為單目方法的準確性有限。此外,現有的技術還需要進行複雜的預處理,包括準確的3D配準。然而,要取得這些配準資料需要迭代,並且很難整合到端到端的流程中。 另外,還有一些不需要準確配準的方法,它們是基於神經輻射場(NeRFs)。然而,這些方法通常在即時渲染方面速度較慢,或者在服裝動畫方面有困難。

Kerbl等人提出了一種名為3D Gaussian Splatting(3DGS)的渲染方法,它在經典的Surface Splatting渲染方法的基礎上進行了改進。與基於神經輻射場的最先進方法相比,3DGS能夠以更快的幀率呈現更高品質的影像,而且無需進行高度準確的3D初始化。

然而,3DGS最初是為靜態場景設計的。目前已經有人提出了基於時間條件的高斯噴灑(Gaussian Splatting)方法,可以用來渲染動態場景。這種方法只能回放先前觀察到的內容,因此不適用於表達新的或以前未見過的運動。

在驅動型的神經輻射場的基礎上,作者對3D 的人類的外觀及變形進行建模,將其放置在一個規範化的空間中,但使用3D 高斯而不是輻射場。除性能更好以外,Gaussian Splatting 還不需要使用相機射線採樣啟發式方法。

剩下的問題是定義觸發這些 cage 變形的訊號。目前在驅動型的虛擬角色中的最新技術需要密集的輸入訊號,如 RGB-D 影像甚至是多鏡頭,但這些方法可能不適用於傳輸頻寬比較低的情況。在本研究中,作者採用基於人體姿勢的更緊湊輸入,包括以四元數形式的骨骼關節角度和 3D 面部關鍵點。

透過在九個高品質的多視圖序列上訓練個體特定的模型,涵蓋各種身體形狀、動作和服裝(不僅限於貼身服裝),以後我們就可以通過任何主體的新姿勢對人物進行驅動了。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

方法概覽

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型


  • 論文連結:https://arxiv.org/pdf/2311.08581.pdf
  • 計畫連結:https ://zielon.github.io/d3ga/

#目前用於動態體積化虛擬角色的方法要么將點從變形空間映射到規範空間,要么僅依賴正向映射。基於反向映射的方法往往在規範空間中累積誤差,因為它們需要一個容易出錯的反向傳遞,並且在建模視角相關效果時存在問題。

因此,作者決定採用僅正向映射的方法。 D3GA 是基於 3DGS 的基礎上透過神經表示和 cage 進行擴展,分別對虛擬角色的每個動態部分的顏色和幾何形狀進行建模。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

D3GA 使用3D 姿勢ϕ、臉部嵌入κ、視點dk 和規範cage v(以及自動解碼的顏色特徵hi)來產生最終的渲染C¯ 和輔助分割渲染P¯。左側的輸入透過每個虛擬角色部分的三個網路(ΨMLP、ΠMLP、ΓMLP)進行處理,以產生 cage 位移∆v、高斯變形 bi、qi、si 以及顏色 / 透明度 ci、oi。

在 cage 變形將規範高斯變形後,透過方程式 9,它們被光柵化成最終的影像。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

實驗結果

#D3GA 在SSIM、PSNR 和知覺度量LPIPS等指標上進行評估。表1 顯示,D3GA 在只使用LBS 的方法中(即不需要為每個幀掃描3D 數據)其在PSNR 和SSIM 上的表現是最佳的,並在這些指標中勝過所有FFD 方法,僅次於於BD FFD,儘管其訓練訊號較差且沒有測試影像(DVA 是使用所有200 台攝影機進行測試的)。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

定性比較顯示,與其它最先進方法相比,D3GA 能更好地建模服裝,特別是像裙子或運動褲這樣的寬鬆服裝(圖4)。 FFD 代表自由形變網格,其包含比 LBS 網格更豐富的訓練訊號 (圖 9)。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型


#與其基於體積方法相比,作者的方法可以將虛擬角色的服裝分離出來,並且服裝也是可驅動的。圖 5 顯示了每個單獨的服裝層,可以僅透過骨骼關節角度控制,而不需要特定的服裝配準模組。


AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

#

以上是AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

WorldCoin(WLD)價格預測2025-2031:到2031年WLD會達到4美元嗎? WorldCoin(WLD)價格預測2025-2031:到2031年WLD會達到4美元嗎? Apr 21, 2025 pm 02:42 PM

WorldCoin(WLD)凭借其独特的生物识别验证和隐私保护机制,在加密货币市场中脱颖而出,吸引了众多投资者的目光。WLD凭借其创新技术,特别是结合OpenAI人工智能技术,在众多山寨币中表现突出。但未来几年,数字资产的走势如何呢?让我们一起预测WLD的未来价格。2025年WLD价格预测预计2025年WLD将实现显著增长。市场分析显示,WLD平均价格可能达到1.31美元,最高可能触及1.36美元。然而,在熊市情况下,价格可能跌至0.55美元左右。这一增长预期主要源于WorldCoin2.

跨鏈交易什麼意思?跨鏈交易所有哪些? 跨鏈交易什麼意思?跨鏈交易所有哪些? Apr 21, 2025 pm 11:39 PM

支持跨鏈交易的交易所有:1. Binance,2. Uniswap,3. SushiSwap,4. Curve Finance,5. Thorchain,6. 1inch Exchange,7. DLN Trade,這些平台通過各種技術支持多鏈資產交易。

虛擬幣價格上漲或者下降是為什麼 虛擬幣價格上漲或者下降的原因 虛擬幣價格上漲或者下降是為什麼 虛擬幣價格上漲或者下降的原因 Apr 21, 2025 am 08:57 AM

虛擬幣價格上漲因素包括:1.市場需求增加,2.供應量減少,3.利好消息刺激,4.市場情緒樂觀,5.宏觀經濟環境;下降因素包括:1.市場需求減少,2.供應量增加,3.利空消息打擊,4.市場情緒悲觀,5.宏觀經濟環境。

如何在幣安拿下 KERNEL 空投獎勵 全流程攻略 如何在幣安拿下 KERNEL 空投獎勵 全流程攻略 Apr 21, 2025 pm 01:03 PM

在加密貨幣的繁華世界裡,新機遇總是不斷湧現。當下,KernelDAO (KERNEL) 空投活動正備受矚目,吸引著眾多投資者的目光。那麼,這個項目究竟是什麼來頭? BNB Holder 又能從中獲得怎樣的好處?別急,下面將為你一一揭曉。

混合型區塊鏈交易平台有哪些 混合型區塊鏈交易平台有哪些 Apr 21, 2025 pm 11:36 PM

選擇加密貨幣交易所的建議:1. 流動性需求,優先選擇幣安、Gate.io或OKX,因其訂單深度與抗波動能力強。 2. 合規與安全,Coinbase、Kraken、Gemini具備嚴格監管背書。 3. 創新功能,KuCoin的軟質押和Bybit的衍生品設計適合進階用戶。

Aavenomics是修改AAVE協議令牌並介紹令牌回購的建議,已達到法定人數 Aavenomics是修改AAVE協議令牌並介紹令牌回購的建議,已達到法定人數 Apr 21, 2025 pm 06:24 PM

Aavenomics是修改AAVE協議令牌並引入令牌回購的提議,已為AAVEDAO實現了一個法定人數。 AAVE連鎖計劃(ACI)創始人馬克·澤勒(MarcZeller)在X上宣布了這一點,並指出它標誌著該協議的新時代。 AAVE連鎖倡議(ACI)創始人MarcZeller在X上宣布,Aavenomics提案包括修改AAVE協議令牌和引入令牌回購,已為AAVEDAO實現了法定人數。根據Zeller的說法,這標誌著該協議的新時代。 AaveDao成員以壓倒性的投票支持該提議,即在周三以每週100

幣圈行情實時數據免費平台推薦前十名發布 幣圈行情實時數據免費平台推薦前十名發布 Apr 22, 2025 am 08:12 AM

適合新手的加密貨幣數據平台有CoinMarketCap和非小號。 1. CoinMarketCap提供全球加密貨幣實時價格、市值、交易量排名,適合新手與基礎分析需求。 2. 非小號提供中文友好界面,適合中文用戶快速篩選低風險潛力項目。

比特幣成品結構分析圖是啥?怎麼畫? 比特幣成品結構分析圖是啥?怎麼畫? Apr 21, 2025 pm 07:42 PM

繪製比特幣結構分析圖的步驟包括:1. 確定繪圖目的與受眾,2. 選擇合適的工具,3. 設計框架並填充核心組件,4. 參考現有模板。完整的步驟確保圖表準確且易於理解。

See all articles