目錄
方法概覽
首頁 科技週邊 人工智慧 AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

Jan 12, 2024 am 08:51 AM
ai 3d

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

19世紀是印象主義藝術運動盛行的時期,該運動在繪畫、雕塑、版畫等藝術領域都有影響力。印象主義的特徵是使用短小、斷斷續續的筆觸,幾乎不追求形式的精準,這後來演變為印象派藝術風格。簡言之,印象派藝術家的筆觸沒有經過修飾,呈現出明顯的特點,不追求形式的精確度,甚至有些模糊。印象派藝術家將光與色的科學概念引入繪畫中,革新了傳統的色彩觀念。

在D3GA中,作者有一個與眾不同的目標,他希望透過反其道而行的方式創造出逼真如照片般的表現效果。為了實現這一目標,作者在D3GA中創造性地運用了高斯潑濺(Gaussian Splatting)技術,將其作為一種現代化的“段筆觸”,用來構建虛擬角色的結構和外觀,並實現實時穩定的效果。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

《日出·印象》是著名的印象派畫家莫內的代表作品。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型


為了創造可生成動畫新內容的逼真人類形象,虛擬形象的建構工作目前需要大量的多視角數據。這是因為單目方法的準確性有限。此外,現有的技術還需要進行複雜的預處理,包括準確的3D配準。然而,要取得這些配準資料需要迭代,並且很難整合到端到端的流程中。 另外,還有一些不需要準確配準的方法,它們是基於神經輻射場(NeRFs)。然而,這些方法通常在即時渲染方面速度較慢,或者在服裝動畫方面有困難。

Kerbl等人提出了一種名為3D Gaussian Splatting(3DGS)的渲染方法,它在經典的Surface Splatting渲染方法的基礎上進行了改進。與基於神經輻射場的最先進方法相比,3DGS能夠以更快的幀率呈現更高品質的影像,而且無需進行高度準確的3D初始化。

然而,3DGS最初是為靜態場景設計的。目前已經有人提出了基於時間條件的高斯噴灑(Gaussian Splatting)方法,可以用來渲染動態場景。這種方法只能回放先前觀察到的內容,因此不適用於表達新的或以前未見過的運動。

在驅動型的神經輻射場的基礎上,作者對3D 的人類的外觀及變形進行建模,將其放置在一個規範化的空間中,但使用3D 高斯而不是輻射場。除性能更好以外,Gaussian Splatting 還不需要使用相機射線採樣啟發式方法。

剩下的問題是定義觸發這些 cage 變形的訊號。目前在驅動型的虛擬角色中的最新技術需要密集的輸入訊號,如 RGB-D 影像甚至是多鏡頭,但這些方法可能不適用於傳輸頻寬比較低的情況。在本研究中,作者採用基於人體姿勢的更緊湊輸入,包括以四元數形式的骨骼關節角度和 3D 面部關鍵點。

透過在九個高品質的多視圖序列上訓練個體特定的模型,涵蓋各種身體形狀、動作和服裝(不僅限於貼身服裝),以後我們就可以通過任何主體的新姿勢對人物進行驅動了。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

方法概覽

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型


  • 論文連結:https://arxiv.org/pdf/2311.08581.pdf
  • 計畫連結:https ://zielon.github.io/d3ga/

#目前用於動態體積化虛擬角色的方法要么將點從變形空間映射到規範空間,要么僅依賴正向映射。基於反向映射的方法往往在規範空間中累積誤差,因為它們需要一個容易出錯的反向傳遞,並且在建模視角相關效果時存在問題。

因此,作者決定採用僅正向映射的方法。 D3GA 是基於 3DGS 的基礎上透過神經表示和 cage 進行擴展,分別對虛擬角色的每個動態部分的顏色和幾何形狀進行建模。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

D3GA 使用3D 姿勢ϕ、臉部嵌入κ、視點dk 和規範cage v(以及自動解碼的顏色特徵hi)來產生最終的渲染C¯ 和輔助分割渲染P¯。左側的輸入透過每個虛擬角色部分的三個網路(ΨMLP、ΠMLP、ΓMLP)進行處理,以產生 cage 位移∆v、高斯變形 bi、qi、si 以及顏色 / 透明度 ci、oi。

在 cage 變形將規範高斯變形後,透過方程式 9,它們被光柵化成最終的影像。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

實驗結果

#D3GA 在SSIM、PSNR 和知覺度量LPIPS等指標上進行評估。表1 顯示,D3GA 在只使用LBS 的方法中(即不需要為每個幀掃描3D 數據)其在PSNR 和SSIM 上的表現是最佳的,並在這些指標中勝過所有FFD 方法,僅次於於BD FFD,儘管其訓練訊號較差且沒有測試影像(DVA 是使用所有200 台攝影機進行測試的)。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

定性比較顯示,與其它最先進方法相比,D3GA 能更好地建模服裝,特別是像裙子或運動褲這樣的寬鬆服裝(圖4)。 FFD 代表自由形變網格,其包含比 LBS 網格更豐富的訓練訊號 (圖 9)。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型


#與其基於體積方法相比,作者的方法可以將虛擬角色的服裝分離出來,並且服裝也是可驅動的。圖 5 顯示了每個單獨的服裝層,可以僅透過骨骼關節角度控制,而不需要特定的服裝配準模組。


AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

#

以上是AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

Laravel的地理空間:互動圖和大量數據的優化 Laravel的地理空間:互動圖和大量數據的優化 Apr 08, 2025 pm 12:24 PM

利用地理空間技術高效處理700萬條記錄並創建交互式地圖本文探討如何使用Laravel和MySQL高效處理超過700萬條記錄,並將其轉換為可交互的地圖可視化。初始挑戰項目需求:利用MySQL數據庫中700萬條記錄,提取有價值的見解。許多人首先考慮編程語言,卻忽略了數據庫本身:它能否滿足需求?是否需要數據遷移或結構調整? MySQL能否承受如此大的數據負載?初步分析:需要確定關鍵過濾器和屬性。經過分析,發現僅少數屬性與解決方案相關。我們驗證了過濾器的可行性,並設置了一些限制來優化搜索。地圖搜索基於城

mysql 無法啟動怎麼解決 mysql 無法啟動怎麼解決 Apr 08, 2025 pm 02:21 PM

MySQL啟動失敗的原因有多種,可以通過檢查錯誤日誌進行診斷。常見原因包括端口衝突(檢查端口占用情況並修改配置)、權限問題(檢查服務運行用戶權限)、配置文件錯誤(檢查參數設置)、數據目錄損壞(恢復數據或重建表空間)、InnoDB表空間問題(檢查ibdata1文件)、插件加載失敗(檢查錯誤日誌)。解決問題時應根據錯誤日誌進行分析,找到問題的根源,並養成定期備份數據的習慣,以預防和解決問題。

mysql安裝後怎麼使用 mysql安裝後怎麼使用 Apr 08, 2025 am 11:48 AM

文章介紹了MySQL數據庫的上手操作。首先,需安裝MySQL客戶端,如MySQLWorkbench或命令行客戶端。 1.使用mysql-uroot-p命令連接服務器,並使用root賬戶密碼登錄;2.使用CREATEDATABASE創建數據庫,USE選擇數據庫;3.使用CREATETABLE創建表,定義字段及數據類型;4.使用INSERTINTO插入數據,SELECT查詢數據,UPDATE更新數據,DELETE刪除數據。熟練掌握這些步驟,並學習處理常見問題和優化數據庫性能,才能高效使用MySQL。

了解 ACID 屬性:可靠數據庫的支柱 了解 ACID 屬性:可靠數據庫的支柱 Apr 08, 2025 pm 06:33 PM

數據庫ACID屬性詳解ACID屬性是確保數據庫事務可靠性和一致性的一組規則。它們規定了數據庫系統處理事務的方式,即使在系統崩潰、電源中斷或多用戶並發訪問的情況下,也能保證數據的完整性和準確性。 ACID屬性概述原子性(Atomicity):事務被視為一個不可分割的單元。任何部分失敗,整個事務回滾,數據庫不保留任何更改。例如,銀行轉賬,如果從一個賬戶扣款但未向另一個賬戶加款,則整個操作撤銷。 begintransaction;updateaccountssetbalance=balance-100wh

偏遠的高級後端工程師(平台)需要圈子 偏遠的高級後端工程師(平台)需要圈子 Apr 08, 2025 pm 12:27 PM

遠程高級後端工程師職位空缺公司:Circle地點:遠程辦公職位類型:全職薪資:$130,000-$140,000美元職位描述參與Circle移動應用和公共API相關功能的研究和開發,涵蓋整個軟件開發生命週期。主要職責獨立完成基於RubyonRails的開發工作,並與React/Redux/Relay前端團隊協作。為Web應用構建核心功能和改進,並在整個功能設計過程中與設計師和領導層緊密合作。推動積極的開發流程,並確定迭代速度的優先級。要求6年以上複雜Web應用後端

mysql 能返回 json 嗎 mysql 能返回 json 嗎 Apr 08, 2025 pm 03:09 PM

MySQL 可返回 JSON 數據。 JSON_EXTRACT 函數可提取字段值。對於復雜查詢,可考慮使用 WHERE 子句過濾 JSON 數據,但需注意其性能影響。 MySQL 對 JSON 的支持在不斷增強,建議關注最新版本及功能。

mySQL下載完安裝不了 mySQL下載完安裝不了 Apr 08, 2025 am 11:24 AM

MySQL安裝失敗的原因主要有:1.權限問題,需以管理員身份運行或使用sudo命令;2.依賴項缺失,需安裝相關開發包;3.端口衝突,需關閉佔用3306端口的程序或修改配置文件;4.安裝包損壞,需重新下載並驗證完整性;5.環境變量配置錯誤,需根據操作系統正確配置環境變量。解決這些問題,仔細檢查每個步驟,就能順利安裝MySQL。

MySQL安裝後服務無法啟動的解決辦法 MySQL安裝後服務無法啟動的解決辦法 Apr 08, 2025 am 11:18 AM

MySQL拒啟動?別慌,咱來排查!很多朋友安裝完MySQL後,發現服務死活啟動不了,心裡那個急啊!別急,這篇文章帶你從容應對,揪出幕後黑手!讀完後,你不僅能解決這個問題,還能提升對MySQL服務的理解,以及排查問題的思路,成為一名更強大的數據庫管理員! MySQL服務啟動失敗,原因五花八門,從簡單的配置錯誤到復雜的系統問題都有可能。咱們先從最常見的幾個方面入手。基礎知識:服務啟動流程簡述MySQL服務啟動,簡單來說,就是操作系統加載MySQL相關的文件,然後啟動MySQL守護進程。這其中涉及到配置

See all articles