目錄
方法概覽
首頁 科技週邊 人工智慧 AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

Jan 12, 2024 am 08:51 AM
ai 3d

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

19世紀是印象主義藝術運動盛行的時期,該運動在繪畫、雕塑、版畫等藝術領域都有影響力。印象主義的特徵是使用短小、斷斷續續的筆觸,幾乎不追求形式的精準,這後來演變為印象派藝術風格。簡言之,印象派藝術家的筆觸沒有經過修飾,呈現出明顯的特點,不追求形式的精確度,甚至有些模糊。印象派藝術家將光與色的科學概念引入繪畫中,革新了傳統的色彩觀念。

在D3GA中,作者有一個與眾不同的目標,他希望透過反其道而行的方式創造出逼真如照片般的表現效果。為了實現這一目標,作者在D3GA中創造性地運用了高斯潑濺(Gaussian Splatting)技術,將其作為一種現代化的“段筆觸”,用來構建虛擬角色的結構和外觀,並實現實時穩定的效果。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

《日出·印象》是著名的印象派畫家莫內的代表作品。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型


為了創造可生成動畫新內容的逼真人類形象,虛擬形象的建構工作目前需要大量的多視角數據。這是因為單目方法的準確性有限。此外,現有的技術還需要進行複雜的預處理,包括準確的3D配準。然而,要取得這些配準資料需要迭代,並且很難整合到端到端的流程中。 另外,還有一些不需要準確配準的方法,它們是基於神經輻射場(NeRFs)。然而,這些方法通常在即時渲染方面速度較慢,或者在服裝動畫方面有困難。

Kerbl等人提出了一種名為3D Gaussian Splatting(3DGS)的渲染方法,它在經典的Surface Splatting渲染方法的基礎上進行了改進。與基於神經輻射場的最先進方法相比,3DGS能夠以更快的幀率呈現更高品質的影像,而且無需進行高度準確的3D初始化。

然而,3DGS最初是為靜態場景設計的。目前已經有人提出了基於時間條件的高斯噴灑(Gaussian Splatting)方法,可以用來渲染動態場景。這種方法只能回放先前觀察到的內容,因此不適用於表達新的或以前未見過的運動。

在驅動型的神經輻射場的基礎上,作者對3D 的人類的外觀及變形進行建模,將其放置在一個規範化的空間中,但使用3D 高斯而不是輻射場。除性能更好以外,Gaussian Splatting 還不需要使用相機射線採樣啟發式方法。

剩下的問題是定義觸發這些 cage 變形的訊號。目前在驅動型的虛擬角色中的最新技術需要密集的輸入訊號,如 RGB-D 影像甚至是多鏡頭,但這些方法可能不適用於傳輸頻寬比較低的情況。在本研究中,作者採用基於人體姿勢的更緊湊輸入,包括以四元數形式的骨骼關節角度和 3D 面部關鍵點。

透過在九個高品質的多視圖序列上訓練個體特定的模型,涵蓋各種身體形狀、動作和服裝(不僅限於貼身服裝),以後我們就可以通過任何主體的新姿勢對人物進行驅動了。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

方法概覽

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型


  • 論文連結:https://arxiv.org/pdf/2311.08581.pdf
  • 計畫連結:https ://zielon.github.io/d3ga/

#目前用於動態體積化虛擬角色的方法要么將點從變形空間映射到規範空間,要么僅依賴正向映射。基於反向映射的方法往往在規範空間中累積誤差,因為它們需要一個容易出錯的反向傳遞,並且在建模視角相關效果時存在問題。

因此,作者決定採用僅正向映射的方法。 D3GA 是基於 3DGS 的基礎上透過神經表示和 cage 進行擴展,分別對虛擬角色的每個動態部分的顏色和幾何形狀進行建模。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

D3GA 使用3D 姿勢ϕ、臉部嵌入κ、視點dk 和規範cage v(以及自動解碼的顏色特徵hi)來產生最終的渲染C¯ 和輔助分割渲染P¯。左側的輸入透過每個虛擬角色部分的三個網路(ΨMLP、ΠMLP、ΓMLP)進行處理,以產生 cage 位移∆v、高斯變形 bi、qi、si 以及顏色 / 透明度 ci、oi。

在 cage 變形將規範高斯變形後,透過方程式 9,它們被光柵化成最終的影像。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

實驗結果

#D3GA 在SSIM、PSNR 和知覺度量LPIPS等指標上進行評估。表1 顯示,D3GA 在只使用LBS 的方法中(即不需要為每個幀掃描3D 數據)其在PSNR 和SSIM 上的表現是最佳的,並在這些指標中勝過所有FFD 方法,僅次於於BD FFD,儘管其訓練訊號較差且沒有測試影像(DVA 是使用所有200 台攝影機進行測試的)。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

定性比較顯示,與其它最先進方法相比,D3GA 能更好地建模服裝,特別是像裙子或運動褲這樣的寬鬆服裝(圖4)。 FFD 代表自由形變網格,其包含比 LBS 網格更豐富的訓練訊號 (圖 9)。

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型


#與其基於體積方法相比,作者的方法可以將虛擬角色的服裝分離出來,並且服裝也是可驅動的。圖 5 顯示了每個單獨的服裝層,可以僅透過骨骼關節角度控制,而不需要特定的服裝配準模組。


AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型

#

以上是AI研究也能藉鏡印象派?這些栩栩如生的人竟然是3D模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1318
25
PHP教程
1269
29
C# 教程
1248
24
如何理解C  中的DMA操作? 如何理解C 中的DMA操作? Apr 28, 2025 pm 10:09 PM

DMA在C 中是指DirectMemoryAccess,直接內存訪問技術,允許硬件設備直接與內存進行數據傳輸,不需要CPU干預。 1)DMA操作高度依賴於硬件設備和驅動程序,實現方式因係統而異。 2)直接訪問內存可能帶來安全風險,需確保代碼的正確性和安全性。 3)DMA可提高性能,但使用不當可能導致系統性能下降。通過實踐和學習,可以掌握DMA的使用技巧,在高速數據傳輸和實時信號處理等場景中發揮其最大效能。

C  中的chrono庫如何使用? C 中的chrono庫如何使用? Apr 28, 2025 pm 10:18 PM

使用C 中的chrono庫可以讓你更加精確地控制時間和時間間隔,讓我們來探討一下這個庫的魅力所在吧。 C 的chrono庫是標準庫的一部分,它提供了一種現代化的方式來處理時間和時間間隔。對於那些曾經飽受time.h和ctime折磨的程序員來說,chrono無疑是一個福音。它不僅提高了代碼的可讀性和可維護性,還提供了更高的精度和靈活性。讓我們從基礎開始,chrono庫主要包括以下幾個關鍵組件:std::chrono::system_clock:表示系統時鐘,用於獲取當前時間。 std::chron

怎樣在C  中測量線程性能? 怎樣在C 中測量線程性能? Apr 28, 2025 pm 10:21 PM

在C 中測量線程性能可以使用標準庫中的計時工具、性能分析工具和自定義計時器。 1.使用庫測量執行時間。 2.使用gprof進行性能分析,步驟包括編譯時添加-pg選項、運行程序生成gmon.out文件、生成性能報告。 3.使用Valgrind的Callgrind模塊進行更詳細的分析,步驟包括運行程序生成callgrind.out文件、使用kcachegrind查看結果。 4.自定義計時器可靈活測量特定代碼段的執行時間。這些方法幫助全面了解線程性能,並優化代碼。

量化交易所排行榜2025 數字貨幣量化交易APP前十名推薦 量化交易所排行榜2025 數字貨幣量化交易APP前十名推薦 Apr 30, 2025 pm 07:24 PM

交易所內置量化工具包括:1. Binance(幣安):提供Binance Futures量化模塊,低手續費,支持AI輔助交易。 2. OKX(歐易):支持多賬戶管理和智能訂單路由,提供機構級風控。獨立量化策略平台有:3. 3Commas:拖拽式策略生成器,適用於多平台對沖套利。 4. Quadency:專業級算法策略庫,支持自定義風險閾值。 5. Pionex:內置16 預設策略,低交易手續費。垂直領域工具包括:6. Cryptohopper:雲端量化平台,支持150 技術指標。 7. Bitsgap:

怎樣在C  中處理高DPI顯示? 怎樣在C 中處理高DPI顯示? Apr 28, 2025 pm 09:57 PM

在C 中處理高DPI顯示可以通過以下步驟實現:1)理解DPI和縮放,使用操作系統API獲取DPI信息並調整圖形輸出;2)處理跨平台兼容性,使用如SDL或Qt的跨平台圖形庫;3)進行性能優化,通過緩存、硬件加速和動態調整細節級別來提升性能;4)解決常見問題,如模糊文本和界面元素過小,通過正確應用DPI縮放來解決。

C  中的實時操作系統編程是什麼? C 中的實時操作系統編程是什麼? Apr 28, 2025 pm 10:15 PM

C 在實時操作系統(RTOS)編程中表現出色,提供了高效的執行效率和精確的時間管理。 1)C 通過直接操作硬件資源和高效的內存管理滿足RTOS的需求。 2)利用面向對象特性,C 可以設計靈活的任務調度系統。 3)C 支持高效的中斷處理,但需避免動態內存分配和異常處理以保證實時性。 4)模板編程和內聯函數有助於性能優化。 5)實際應用中,C 可用於實現高效的日誌系統。

給MySQL表添加和刪除字段的操作步驟 給MySQL表添加和刪除字段的操作步驟 Apr 29, 2025 pm 04:15 PM

在MySQL中,添加字段使用ALTERTABLEtable_nameADDCOLUMNnew_columnVARCHAR(255)AFTERexisting_column,刪除字段使用ALTERTABLEtable_nameDROPCOLUMNcolumn_to_drop。添加字段時,需指定位置以優化查詢性能和數據結構;刪除字段前需確認操作不可逆;使用在線DDL、備份數據、測試環境和低負載時間段修改表結構是性能優化和最佳實踐。

C  中的字符串流如何使用? C 中的字符串流如何使用? Apr 28, 2025 pm 09:12 PM

C 中使用字符串流的主要步驟和注意事項如下:1.創建輸出字符串流並轉換數據,如將整數轉換為字符串。 2.應用於復雜數據結構的序列化,如將vector轉換為字符串。 3.注意性能問題,避免在處理大量數據時頻繁使用字符串流,可考慮使用std::string的append方法。 4.注意內存管理,避免頻繁創建和銷毀字符串流對象,可以重用或使用std::stringstream。

See all articles