目錄
Part I 背景
Part 2 NeRFFaceEditing 的演算法原理
#Part 3 效果顯示與實驗比較
Part 4 結語與致謝
首頁 科技週邊 人工智慧 人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

Apr 13, 2023 am 11:16 AM
數位 方法

想要個人化設計高真實感的立體人臉,卻發現自己並不熟悉專業的設計軟體?三維人臉編輯方法 NeRFFaceEditing 提供了新的解決方案,即使不會三維建模,也能自由編輯高真實感的立體人臉,建模元宇宙中的個人化數位肖像! 

NeRFFaceEditing 由中科院計算所和香港城市大學的研究人員合作完成,相關技術論文在電腦圖形學頂級會議 ACM SIGGRAPH Asia 2022 上發表。

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

專案首頁:http://geometrylearning.com/NeRFFaceEditing/

NeRFFaceEditing 將二維的語意遮罩作為三維幾何編輯的橋樑,使用者在一個視角下進行的語意編輯可以傳播到整個三維人臉的幾何,並保持材質不變。進一步,給定表示參考風格的圖像,使用者可以輕鬆的更改整個三維人臉的材質風格,並保持幾何不變。

基於此方法的三維人臉編輯系統,即使使用者不熟悉專業的三維設計,也可以輕鬆進行個人化的人臉設計,自訂人臉形狀和外觀。先來看兩個使用 NeRFFaceEditing 的驚人效果!

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

圖1 幾何編輯效果:二維語意遮罩上的編輯傳播到整個三維幾何空間

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

#圖2 風格遷移效果:將給定風格作用到整個人臉三維空間而保持幾何不變

Part I 背景

#近年來,隨著神經輻射場[1] 與對抗式生成網路[2 ] 的結合,各種高品質、快速渲染的三維人臉生成網絡被提出,其中包括EG3D [3]。

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

圖3 EG3D 的不同視角的產生效果與幾何表示

此方法的三平面表示結合了傳統的二維生成對抗網路和最新的三維隱式表徵,因此繼承了StyleGAN [4] 的強大生成能力和神經輻射場的表徵能力。但是,這些生成模型並不能對人臉的幾何和材質進行解耦控制,而解耦控制幾何和材質是三維角色設計等應用不可或缺的功能。

已有工作,如 DeepFaceDrawing [5]、DeepFaceEditing [6] 可以實現基於線稿的幾何和材質的解耦控制及二維人臉圖像的生成與編輯。 DeepFaceVideoEditing [7] 則將線稿編輯應用到人臉視頻,能在時序上產生豐富的編輯效果。

但是,影像的解耦與編輯方法,很難直接套用到三維空間。而現有的三維人臉的幾何和材質解耦方法往往需要重新訓練網路參數,而且使用的空間表示方法有較大的局限性,缺少三平面表示的良好性質。為了解決上述的問題,NeRFFaceEditing 在三平面表示的三維生成對抗網絡的預訓練模型參數的基礎上,利用任意視角的二維語義掩碼作為媒介,實現對三維人臉進行幾何編輯和對材質的解耦控制。

Part 2 NeRFFaceEditing 的演算法原理

在三平面生成器產生出三平面之後,啟發自AdaIN [8],即對於二維的特徵圖(Feature Map),它的統計數據可以表示它的風格,NeRFFaceEditing 將三平面分解為表達空間上不變的高層次材質特徵的均值和標準差(a),以及表達空間上變化的幾何特徵的標準化的三平面。結合標準化的三平面與分解出的材質特徵 (a) 可以還原出原本的三平面。因此,如果給定不同的材質特徵,即可賦予同一幾何不同的材質。

更進一步,為了實現幾何和材質的解耦控制,NeRFFaceEditing 將原始的單一解碼器分解為了幾何解碼器和材質解碼器。幾何解碼器輸入從標準化三平面採樣得到的特徵,預測密度和語義標籤,用於表達三維人臉的幾何和語義遮罩(Volume)。而幾何特性與材質特性 (a) 透過可控制的材質模組(CAM)模組組合後,再從中取樣特徵輸入材質解碼器預測顏色。最後透過體渲染,得到某一視角下的人臉影像與對應的語意遮罩。而在給定一個不同的材質特徵 (b) 的情況下,幾何特徵與材質特徵 (b) 透過 CAM 模組和體渲染可以得到另一張幾何不變而材質改變的人臉影像。整體網路架構如下圖所示:

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

#圖4 NeRFFaceEditing 的網路架構

#除此之外,為了約束擁有相同材質特徵,但幾何不同的樣本渲染結果在材質上相似,NeRFFaceEditing 利用生成好的語意掩碼,使用直方圖特徵來分別表示這些材質特徵相同,幾何不同的樣本不同臉部組成部分,如頭髮、皮膚等,在顏色上的分佈。然後優化這些樣本在各個組成部分上顏色分佈的距離和。如下圖所示:

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

#圖5 材質相似約束訓練策略

#Part 3 效果顯示與實驗比較

使用NeRFFaceEditing,可以藉助二維的語意遮罩對三維人臉空間進行幾何編輯:

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

#圖6 三維人臉幾何編輯

除此之外,還可以基於參考圖片,進行三維一致的三維空間內材質風格遷移:

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

圖7 三維人臉風格遷移

在此基礎上,可以實現解耦的人臉插值變形應用,如下圖以左上角和右下角作為起止點,對相機、幾何、材質進行線性內插:

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

圖8 解耦人臉變形效果顯示

圖8 解耦人臉變形效果顯示########## ########借助PTI [9] 將真實影像反投影到NeRFFaceEditing 的隱空間,也可以實現對於真實影像的編輯和風格遷移。藉此,NeRFFaceEditing 也與其他可以控制視角的對人臉進行編輯的開源方法,即 SofGAN [10] 進行了比較,證明了方法的優越性。 ######

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

圖 9 真實影像三維幾何編輯的範例。可以看到 NeRFFaceEditing 的真實性優於 SofGAN,而且 SofGAN 在其他視角上對於身分有一定的改變。

人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉

#圖 10 真實影像風格遷移的範例。可以看到 SofGAN 有一定的瑕疵,而且在身分上有一定變化。

Part 4 結語與致謝

數位內容生成在工業製作和數位媒體領域有著廣泛的應用,尤其是虛擬數位人的生成與編輯,在近期受到了廣泛的關注,而三維人臉幾何與材質的解耦編輯就是在個性化塑造真實的虛擬形像上一種可能的解決手段。

NeRFFaceEditing 系統,透過對三維人臉產生網路進行解耦設計,可以將使用者在二維視角上對語意掩碼的修改,轉變為整個三維空間的幾何修改,並且保證材質不改變。除此之外,借助風格遷移效果強化的訓練策略,可以實現有效的立體空間內材質風格遷移。 NeRFFaceEditing 的論文已經被電腦圖形學頂級會議 ACM SIGGRAPH ASIA 2022 錄用。

該計畫研究團隊包括中科院計算所精英班本科生同學蔣楷文(第一作者),高林副研究員(本文通訊作者)、陳姝宇博士和香港城市大學傅紅波教授等,有關論文的更多細節,請瀏覽專案首頁:

#http://geometrylearning.com/NeRFFaceEditing/

#

以上是人臉神經輻射場的遮罩編輯方法NeRFFaceEditing,不會三維建模也能編輯立體人臉的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1317
25
PHP教程
1268
29
C# 教程
1242
24
微信刪除的人如何找回(簡單教學告訴你如何恢復被刪除的聯絡人) 微信刪除的人如何找回(簡單教學告訴你如何恢復被刪除的聯絡人) May 01, 2024 pm 12:01 PM

而後悔莫及、人們常常會因為一些原因不小心刪除某些聯絡人、微信作為一款廣泛使用的社群軟體。幫助用戶解決這個問題,本文將介紹如何透過簡單的方法找回被刪除的聯絡人。 1.了解微信聯絡人刪除機制這為我們找回被刪除的聯絡人提供了可能性、微信中的聯絡人刪除機制是將其從通訊錄中移除,但並未完全刪除。 2.使用微信內建「通訊錄恢復」功能微信提供了「通訊錄恢復」節省時間和精力,使用者可以透過此功能快速找回先前刪除的聯絡人,功能。 3.進入微信設定頁面點選右下角,開啟微信應用程式「我」再點選右上角設定圖示、進入設定頁面,,

怎麼在番茄免費小說app中寫小說 分享番茄小說寫小說方法教程 怎麼在番茄免費小說app中寫小說 分享番茄小說寫小說方法教程 Mar 28, 2024 pm 12:50 PM

番茄小說是一款非常熱門的小說閱讀軟體,我們在番茄小說中經常會有新的小說和漫畫可以去閱讀,每一本小說和漫畫都很有意思,很多小伙伴也想著要去寫小說來賺取賺取零用錢,在把自己想要寫的小說內容編輯成文字,那麼我們要怎麼樣在這裡面去寫小說呢?小伙伴們都不知道,那就讓我們一起到本站本站中花點時間來看寫小說的方法介紹。分享番茄小說寫小說方法教學  1、先在手機上打開番茄免費小說app,點擊個人中心——作家中心  2、跳到番茄作家助手頁面——點擊創建新書在小說的結

手機版龍蛋孵化方法大揭密(一步一步教你如何成功孵化手機版龍蛋) 手機版龍蛋孵化方法大揭密(一步一步教你如何成功孵化手機版龍蛋) May 04, 2024 pm 06:01 PM

手機遊戲成為了人們生活中不可或缺的一部分,隨著科技的發展。它以其可愛的龍蛋形象和有趣的孵化過程吸引了眾多玩家的關注,而其中一款備受矚目的遊戲就是手機版龍蛋。幫助玩家們在遊戲中更好地培養和成長自己的小龍,本文將向大家介紹手機版龍蛋的孵化方法。 1.選擇合適的龍蛋種類玩家需要仔細選擇自己喜歡並且適合自己的龍蛋種類,根據遊戲中提供的不同種類的龍蛋屬性和能力。 2.提升孵化機的等級玩家需要透過完成任務和收集道具來提升孵化機的等級,孵化機的等級決定了孵化速度和孵化成功率。 3.收集孵化所需的資源玩家需要在遊戲中

手機字體大小設定方法(輕鬆調整手機字體大小) 手機字體大小設定方法(輕鬆調整手機字體大小) May 07, 2024 pm 03:34 PM

字體大小的設定成為了重要的個人化需求,隨著手機成為人們日常生活的重要工具。以滿足不同使用者的需求、本文將介紹如何透過簡單的操作,提升手機使用體驗,調整手機字體大小。為什麼需要調整手機字體大小-調整字體大小可以使文字更清晰易讀-適合不同年齡段用戶的閱讀需求-方便視力不佳的用戶使用手機系統自帶字體大小設置功能-如何進入系統設置界面-在在設定介面中找到並進入"顯示"選項-找到"字體大小"選項並進行調整第三方應用調整字體大小-下載並安裝支援字體大小調整的應用程式-開啟應用程式並進入相關設定介面-根據個人

快速掌握:華為手機開啟兩個微信帳號方法大揭密! 快速掌握:華為手機開啟兩個微信帳號方法大揭密! Mar 23, 2024 am 10:42 AM

在現今社會,手機已經成為我們生活中不可或缺的一部分。而微信作為我們日常溝通、工作、生活的重要工具,更是經常被使用。然而,在處理不同事務時可能需要分開兩個微信帳號,這就要求手機能夠支援同時登入兩個微信帳號。華為手機作為國內知名品牌,很多人使用,那麼華為手機開啟兩個微信帳號的方法是怎麼樣的呢?下面就來揭秘一下這個方法。首先,要在華為手機上同時使用兩個微信帳號,最簡

Go語言方法與函數的差異及應用場景解析 Go語言方法與函數的差異及應用場景解析 Apr 04, 2024 am 09:24 AM

Go語言方法與函數的差異在於與結構體的關聯性:方法與結構體關聯,用於操作結構體資料或方法;函數獨立於類型,用於執行通用操作。

如何選擇手機膜,保護你的手機螢幕(選購手機膜的幾個重點與技巧) 如何選擇手機膜,保護你的手機螢幕(選購手機膜的幾個重點與技巧) May 07, 2024 pm 05:55 PM

手機膜成為了必不可少的配件之一,隨著智慧型手機的普及。延長其使用壽命,選擇合適的手機膜可以保護手機螢幕。幫助讀者選出最適合自己的手機膜、本文將介紹選購手機膜的幾個重點與技巧。了解手機膜的材質及類型PET膜,TPU等、手機膜有多種材質,包括強化玻璃。 PET膜較為柔軟、強化玻璃膜具有較好的耐刮花性能,TPU則具有較好的防震性能。可根據個人偏好及需求來決定,在選擇時。考慮螢幕的保護程度不同類型的手機膜對螢幕的保護程度不同。 PET膜則主要起防刮花作用,強化玻璃膜具有較好的耐摔性能。可以選擇具有較好

快速去除老人斑的有效方法(教你簡單又快速消除老人斑的養膚秘訣) 快速去除老人斑的有效方法(教你簡單又快速消除老人斑的養膚秘訣) May 03, 2024 pm 12:01 PM

頸部和手背等暴露部位,老年斑是一種常見的皮膚問題,往往出現在年長者的臉部。也會讓人看起來顯老、它不僅帶給人們的外表困擾。隨著科技的進步和美容技術的發展,現在有了許多簡單而快速的方法來祛除老年斑,然而。恢復年輕又健康的肌膚、幫助您快速消除老年斑、本文將分享一些有效的養膚秘訣。 1.積極保護皮膚免受紫外線傷害的重要性所以避免長時間暴露在陽光下是非常重要的、紫外線是導致老年斑形成的主要原因之一。 2.合理選擇護膚產品,使用含有抗氧化劑和美白成分的產品護膚產品中含有抗氧化劑和美白成分可以幫助減少老年斑的形

See all articles