新技術Repaint123：有效率地產生優質的單視圖3D，只需2分鐘！

將一幅影像轉換為3D的方法通常採用Score Distillation Sampling（SDS）的方法，儘管結果令人印象深刻，但仍存在多個不足之處，包括多重視角不一致、過度飽和、過度平滑的紋理，以及生成速度緩慢等問題。
為了解決這些問題，北京大學、新加坡國立大學、武漢大學等機構的研究人員提出了Repaint123，以減輕多視角偏差、紋理退化，並加速生成過程。

論文網址：https://arxiv.org/pdf/2312.13271.pdf

GitHub ：https://github.com/PKU-YuanGroup/repaint123

計畫網址：https://pku-yuangroup.github.io/repaint123/

#核心概念是將2D擴散模型的生成影像能力與紋理對齊能力結合，以產生高品質多視角影像。

作者進一步提出了可見性感知的自適應再繪強度，以提升生成影像品質。

產生的高品質、多視角一致的影像使得可以使用簡單的均方誤差（MSE）損失進行快速的3D內容產生。

作者經實驗證明，Repaint123能夠在2分鐘內產生高品質的3D內容，具有多視角一致性和精細紋理。

文章的主要貢獻點如下：

#1. Repaint123全面考慮了圖像到3D生成的可控重繪過程，能夠生成多元視角一致的高品質圖片序列。

2. Repaint123提出了一個簡單的單視圖3D產生的baseline，粗模階段採用Zero123作為3D prior與SDS損失快速優化Gaussian Splatting幾何（1分鐘），細模階段採用Stable Diffusion作為2D prior與MSE損失快速精緻Mesh紋理（1分鐘）。

3. 大量的實驗驗證了Repaint123方法的有效性，可以在短短2分鐘內從單一影像中產生匹配2D產生的品質的3D內容。

圖1：論文動機：快速、一致、高品質的單一視角3D生成

具體方法：

Repaint123主要改進集中於mesh細化階段，包含兩個部分：多視角一致的高品質影像序列生成，快速高品質的3D重建。

在粗模階段，作者採用3D Gaussian Splatting作為3D表徵，透過SDS損失優化的粗模幾何和紋理。

在細化階段，作者將粗模模型轉換為網格表示，並提出漸進的、可控制的紋理細化重繪方案。

首先，作者透過幾何控制和參考影像的指導逐步重新繪製相對於先前最佳化視圖的不可見區域，從而獲得新穎視圖的視圖一致性影像。

然後，作者採用影像提示進行無分類器指導，並設計自適應重繪策略，以進一步提高重疊區域的生成品質。

最後，透過產生視圖一致的高品質影像，作者利用簡單的MSE損失來快速產生3D內容。

多重視角一致的高品質影像序列產生：

#如圖2所示，多視角一致的高品質影像序列生成分為以下四個部分：

圖2：多重視角一致的影像產生流程

#DDIM Inversion

為了保存粗模階段產生的3D一致的低頻紋理訊息，作者使用DDIM Inversion將影像反演到確定的latent, 為後續去噪產生忠實一致的圖片做基礎。

Controllable Denoising

#

為了控制幾何一致性與長程紋理一致，在去噪階段作者使用ControlNet引入粗模渲染的深度圖作為幾何先驗, 注入參考圖的Attention特徵進行紋理遷移。

同時，為了執行Classifier-free guidance提升影像質量，論文使用CLIP將參考圖編碼為image prompt提示去噪網路。

Obtain Occlusion Mask

為了從渲染出來的圖片In和深度圖Dn的新穎視圖中獲得遮擋掩碼Mn，在給定Ir和Dr的重繪參考視圖Vr條件下，作者首先透過使用深度Dr縮放來自Vr的2D像素點至3D點雲，然後從新視角Vn渲染3D點雲Pr，得到深度圖Dn'。

作者認為兩個新穎視圖深度圖（Dn和Dn'）之間具有不同深度值的區域是遮蔽遮罩中的遮蔽區域。

Progressively Repainting both Occlusions and Overlaps

為了確保影像序列重相鄰影像的重疊區域像素層級對齊，作者使用了漸進式局部重繪的策略，在保持重疊區域不變的情況下產生和諧一致的臨近區域，從參考視角依次類推到360°。

但是如圖3所示，作者發現重疊區域同樣需要進行細化，因為一個先前斜視的區域在正視時其可視分辨率變大，需要補充更多的高頻訊息。

為了選擇合適的細化強度使得在提升品質的同時保證忠實度，作者藉用投影定理與影像超分的思想，提出了一種簡單直接的能見度可感知的重繪策略來細化重疊區域，另細化強度等於1-cosθ*（其中θ*為先前所有相機視角與所視表面法向量夾角的最大值），從而自適應地重繪重疊區域。

圖3：相機視角與細化強度的關係

快速高品質的3D重建：

如圖4所示，作者採用了兩階段方法，先使用Gaussian Splatting表示來快速產生合理的幾何和粗糙的紋理，同時藉助上述生成的多視角一致的高品質影像序列, 作者得以使用簡單的MSE loss進行快速的3D紋理重建。

圖4：Repaint123兩階段單一視角3D生成框架

實驗結果

作者比較了多個單視圖生成任務方法，在RealFusion15和Test-alpha資料集上取得了一致性、品質、速度三方面最先進的效果。

單一視圖3D產生視覺化比較

單一視圖3D生成定量比較

#同時，作者也對論文使用的每個模組的有效性以及視角轉動增量進行了消融實驗：

以上是新技術Repaint123：有效率地產生優質的單視圖3D，只需2分鐘！的詳細內容。更多資訊請關注PHP中文網其他相關文章！