3D 人臉重建是一項廣泛應用於遊戲影視製作、數(shù)位人、AR/VR、人臉辨識和編輯等領(lǐng)域的關(guān)鍵技術(shù)，其目標是從單張或多張影像中獲取高品質(zhì)的3D 人臉模型。借助攝影棚中的複雜拍攝系統(tǒng)，當前業(yè)界成熟方案已可得到媲美真人的毛孔級精度的重建效果 [2]，但其製作成本高、週期長，一般僅用於 S 級影視或遊戲項目。

近年來，基於低成本人臉重建技術(shù)的互動玩法（如遊戲角色捏臉玩法、AR/VR 虛擬形像生成等）受到市場歡迎。使用者只需輸入日?？扇〉玫膱D片，如手機拍攝的單張或多張圖片，即可快速取得 3D 模型。但現(xiàn)有方法成像品質(zhì)不可控，重建結(jié)果精度較低，無法表達人臉細節(jié) [3-4]。如何在低成本條件下得到高保真 3D 人臉，仍是一個未解的難題。

人臉重建的第一步是定義人臉表達方式，但現(xiàn)有主流的人臉參數(shù)化模型表達能力有限，即使有更多約束訊息，如多視角圖片，重建精度也難以提升。因此，騰訊AI Lab 提出了一種改進的自適應骨骼- 蒙皮模型（Adaptive Skinning Model，以下簡稱ASM）作為參數(shù)化人臉模型使用，利用人臉先驗，以高斯混合模型來表達人臉蒙皮權(quán)重，大幅降低參數(shù)量使其可自動求解。

測試表明，ASM 方法在不需要訓練的前提下僅使用少量的參數(shù)，即顯著提升了人臉的表達能力及多視角人臉重建精度，創(chuàng)新了SOTA 水平。相關(guān)論文已被 ICCV-2023 接收，以下為論文詳細解讀。

論文主題：ASM: Adaptive Skinning Model for High-Quality 3D Face Modeling

論文連結(jié)：https://arxiv .org/pdf/2304.09423.pdf

研究挑戰(zhàn)：低成本、高精度的3D 人臉重建難題

從2D 影像得到資訊量更大的3D模型，屬於欠定問題存在無窮多解。為了使其可解，研究者將人臉先驗引入重建，降低求解難度的同時能以更少的參數(shù)來表達人臉 3D 形狀，即參數(shù)化人臉模型。目前大部分參數(shù)化人臉模型都是基於 3D Morphable Model (3DMM) 及其改良版，3DMM 是 Blanz 和 Vetter 在 1999 年首次提出的參數(shù)化人臉模型 [5]。文章假設(shè)一張人臉可以透過多個不同的人臉線性或非線性組合得到，透過收集數(shù)百個真實人臉的高精度3D 模型來建構(gòu)人臉基底庫，進而組合參數(shù)化人臉來表達新的人臉模型。後續(xù)研究透過收集更多樣化的真實人臉模型 [6, 7]，以及改進降維方法來優(yōu)化 3DMM [8, 9]。

然而，3DMM 類人臉模型的穩(wěn)健性高但表達能力不足。儘管他能夠在輸入圖像模糊或有遮擋的情況下穩(wěn)定地生成精度一般的人臉模型，但當使用多張高質(zhì)量圖像作為輸入時，3DMM 表達能力有限，不能利用上更多的輸入信息，因此限制了重建精度。這種限制源自於兩方面，一是方法本身的局限性，二是該方法依賴人臉模型數(shù)據(jù)的收集，不僅數(shù)據(jù)獲取成本高，且因人臉數(shù)據(jù)的敏感性，在實際應用中也難以廣泛復用。

ASM 方法：重新設(shè)計骨骼- 蒙皮模型

為了解決現(xiàn)有3DMM 人臉模型表達能力不足的問題，本文引入了遊戲業(yè)界常用的“骨骼- 蒙皮模型” 作為基準人臉表達方式。骨骼 - 蒙皮模型是遊戲與動畫製作過程中表達遊戲人物角色臉型與表情的一種常見的人臉建模方式。它透過虛擬的骨骼點與人臉上的 Mesh 頂點相連，由蒙皮權(quán)重決定骨骼對 Mesh 頂點的影響權(quán)重，使用時只需要控制骨骼的運動即可間接控制 Mesh 頂點的運動。

通常情況下，骨骼 - 蒙皮模型需要動畫師進行精確的骨骼放置與蒙皮權(quán)重繪製，具有高製作門檻與長製作週期的特點。但是現(xiàn)實的人臉中不同的人骨骼與肌肉的形狀具有較大差異，一套固定的骨骼- 蒙皮系統(tǒng)難以表達現(xiàn)實中多種多樣的臉型，為此，本文在現(xiàn)有的骨骼- 蒙皮基礎(chǔ)上進行進一步設(shè)計，提出了自適應骨骼- 蒙皮模型ASM，基於高斯混合蒙皮權(quán)重（GMM Skinning Weights）與動態(tài)骨骼綁定係統(tǒng)（Dynamic Bone Binding）進一步提高了骨骼- 蒙皮的表達能力與靈活度，為每個目標人臉自適應生成獨特的骨骼- 蒙皮模型，以表達更為豐富的人臉細節(jié)。

為了提高骨骼 - 蒙皮模型對於建模不同人臉時的表達能力，ASM 對骨骼 - 蒙皮模型的建模方式進行了全新的設(shè)計。

^{? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖上為骨與電子色 整體架構(gòu)}N

##Pend面板（Pendine 混合皮片/皮蒙線為線性混合圖案#1 Skinning， LBS）演算法，透過控制骨骼的運動（旋轉(zhuǎn)、平移、縮放）來控制Mesh 頂點的變形。傳統(tǒng)的骨骼 - 蒙皮包含兩個部分，即蒙皮權(quán)重矩陣與骨骼綁定，ASM 對這兩部分分別進行了參數(shù)化，以實現(xiàn)自適應的骨骼 - 蒙皮模型。接下來會分別介紹蒙皮權(quán)重矩陣與骨骼綁定的參數(shù)化建模方法。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 公式1：傳統(tǒng)骨骼- 蒙皮模型的LBS 公式

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?公式2：ASM 的LBS 公式中

#1高斯#蒙皮權(quán)重矩陣是一個mxn 維的矩陣，其中m 為骨骼數(shù)量，n 為Mesh 上的頂點數(shù)量，該矩陣用於存放每一根骨骼對每一個Mesh 頂點的影響係數(shù)。一般來說蒙皮權(quán)重矩陣是高度稀疏的，例如在 Unity 中，每個 Mesh 頂點只會被最多 4 根骨骼影響，除了這 4 根骨骼外，其餘骨骼對該頂點的影響係數(shù)為 0。傳統(tǒng)的骨骼 - 蒙皮模型中蒙皮權(quán)重由動畫師繪製得到，並且蒙皮權(quán)重一旦得到，在使用時將不再改變。近年來有工作[1] 嘗試結(jié)合大量數(shù)據(jù)與神經(jīng)網(wǎng)路學習如何自動產(chǎn)生蒙皮權(quán)重，但這樣的方案有兩個問題，一是訓練神經(jīng)網(wǎng)路需要較大量的數(shù)據(jù)，如果是3D 人臉或蒙皮權(quán)重的資料則較難取得；二是使用神經(jīng)網(wǎng)路建模蒙皮權(quán)重存在較為嚴重的參數(shù)冗餘。

是否存在一種蒙皮權(quán)重的建模方式，在不需要訓練的前提下使用少量的參數(shù)即可完整表達整張人臉的蒙皮權(quán)重呢？

透過觀察常見的蒙皮權(quán)重可發(fā)現(xiàn)以下性質(zhì)：1. 蒙皮權(quán)重局部光滑；2. 離目前骨骼位置越遠的Mesh 頂點，對應的蒙皮係數(shù)通常也越?。欢@樣的性質(zhì)與高斯混合模型（GMM）非常吻合。於是本文提出了高斯混合蒙皮權(quán)重（GMM Skinning Weights）將蒙皮權(quán)重矩陣建模為基於頂點與骨骼某個距離函數(shù)的高斯混合函數(shù)，這樣就能使用一組GMM 係數(shù)表達特定骨骼的蒙皮權(quán)重分佈。為了進一步壓縮蒙皮權(quán)重的參數(shù)量，我們將整個人臉Mesh 從三維空間轉(zhuǎn)移到UV 空間，從而只需要使用二維GMM 並且使用頂點到骨骼的UV 距離就能計算出當前骨骼對特定頂點的蒙皮權(quán)重係數(shù)。

動態(tài)骨骼綁定（Dynamic Bone Binding）

#對蒙皮權(quán)重進行參數(shù)化建模不僅使我們能用少量參數(shù)來表達蒙皮權(quán)重矩陣，還使我們在運行時（Run-Time）調(diào)整骨骼綁定位置成為了可能，由此，本文提出了動態(tài)骨骼綁定（Dynamic Bone Binding）的方法。與蒙皮權(quán)重相同，本文將骨骼的綁定位置建模為 UV 空間上的一個座標點，並且能夠在 UV 空間中任意移動。對於人臉 Mesh 的頂點，能夠透過很簡單地透過預先定義好的 UV 映射關(guān)係將頂點映射為 UV 空間上的一個固定座標。但骨骼並沒有預先定義在 UV 空間中，為此我們需要將綁定的骨骼從三維空間轉(zhuǎn)移到 UV 空間上。本文中這個步驟透過對骨骼與周圍頂點進行座標插值實現(xiàn)，我們將計算得到的插值係數(shù)應用在頂點的 UV 座標上，就能得到骨骼的 UV 座標。反過來也一樣，當需要將骨骼座標從UV 空間轉(zhuǎn)移到三維空間時，我們同樣計算當前骨骼的UV 座標與臨近頂點的UV 座標的插值係數(shù)，並將該插值係數(shù)應用到三維空間中同樣的頂點三維座標上，即可插值對應骨骼的三維空間座標。

透過這種建模方式，我們將骨骼的綁定位置與蒙皮權(quán)重係數(shù)都統(tǒng)一為了 UV 空間中的一組係數(shù)。當使用ASM 時，我們將人臉Mesh 頂點的形變轉(zhuǎn)變?yōu)榍蠼釻V 空間中骨骼綁定位置的偏移係數(shù)、UV 空間中的高斯混合蒙皮係數(shù)與骨骼運動係數(shù)三者的組合，大大提高了骨骼- 蒙皮模型的表達能力，實現(xiàn)更豐富的人臉細節(jié)的生成。

^{? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?表上符號中：#SM 對每個骨骼的參數(shù)結(jié)果}

##先生

#先生#臉表達能力與多視角重建精度達到SOTA 水平

對比不同參數(shù)化人臉模型的表達能力

我們使用參數(shù)化人臉模型註冊高精度人臉掃描模型的方式（Registration），將ASM 與傳統(tǒng)的基於PCA 方法的3DMM（BFM [6]，F(xiàn)LAME [7]，F(xiàn)aceScape [10]）、基於神經(jīng)網(wǎng)路降維方法的3DMM（CoMA [ 8]， ImFace [9]）以及業(yè)界前沿的骨骼- 蒙皮模型（MetaHuman）進行了比較。結(jié)果指出，ASM 在 LYHM 與 FaceScape 兩個資料集上的表達能力均達到了 SOTA 水準。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??之後#勾選的表2中：LYHM ##?#? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 下2：LYHM#?? ? ? ? ? ? ? ? ? ? ? ? ? ?圖3：LYHM與FaceScape 上registration 的視覺化結(jié)果與誤差熱圖

##多視角人臉重建中的應用

我們使用了Florence MICC 的數(shù)據(jù)集測試了ASM 在多視角人臉重建任務(wù)上的表現(xiàn)，在Coop（室內(nèi)近距離攝像頭，人物無表情）測試集上的重建精度達到了SOTA 水平。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??圖上的「我們資料中」所示#Florence MICC臉一樣的結(jié)果上重建結(jié)果##Florence MICC 4#Florence MICC1# 3##a# 3#d FaceScape 資料集上測試了多視角重建任務(wù)中圖片數(shù)量對重建結(jié)果的影響，結(jié)果可以看到當圖片數(shù)量在5 張左右時ASM 相比其他的人臉表達方式能夠?qū)崿F(xiàn)最高的重建精度。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 上3中：Faceape 上不同精確度顯示

##111219211921192119211992192192 精準度的觀點值」重建精確度結(jié)果

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?作用下掃描中顯示^{#在低成本條件下獲得高保真人臉這一行業(yè)難題上，本研究邁出了重要一步。我們提出的新參數(shù)化人臉模型顯著增強了人臉表達能力，將多視角人臉重建的精度上限提升到了新的高度。此方法可用於遊戲製作中的 3D 角色建模、自動捏臉玩法，以及 AR/VR 中的虛擬形像生成等眾多領(lǐng)域。}

在人臉表達能力得到顯著提升之后，如何從多視角圖片中構(gòu)建更強的一致性約束，以進一步提高重建結(jié)果的精度，成為了當前人臉重建領(lǐng)域的新瓶頸、新挑戰(zhàn)。這也將是我們未來的研究方向。

^參考文獻

^{[1] Noranart Vesdapunt, Mitch Rundle, HsiangTao Wu, and Baoyuan Wang. Jnr: Joint-based neural rig representation for compact 3d face modeling. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XVIII 16, pages 389–405. Springer, 2020.}

^{[2] Thabo Beeler, Bernd Bickel, Paul Beardsley, Bob Sumner, and Markus Gross. High-quality single-shot capture of facial geometry. In ACM SIGGRAPH 2010 papers, pages 1–9. 2010.}

^{[3] Yu Deng, Jiaolong Yang, Sicheng Xu, Dong Chen, Yunde Jia, and Xin Tong. Accurate 3d face reconstruction with weakly-supervised learning: From single image to image set. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops, pages 0–0, 2019.}

^{[4] Yao Feng, Haiwen Feng, Michael J Black, and Timo Bolkart. Learning an animatable detailed 3d face model from in-the-wild images. ACM Transactions on Graphics (ToG), 40 (4):1–13, 2021.}

^{[5] Volker Blanz and Thomas Vetter. A morphable model for the synthesis of 3d faces. In Proceedings of the 26th annual conference on Computer graphics and interactive techniques, pages 187–194, 1999.}

^{[6] Pascal Paysan, Reinhard Knothe, Brian Amberg, Sami Romdhani, and Thomas Vetter. A 3d face model for pose and illumination invariant face recognition. In 2009 sixth IEEE international conference on advanced video and signal based surveillance, pages 296–301. Ieee, 2009.}

^{[7] Tianye Li, Timo Bolkart, Michael J Black, Hao Li, and Javier Romero. Learning a model of facial shape and expression from 4d scans. ACM Trans. Graph., 36 (6):194–1, 2017.}

^{[8] Anurag Ranjan, Timo Bolkart, Soubhik Sanyal, and Michael J Black. Generating 3d faces using convolutional mesh autoencoders. In Proceedings of the European conference on computer vision (ECCV), pages 704–720, 2018.}

^{[9] Mingwu Zheng, Hongyu Yang, Di Huang, and Liming Chen. Imface: A nonlinear 3d morphable face model with implicit neural representations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20343–20352, 2022.}

^{[10] Haotian Yang, Hao Zhu, Yanru Wang, Mingkai Huang, Qiu Shen, Ruigang Yang, and Xun Cao. Facescape: a large-scale high quality 3d face dataset and detailed riggable 3d face prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 601–610, 2020.}

以上是高精準度低成本遊戲3D人臉重建方案，騰訊AI Lab ICCV 2023論文解讀的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！