如果只有一張圖片，怎麼創建出一個人逼真的數字化身？
在 2020 年計算機視覺與模式識別會議（CVPR）期間，倫敦帝國學院和 AI 面部分析初創公司 FaceSoft。io 的研究人員介紹了一種 “AvatarMe” 技術，該技術能夠僅僅透過一張普通的影象或照片，就重建逼真的 3D 半身像。更厲害的是，不僅能從低解析度目標生成真實的 4K x 6K 解析度的 3D 人臉，而且還可進行細緻的光線反射。
圖｜3D 人臉重建和實時渲染效果（來源：GitHub）
從影片會議、虛擬現實到影視遊戲，渲染 3D 人臉都有著數不盡的應用場景，儘管可以在沒有 AI 的情況下擬合出幾何形狀，但是需要更多的資訊才能在任意場景中渲染人臉。
為了提取這些資訊，研究人員使用一個有 168 盞 LED 燈和 9 個單反相機的取樣裝置，拍攝了 200 張人臉的毛孔級反射圖，然後他們用這些資料訓練了一個人工智慧模型 GANFIT，它可以從紋理合成逼真的人臉圖，同時最佳化渲染和輸出之間的“身份匹配”。
與其他生成性對抗網路（GANs）類似，GANFIT 是一個由兩部分組成的模型：一個生成樣本的生成器和一個試圖區分生成樣本和真實樣本的鑑別器。生成器和鑑別器各自的能力互補，直到鑑別器無法將真實的例子與合成的例子區分開來。
此外，AvatarMe 的另一個元件則負責增強紋理的解析度，還有一個單獨的模組從被照明的紋理中預測面板結構（如毛孔、皺紋或頭髮）中每個畫素的反射率，甚至估計表面細節（如細皺紋、疤痕和面板毛孔）。
研究人員說，在實驗中，AvatarMe 在最終的渲染中沒有產生任何偽影，併成功地處理了像太陽鏡這樣的 “極端” 案例和遮擋，反射率是一致的，即使在不同的環境中，系統都 “真實地” 照亮了被攝體。
圖｜不同場景下可以自適應的人臉光線反射（來源：GitHub）
三維人臉和幾何紋理的重建是當前計算機視覺、圖形和機器學習交叉領域中最受歡迎的方向，這項研究的關鍵工作之一，是對三維可變形模型（3DMM）擬合法的改進。
在最佳化渲染和輸入之間的身份匹配的同時，將 3DMM 擬合到 “野生” 輸入影象，併合成完整的 UV 紋理。
紋理被上取樣 8 次，以合成合理的高頻細節。然後，研究人員使用影象轉換網路對紋理進行照明，並獲得具有高頻細節的漫反射反照率，使用單獨的網路從漫反射反照率和 3DMM 形狀法線推斷出鏡面反射率、漫反射法線和鏡面法線。此外，網路是在 512x512 補丁上訓練的，推斷過程則是在 1536x1536 補丁上進行。最後，將面部形狀和一貫推斷出的反射率傳遞給頭部模型，呈現出在任何環境中實時渲染的效果。
圖｜AvatarMe 的基本方法框架（來源：GitHub）
如何增強細節？核心是基於補丁的影象到影象轉換。照明任務、去光以及從給定的輸入影象（UV）中推斷漫反射和鏡面反射分量的任務可以表述為域適應問題，研究人員選擇的模型是 pix2pixHD，它在高解析度資料的影象到影象轉換中顯示了令人印象深刻的結果。
為了實現面板的真實感繪製，研究人員分別對所需幾何體的漫反射、鏡面反射反照率以及法線進行建模。因此，在給定一幅無約束的人臉影象作為輸入的情況下，他們就能推斷出人臉的幾何引數以及漫反射反照率（AD）、漫反射法線（ND）、鏡面反射反照率（as）和鏡面反射法線（NS）。
圖｜a、影象輸入；b、基礎重建；c、超解析度；d、去光；e、最終渲染（來源：GitHub）
這個細節最佳化過程還是存在一定小坎坷的。例如，為了訓練演算法模型，研究人員捕獲的資料具有非常高的解析度（超過 4K），因此不能用於使用 pix2pixHD 進行 “原樣” 訓練，因為硬體限制（即使是在 32GB 的 GPU 上，也無法以原始格式擬合此類高解析度資料）。此外，pix2pixHD 只考慮紋理資訊，不能利用形狀法線和深度形式的幾何細節來提高生成的漫反射和鏡面反射元件的質量。
所以，為了克服上述問題，研發人員將原始高解析度資料分割成 512×512 畫素的小塊進行訓練，在推斷過程中，由於網路是完全卷積的，則補丁可以更大（例如 1536×1536 畫素）。
AvatarMe 並非沒有侷限性，這個侷限性就是現在美國科技公司都在極力呼籲的 “種族歧視” 問題。
論文中提到，由於訓練資料集沒有包含來自某些種族的主題示例，因此在嘗試重建膚色較深的面孔時會導致效果不佳，且由於所需資料與 3DMM 模型的微小對準誤差，重建的鏡面反照率和法線有時會顯示出一些高頻孔隙細節的輕微模糊。最後，面部重建的精度跟輸入的照片質量息息相關，一張光線充足、解析度較高的照片會產生更精確的結果。
研究人員表示，在業內，這是用任何肖像影象（包括黑白照片和手繪圖）實現 “可渲染” 人臉的第一種方法，作為一種最新的 3D 人臉生成和實時渲染 AI 系統，AvatarMe 有望使以前需要人工設計的過程逐步自動化。