論文作者來自阿里巴巴通義實驗室的 3D 團(tuán)隊。第一作者何益升，本科畢業(yè)于武漢大學(xué)，博士畢業(yè)于香港科技大學(xué)；通訊作者原瑋浩，本科畢業(yè)于浙江大學(xué)，博士畢業(yè)于香港科技大學(xué)；團(tuán)隊 Leader 董子龍，本科博士均畢業(yè)于浙江大學(xué)。

三維數(shù)字頭像的建模、驅(qū)動和渲染是計算機(jī)圖形學(xué)與計算機(jī)視覺的重要課題之一，在虛擬會議、影視制作、游戲開發(fā)等領(lǐng)域有廣泛應(yīng)用。傳統(tǒng)方法依賴多視角數(shù)據(jù)或視頻序列訓(xùn)練，存在計算成本高、輸入條件難、泛化能力弱等問題。

近年來，基于神經(jīng)輻射場（NeRF）和 3D 高斯濺射（Gaussian Splatting）的技術(shù)雖提升了建模質(zhì)量，但仍面臨多視角/視頻輸入訓(xùn)練的依賴以及神經(jīng)后處理導(dǎo)致的渲染效率低的問題。

LAM（Large Avatar Model）的提出，旨在通過單張圖像實現(xiàn)實時可驅(qū)動的 3D 高斯頭像生成，突破傳統(tǒng)方法對視頻數(shù)據(jù)或復(fù)雜后處理的依賴，為輕量化、跨平臺的 3D 數(shù)字人應(yīng)用提供新思路。

• 論文標(biāo)題：LAM：Large Avatar Model for One-shot Animatable Gaussian Head
• 論文地址：https://arxiv.org/abs/2502.17796
• 項目主頁: https://aigc3d.github.io/projects/LAM
• 代碼庫：https://github.com/aigc3d/LAM
• 國外 Demo：https://huggingface.co/spaces/3DAIGC/LAM
• 國內(nèi) Demo：https://www.modelscope.cn/studios/Damo_XR_Lab/LAM_Large_Avatar_Model

核心亮點(diǎn)：

單圖秒級生成超寫實 3D 數(shù)字人

WebGL 跨平臺超實時驅(qū)動渲染，手機(jī)跑滿 120FPS

低延遲實時交互對話數(shù)字人 SDK 已全開源

方法

LAM 的核心目標(biāo)是：單圖輸入、一次前向傳播生成可驅(qū)動的 3D 高斯頭像，無需后處理網(wǎng)絡(luò)，并兼容傳統(tǒng)圖形渲染管線實現(xiàn)跨平臺實時渲染。其技術(shù)框架圍繞以下核心突破展開：

規(guī)范化空間的三維高斯球生成

• 人頭模型先驗引導(dǎo)：LAM 基于 FLAME 頭部模板的頂點(diǎn)來初始化高斯球位置，結(jié)合形狀混合形變（Blendshapes）與骨骼線性蒙皮（LBS）的驅(qū)動機(jī)制，將三維頭像的生成置于規(guī)范化空間（Canonical Space），統(tǒng)一不同表情與姿態(tài)的幾何表達(dá)，降低生成復(fù)雜度。

• 多模態(tài)特征交互 Transformer：LAM 利用預(yù)訓(xùn)練的 DinoV2 提取輸入圖像的多層級特征，通過堆疊式交叉注意力模塊（Cross-Attention）讓 3D 空間中的點(diǎn)特征與 2D 空間中的圖像特征進(jìn)行交互，預(yù)測 3D 高斯球的位置、顏色、透明度等屬性，并引入形變偏移（Offset）優(yōu)化人頭的幾何形狀（如頭發(fā)、飾品等）。

• 細(xì)分網(wǎng)格增強(qiáng)細(xì)節(jié)：FLAME 原始頂點(diǎn)數(shù)只有 5023 個，表達(dá)能力有限，LAM 通過網(wǎng)格細(xì)分算法（Mesh Subdivision）增加點(diǎn)密度（默認(rèn)兩次細(xì)分達(dá) 81424 點(diǎn)），從而提升頭發(fā)、胡須等細(xì)節(jié)的建模能力。使用不同的細(xì)分程度，也可以在模型生成質(zhì)量與渲染速度之間進(jìn)行平衡。

無需神經(jīng)后處理的驅(qū)動與渲染

• 傳統(tǒng)動畫驅(qū)動機(jī)制直接遷移：生成的規(guī)范空間中的 3D 高斯人頭，可直接使用骨骼線性混合蒙皮（LBS）與形狀混合形變（Blendshapes）參數(shù)，驅(qū)動表情與姿態(tài)變化，無需額外神經(jīng)網(wǎng)絡(luò)參與動畫或渲染計算，達(dá)到超實時的渲染效率。

• 海量視頻數(shù)據(jù)訓(xùn)練：傳統(tǒng) 3D 數(shù)字人的訓(xùn)練數(shù)據(jù)要求苛刻，有時甚至需要多視角視頻數(shù)據(jù)，難以 scale up，而 LAM 的模型架構(gòu)使其可以在普通的單目視頻上進(jìn)行訓(xùn)練，從而可以很輕易地 scale up。在模型訓(xùn)練中，一段視頻中取任意一幀作為輸入圖片，生成 3D 高斯人頭，然后基于視頻檢測得到的頭部姿態(tài)和面部表情，渲染不同幀的圖片，與真值之間求損失來優(yōu)化生成網(wǎng)絡(luò)。

跨平臺超實時渲染架構(gòu)

• 輕量化 3D 高斯表達(dá)：LAM 的驅(qū)動和渲染沒有任何神經(jīng)網(wǎng)絡(luò)的參與，是直接使用傳統(tǒng)動畫驅(qū)動 + 三維高斯濺射渲染，因此可以直接兼容傳統(tǒng)圖形管線。

• WebGL 渲染：LAM 基于 WebGL 實現(xiàn)了表情、動作驅(qū)動和三維高斯濺射的渲染，天然支持跨平臺的特性，可以在不同設(shè)備如電腦、手機(jī)、電視、大屏等設(shè)備上進(jìn)行直接驅(qū)動和渲染，效率達(dá)到超實時，如 8W 點(diǎn)模型可以在 Macbook 上輕松跑滿屏幕上限 120FPS，2W 點(diǎn)模型甚至能在移動端跑到 120FPS。

實驗

定量結(jié)果

論文在 VFHQ（高分辨率視頻人臉數(shù)據(jù)集）與 HDTF（高清對話視頻數(shù)據(jù)集）上驗證 LAM 性能，對比對象包括 NeRF 方法及 3D 高斯濺射方法，指標(biāo)涵蓋重建質(zhì)量、身份一致性、動畫精度與渲染效率。

從結(jié)果來看，LAM 以超寫實的圖像質(zhì)量刷新記錄，以無神經(jīng)網(wǎng)絡(luò)的超輕量模型擊敗之前的重網(wǎng)絡(luò)模型。

更多應(yīng)用

LAM 不僅限于單圖生成，也可以結(jié)合圖像大模型進(jìn)行實現(xiàn)跨模態(tài)藝術(shù)創(chuàng)作：

• 文本驅(qū)動生成

結(jié)合文生圖模型，用戶輸入提示詞（如「戴帽子的卡通男性」）生成任意風(fēng)格的人頭圖像，LAM 可以直接轉(zhuǎn)換為可驅(qū)動三維高斯模型。如圖所示，生成的頭像可準(zhǔn)確保留提示中的服飾元素（帽子）與藝術(shù)風(fēng)格（卡通化）：

• 3D 風(fēng)格遷移

通過圖像編輯模型對輸入圖像進(jìn)行年齡、妝容等編輯，LAM 可以同步更新高斯屬性。例如將真人頭像轉(zhuǎn)化為油畫風(fēng)格時，模型保留幾何結(jié)構(gòu)僅調(diào)整顏色與紋理等：

交互對話數(shù)字人解決方案

以 LAM 為基礎(chǔ)，通義實驗室構(gòu)建了完整的智能交互對話數(shù)字人解決方案，融合通義千問大語言模型、通義語音算法、通義數(shù)字人驅(qū)動算法，構(gòu)建成熟、魯棒的完整工程方案，實現(xiàn)輕量化、低成本、低延遲、跨平臺的端側(cè)渲染，支持智能客服、情感陪伴、教育培訓(xùn)等產(chǎn)品。

目前，完整的解決方案均已開源，包括整個鏈路中的各個模塊。即使用開源的代碼庫，就可以實現(xiàn)輸入一張圖片，生成超寫實 3D 數(shù)字人，進(jìn)行實時的對話聊天。

https://mp.weixin.qq.com/s/41mpwUeWFARsXRWuDrCBZA