分层解耦引导的情感可控VQ-VAE 3D说话人脸生成方法
Abstract
目的当前，基于语音驱动的3D说话人脸生成技术已经较为成熟，尤其是基于向量量化变分自编码器（VQ-VAE）的模型。但现有方法情感引导方式较为简单，未能充分利用多模态信息；此外，现有的基于VQ-VAE的人脸生成模型重建的人脸细节有限。方法本文在VQ-VAE框架下对人脸特征进行分层解耦，将其分为顶层和底层特征，并引入身份向量和描述文本作为外部条件解耦顶层特征，随后顶层特征再作为内部条件，与外部条件一起解耦底层特征，实现特征的分层解耦，以提升人脸的重建质量并增强情感表达的稳定性。在生成过程中，语音和文本共同引导人脸生成，从而充分利用多模态信息。结果在3DMEAD和TA-MEAD数据集上的定量实验表明，本模型在生成人脸的平均顶点误差（MVE）、平均估计误差（MEE）和覆盖误差（CE）等关键指标上均达到最优，唇部顶点误差（LVE）为次优。可视化分析显示生成的表情整体上更生动逼真。消融实验验证了外部条件与内部条件对模型效果的关键作用。结论本文提出的方法有效提升了人脸重建的准确性与表情生成的稳定性，生成结果在整体上更接近真实人脸。本文代码已在GitHub开源并于ScienceDB存档，访问链接为：https：//github.com/XAUT-VcLab/2022CS-Project1和https：//doi.org/10.57760/sciencedb.j00240.00095。
Fields of Study & Subjects
Face recognition and analysis
Speech and Audio Processing
3D Shape Modeling and Analysis
Publication details
- Journal / source
- Journal of Image and Graphics
- Volume
- 31
- Issue
- 8
- Pages
- 3015–3029
- Publication date
- 1 January 2026
- Language
- EN