记忆机制显式引导的说话人自适应唇语识别
Abstract
目的唇语识别中说话人自适应方法通常依赖目标说话人的带标注数据进行微调，但在实际场景中常面临适应数据缺失的问题，为此提出一种基于记忆机制显式引导的说话人自适应方法，旨在不依赖适应数据以提升模型在跨说话人条件下的唇语识别能力。方法通过显式构建静态视觉模式与动态视觉说话模式记忆库，记录训练阶段已见过的说话人的代表性特征，使模型在面对未见说话人时，通过与记忆库中的特征进行匹配与组合，生成具有个体区分性的表示，以达到说话人自适应的唇语识别。推理过程中，该记忆库将以提示形式嵌入到识别模型的注意力机制中，从而显式引导模型在编码阶段对输入的说话人特征进行自适应建模。结果为了验证该方法对说话人自适应唇语识别的效果，基于大规模公开数据集LRS2构造了一个新数据集LRS2-ID，通过按照说话人标签重新划分，确保测试集中的说话人未在训练集中出现过，从而更贴近真实应用中“零样本适应”的说话人泛化场景。在该挑战数据集上的跨说话人识别任务的实验结果，验证了方法的有效性与泛化能力。结果表明，在完全无适应数据的条件下，本文方法显著提升了模型对未见过的说话人的识别性能，且在个体差异显著或外观变化复杂的场景中亦表现出了良好的稳定性和普适性。结论本研究为提升唇语识别系统的跨个体泛化能力提供了有效思路和实践路径，解决了无适应数据情况下唇语识别中说话人的自适应问题。
Fields of Study & Subjects
Speech and Audio Processing
Domain Adaptation and Few-Shot Learning
Face recognition and analysis
Publication details
- Journal / source
- Journal of Image and Graphics
- Volume
- 0
- Issue
- 0
- Pages
- 1–15
- Publication date
- 1 January 2026
- Language
- EN