解耦情绪依赖关系的跨模态感知对话情绪识别
Abstract
目的对话情绪识别旨在准确捕捉对话中各话语的情绪状态，但面临两大挑战。其一，情绪状态随对话语境动态演变，且个体内部与说话者间存在结构异质的情绪依赖关系，增加了建模难度。其二，多模态信息融合时常出现语义错位和模态冗余，影响跨模态语义对齐与情绪线索的准确捕捉。方法提出一种解耦情绪依赖关系的跨模态感知对话情绪识别模型（decoupled emotion dependencies and cross-modal awareness network，DECANet）。该模型通过结构解耦策略，将个体内部和说话者间的情绪依赖分别建模为两个独立子图，并设计启发式动态交互机制实现差异化建模与协同融合，精准捕捉多层次情绪演化特征。在多模态建模方面，设计跨模态上下文感知自注意力机制强化模态间深层语义关联，辅以语义一致性驱动的特征选择模块，有效筛选语义偏离和冗余信息，提升情绪表征的判别力。结果在IEMOCAP（interactive emotional dyadic motion capture database）和MELD（multimodal emotion lines dataset）数据集上的实验结果表明，DECANet在准确率与加权F1值两个关键指标上均优于多种主流方法。在IEMOCAP上分别提升1.74%和1.77%；在MELD上亦取得了具有竞争力的性能增幅。消融实验进一步验证了情绪依赖解耦建模和跨模态交互机制的有效性。结论DECANet能够更清晰地区分并建模对话中异构的情绪依赖结构，增强多模态语义对齐，减少信息冗余，在复杂交互场景中展现出较强的情绪识别能力和良好的泛化性能。
Fields of Study & Subjects
Emotion and Mood Recognition
Sentiment Analysis and Opinion Mining
Speech and dialogue systems
Publication details
- Journal / source
- Journal of Image and Graphics
- Volume
- 31
- Issue
- 2
- Pages
- 525–540
- Publication date
- 1 January 2026
- Language
- EN