融合轨迹时空感知与自适应语义聚焦的视频描述方法
Abstract
目的视频内容描述任务旨在自动生成自然语言句子，精准表达视频视觉语义信息。尽管编码器—解码器方法在视觉表达与语言生成上已有进展，但视频编码器难以建模目标级运动与事件，解码器也难以实现跨模态语义对齐，限制了生成文本质量。为此，提出融合轨迹时空感知与自适应语义聚焦的方法，以增强目标运动建模能力并改善多模态语义对齐。方法首先，提出基于点轨迹的视觉特征聚合方法，通过时空建模生成兼具空间外观与时间连续性的轨迹特征，并与局部运动特征融合，以增强模型在运动和形变场景下的目标追踪能力和语义连贯性；同时，设计无监督自适应关键轨迹聚焦学习方法，利用密集点轨迹动态信息，通过注意力权重自适应筛选关键轨迹并引入聚焦损失，引导模型优先关注关键语义区域、抑制背景干扰，从而提升跨模态语义关联能力。结果在MSR-VTT（Microsoft research video to text）和MSVD（Microsoft research video description corpus）两个公开数据集上进行实验，所提方法在CIDEr（consensus-based image description evaluation）指标上分别取得61.2和130.1的得分，显著优于现有主流方法，验证了所提方法在描述准确性与语义丰富性方面的有效性。定性分析表明，该方法在提升描述的时序连贯性和语义表达能力方面表现优异。结论本文方法有效提升了视频描述模型在复杂动态环境下的目标语义连续性建模能力，并通过无监督的自适应关键轨迹聚焦学习方法改善了注意力机制对视频与文本语义关联的能力。
Fields of Study & Subjects
Multimodal Machine Learning Applications
Video Analysis and Summarization
Generative Adversarial Networks and Image Synthesis
Publication details
- Journal / source
- Journal of Image and Graphics
- Volume
- 31
- Issue
- 2
- Pages
- 556–572
- Publication date
- 1 January 2026
- Language
- EN