跨模态先验驱动的目标检测主动学习
Abstract
目的现有目标检测主动学习的度量方法仅依赖检测器自身输出，难以识别高置信但语义错误的误检结果且易造成采样冗余。为此，本文旨在引入跨模态先验以提升主动采样的可靠性与有效性。方法提出跨模态先验驱动的语义增强主动学习方法（semantic enhanced active learning，SEAL），在不增加额外监督的前提下利用视觉语言模型如对比语言-图像预训练模型（contrastive language-image pre-training，CLIP）的语义对齐能力提升样本选择质量，有效纠正单模态检测器在训练数据匮乏时的判别偏差。在不确定性采样阶段，SEAL使用CLIP对图像候选检测框区域进行特征提取，通过对比检测器与CLIP的类别预测结果，构建融合视觉与语义的一致性指标，实现更鲁棒的实例级不确定性度量。在多样性采样阶段，聚合图像各类别目标的CLIP特征，构建类别级结构特征表示，并据此计算图像间的结构相似性，实现类别对齐的多样性度量，提升采样的类别覆盖和信息表达多样性。结果在MS COCO与Pascal VOC数据集上的实验结果表明，SEAL在多种主动学习基准设置下均优于主流方法，表现出更高的检测精度。在RetinaNet on Pascal VOC基准上（20%标注数据），SEAL方法的mAP@0.5为72.4%，较当前最优方法提升0.8%；在RetinaNet on MS COCO基准上（10%标注数据），AP@［0.5：0.95］为23.9%，提升0.5%。结论本文提出的SEAL方法成功地利用了跨模态先验知识来优化主动学习中的样本选择过程。通过构建更鲁棒的不确定性度量和更具代表性的多样性度量，能够显著减少数据标注成本、提升模型学习效率。
Fields of Study & Subjects
Advanced Neural Network Applications
Domain Adaptation and Few-Shot Learning
Machine Learning and Algorithms
Publication details
- Journal / source
- Journal of Image and Graphics
- Volume
- 31
- Issue
- 10
- Pages
- 3722–3733
- Publication date
- 1 January 2026
- Language
- EN