视觉语言模型驱动的目标计数

目的大型视觉语言模型的进展给解决基于文本提示的目标计数问题带来新的思路。然而，现有方法仍面临类别语义错位与解码器架构局限两大挑战。前者导致模型易将相似背景或无关类别误检为目标，后者依赖单一卷积神经网络（convolutional neural network，CNN）架构的局部特征提取，可能引发全局语义与局部细节的割裂，严重制约复杂场景下的计数鲁棒性。针对上述问题，提出跨分支协作对齐网络（cross-branch cooperative alignment network，CANet）。方法其核心包括：1）双分支解码器架构：通过并行Transformer分支（建模全局上下文依赖）与CNN分支（提取细粒度局部特征），结合信息互馈模块实现跨分支的特征交互和密度图预测；2）视觉—文本类别对齐损失：通过约束图像与文本特征的跨模态对齐，迫使模型区分目标与干扰语义，实现对类别的准确检测。结果在5个基准数据集上与先进的4种基于文本的目标计数方法进行比较实验。在FSC-147（few-shot counting-147）数据集上， CANet相较于性能第2的模型，在测试集上的平均绝对误差（mean absolute error，MAE）和均方根误差（root mean squared error，RMSE）分别降低1.22和8.45；在CARPK（car parking lot dataset）和PUCPR+（Pontifical Catholic University of Parana+ dataset）数据集的交叉验证实验上，相较于性能第2的模型，MAE分别降低0.08和3.58；在SHA（ShanghaiTech part-A）和SHB（ShanghaiTech part-B）数据集的交叉验证实验上，相较于性能第2的模型，MAE分别降低了47.0和9.8。同时也在FSC-147数据集上进行丰富的消融实验以验证算法的有效性，消融实验结果表明提出的方法针对两个问题做出了有效改进。结论本文方法能够解决现有方法所面临的两个问题，使计数结果更加准确。本文方法在4个数据集的交叉验证实验均取得SOTA（state-of-the-art）的性能，表明了CANet在零样本目标计数任务中的强大泛化能力。