非空间配准的多模态目标检测决策融合策略

目的多模态目标检测通过融合红外与可见光等多源传感器数据，有效提升了模型在复杂环境下的检测精度与鲁棒性。然而，现有方法普遍基于严格配准的多模态数据开展研究，不能直接适配实际应用中不同模态相机得到的非空间配准图像，在图像输入算法前仍需完成配准，这损失了实时性和灵活性。为此，提出一种非空间配准条件下的多模态目标检测任务，并设计了一种非空间配准的多模态目标检测决策融合方法。在数据层面，利用3种公共数据集模拟双光载荷拍摄得到的非空间配准图像对，在不引入额外标注成本的前提下，为新的任务提供了基准数据。在算法层面，设计了一种基于图结构的非空间配准决策融合方法。方法首先，根据不同模态检测器的检测结果构建带权有向图，实现不同模态目标的图结构化表示；接着，利用图结构中目标间的相对位置关系，实现跨模态目标的自适应匹配；最终，对匹配成功的目标进行决策融合，并设计了模态迁移策略以实现多模态信息的高效互补。结果在3个数据集上的实验结果表明，本文方法在非空间配准场景下较单模态检测器实现了最大10.03%的漏检率降幅。同时，该方法在配准数据集上同样适用，相较于多光谱行人检测Transformer（multi spectral pedestrian detection Transformer，MS-DETR）、动态自适应多光谱检测Transformer（dynamic adaptive multispectral detection Transformer，DAMSDet）等先进多模态目标检测方法，检测准确率提升了6.8%。结论本文所提出的非空间配准多模态目标检测决策融合方法，能够很好地适应存在空间差异的实际场景，并且相比其他先进的多模态目标检测模型，有更高的准确率和鲁棒性。相关的代码与数据集将在此仓库公开：https://github.com/1e12Leon/ProbDet。