语义引导对比学习的SAR与光学图像转换

目的合成孔径雷达（synthetic aperture radar， SAR）与光学图像转换能够融合两种模态数据的优势，提供全天时、全天候与高分辨率的观测能力。然而，当前基于循环一致性生成对抗网络的方法主要侧重于图像结构的宏观重建，未能充分利用跨模态间的深层语义信息来指导图像生成，限制了生成图像的语义保真度和在下游任务中的性能。同时，现有基于对比学习的转换方法在处理遥感图像时，因同类地物特征高度自相关导致正负样本难以区分，造成对比机制失效。针对上述问题，提出了一种语义引导对比学习的SAR与光学图像转换方法。方法提出了基于语义分割的特征提取模块，利用预训练的SAR与光学语义分割模型提取像素级语义信息；提出了语义引导的对比学习模块，利用先验的语义分割信息，在对比学习空间中显式构建基于类别一致性的正负样本筛选机制，有效解决了遥感图像特征同质化导致的传统对比学习失效问题；设计了融合循环生成结构与对比学习的联合优化框架，通过引入循环语义分割损失与生成对抗损失，约束生成图像在结构、纹理和语义层面的一致性。结果实验在WHU-OPT-SAR和DDHRNet两个公开数据集上进行。实验结果表明，与当前最优方法相比，在SAR到光学及光学到SAR的图像转换任务中，生成质量指标分别最高提升了11.9%和3.8%；在下游任务中，语义分割准确率分别提升了16.29%和10.19%，特征匹配的正确内点比例最高提升了1%。消融实验研究表明，语义引导对比学习模块与循环语义分割损失对提升模型性能均起到关键作用。结论本文提出的语义引导对比学习的SAR与光学图像转换方法，能够有效解决传统对比学习在遥感图像转换中的失效问题，显著提升了生成图像的语义保真度与跨模态特征对齐能力，在下游语义分割和图像匹配任务中取得了最优的综合性能，为无监督SAR与光学图像转换提供了新的解决思路。本文代码开源在链接：https：//www.scidb.cn/s/VVVBnu。