融合频域引导的RGB-D轻量级语义分割网络

目的RGB-D语义分割通过融合RGB图像与深度图像的互补信息，能够有效提升复杂场景下的语义理解精度。然而，由于RGB与深度模态在特征表达上的本质差异，现有方法常依赖双编码器架构，导致特征对齐效率低、计算开销大，难以在模型性能与轻量化之间取得良好平衡。为此，提出一种融合频域引导的RGB-D轻量级语义分割网络，旨在提升跨模态特征融合效果并降低模型复杂度。方法构建融合Transformer与卷积神经网络（convolutional neural network，CNN）结构的RGB-D Block，通过全局注意力分支与局部卷积分支并行设计，兼顾长距离依赖建模与细节提取；设计频域引导提示适配器，通过傅里叶变换提取频谱能量以动态生成提示向量，并与查询特征融合以加强跨层语义对齐能力；设计频谱引导动态卷积模块，将特征划分为低、中、高频3个频段，通过门控机制融合多频特征与空间域提取特征，提升多尺度建模能力；构建多尺度频域代理注意力模块，利用上阶段的频谱特征生成动态代理向量，在低成本下实现高效的跨层全局建模。结果在RGB-D语义分割任务下的NYU Depth V2（New York University depth dataset V2）和SUN-RGBD（RGB-D scene understanding benchmark suite）数据集上，以不足主流方法一半的参数量分别实现了57.6%和52.8%的平均交并比；在RGB-L语义分割任务下的KITTI-360数据集上的实验进一步验证了对其他跨模态场景的鲁棒性。泛化测试中，模型在5个RGB-D显著目标检测数据集上于F-measure、E-measure、S-measure和平均绝对误差（mean absolute error，MAE）4项指标全面优于对比方法。此外，在NYU Depth V2上进行的消融实验也验证了各模块的独立价值与协同效益。结论提出一种频域引导的轻量级RGB-D感知框架，在多个关键模块中引入频域引导机制，统一构建频谱感知的提示学习、动态卷积与代理注意力路径，显著提升了RGB-D语义分割任务中的语义对齐能力、信息融合效率与模型部署适应性，为轻量化多模态感知网络的设计提供了新思路。