双模态360度全景图像显著目标检测网络
Abstract
目的显著目标检测（SOD）旨在模拟人类视觉注意力机制，从图像或视频中识别并分割最显著的物体。尽管基于深度学习的2D SOD已取得显著进展，但面向360°全景图像的SOD因球面投影畸变和边界不连续性等问题，面临独特挑战。与此同时，虽然深度信息在2D RGB-D SOD中被证明能增强几何推理能力，但由于模态对齐困难、噪声敏感性以及缺乏针对ERP畸变的融合框架，其在360°SOD中的应用仍探索不足。方法本文提出一种新颖的非对称双分支U-Net网络用于RGB-D 360°SOD。该网络包含全景感知感受野模块（panoramic-aware receptive field module，PA-RFM）、注意力引导融合模块（attention-guided fusion module，AFM）和跨模态引导协同解码策略。PA-RFM通过经度-纬度-全局三重注意力机制缓解投影畸变，AFM实现自适应跨模态特征融合，有效利用深度信息，跨模态引导协同解码策略利用高分辨率RGB解码细节提升边界恢复精度。结果在两个基准数据集（360-SOD和360-SSOD）上的大量主客观实验表明，本文方法性能优于现有10种代表性RGB-D 2D SOD先进方法和7种代表性 RGB 360°SOD先进方法，在360-SOD数据集中，相比于性能第2的模型，MAE 降低了 13.7%，max-F 提升 4.86%，mean-F 提升 3.24%，S_m 提升 1.96%，同时也在360-SSOD数据集中展示竞争优势。结论本文提出的面向360°全景图像显著性检测的RGB-D网络，通过PA-RFM、AFM和跨模态协同解码三大模块协同优化，显著提升了检测精度与鲁棒性，同时验证了深度信息在360°SOD中的有效性与潜力。
Fields of Study & Subjects
Visual Attention and Saliency Detection
Advanced Neural Network Applications
Advanced Vision and Imaging
Publication details
- Journal / source
- Journal of Image and Graphics
- Volume
- 31
- Issue
- 10
- Pages
- 3618–3635
- Publication date
- 1 January 2026
- Language
- EN