语义对齐与局部感知驱动的开放词汇语义分割
Abstract
目的面向具身智能与人形机器人等需在真实环境中即时感知与决策的系统，针对现有视觉—语言模型在像素级分割中常见的定位模糊及尺度、视角敏感性问题，提出一种无需像素级微调的推理范式，旨在在不改变预训练表征的前提下提升开放词汇语义分割的像素级判别质量与工程可用性。方法构建TG-CLIP框架，以冻结的CLIP为特征源，设计两类推理期算子以增强局部与跨尺度语义：一是文本引导的重校准机制，将文本查询作为条件信号对patch级表征进行语义性重构并回投；二是多视角一致性推理，通过重采样与镜像视角的结果融合来放大跨视角一致的预测信号。所有操作均在前向路径上完成，无需额外标注或网络微调。结果在八个公开基准上的评测显示，TG-CLIP的平均mIoU达45.5%，超越多个现有方法，比排名第二的ProxyCLIP（40.1%）高出4.4个百分点。定性对比实验进一步显示，TG-CLIP在复杂背景与细小结构处能更好地保留目标细节并减少误分割与漏分割，与定量结果相互印证。消融与超参数研究表明，两类算子可累积提升性能：文本引导重校准对温度参数表现出良好鲁棒性，多视角一致性推理在尺度与翻转策略上存在可量化的精度—效率权衡，推荐的部署配置在实用性上取得较好折中。结论TG-CLIP在保持视觉—语言模型零样本能力的前提下，通过两类轻量的推理算子实现了对像素级语义一致性与尺度、视角鲁棒性的显著改进，为免训练的开放词汇分割提供了一种易于部署且效果稳健的工程化方案。代码链接：https：//www.scidb.cn/s/7baeYf。
Fields of Study & Subjects
Multimodal Machine Learning Applications
Advanced Neural Network Applications
Domain Adaptation and Few-Shot Learning
Publication details
- Journal / source
- Journal of Image and Graphics
- Volume
- 31
- Issue
- 8
- Pages
- 2774–2784
- Publication date
- 1 January 2026
- Language
- EN