A cooperative system for dexterous soft manipulation
Abstract
灵巧柔性操作的高质量示教数据采集仍面临具身一致性不足、环境适应性有限以及对动态背景敏感等难题. 为此, 本文提出一种基于运动与抓取感知的机器人灵巧柔性操作接口系统(DexSo-UMI), 构建了软硬件协同的灵巧操作学习框架. 本文的主要创新包括:(1)硬件平台构建: 设计了一种集成柔性灵巧手、惯性测量单元(IMU)与广角相机的便携式手持示教装置, 可实现多模态同步采集及具身视角一致的数据获取;(2)运动感知视觉Transformer(Motion-Aware Variant of Vision Transformer, MV-ViT): 在视觉Transformer中引入时间残差信息, 增强模型在快速运动场景下的目标聚焦能力, 有效抑制动态背景干扰;(3)抓取感知网络(Grasping Net): 提取手–物体交互特征, 并与全局场景嵌入联合调节扩散策略学习, 实现对抓取状态的精准建模与生成. 在UR5及双臂机器人平台上的实验表明, 本文方法DexSo-UMI在抓取任务中的平均成功率达 82.4%, 较传统扩散策略学习(Diffusion Policy)方法提升 6.44%, 并在未知场景中保持较高的鲁棒性. 该系统兼具高性价比与视觉驱动的智能策略生成能力，为灵巧柔性操作的普及化和智能化提供了新思路.
Fields of Study & Subjects
Robot Manipulation and Learning
Soft Robotics and Applications
Reinforcement Learning in Robotics
Publication details
- Journal / source
- Scientia Sinica Technologica
- Volume
- 56
- Issue
- 8
- Pages
- 1985–1998
- Publication date
- 11 February 2026
- Language
- EN