基于第一视角的物体抓取全身动作生成
Summary
No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.
Summarise with VIRAT Free to try with your Science Catalogs account.Abstract
目的本文的目的是实现基于第一视角 RGB 图像的人体抓取动作序列自回归生成,该任务在智能机器人、虚拟现实等领域中具有重要的应用意义。该任务的挑战在于其输入缺乏物体三维模型,需要仅依赖第一视角图像推理出自然与合理的抓取动作。方法本文提出了一种融合多模态信息的 Vision Transformer 架构,通过 DinoV2 提取富含语义的视觉特征,替代传统分块输入,同时编码动作姿态与视线方向,实现视觉与运动信息的深度融合。模型借助 Transformer 的多头自注意力机制建模全局上下文,同时引入预测最终抓取姿态和手部接触标签的辅助任务,通过复合损失函数优化训练。结果在公开数据集 GRAB 上的对比实验表明,本文方法在抓取姿态合理性上优势显著。抓取成功率达到了53.33%,大幅领先基线方法(12.12%)。在整体运动质量方面,本文方法在保持较高不穿模率(96.42%)的同时,有效抑制了动作抖动与脚步滑动。结论本文针对第一视角 RGB 图像下人体抓取动作序列自回归生成的难题,提出了融合多模态信息的 Vision Transformer 架构,有效解决了缺乏三维模型下动作生成的精确性与物理合理性问题。
Fields of Study & Subjects
Human Motion and Animation
Robot Manipulation and Learning
3D Shape Modeling and Analysis
Publication details
- Journal / source
- Journal of Image and Graphics
- Volume
- 0
- Issue
- 0
- Pages
- 1–14
- Publication date
- 1 January 2026
- Language
- EN