实时深度图像人手位姿估计方法及其稳定性分析
结题报告
批准号:
61876170
项目类别:
面上项目
资助金额:
62.0 万元
负责人:
徐迟
学科分类:
F0604.机器感知与机器视觉
结题年份:
2022
批准年份:
2018
项目状态:
已结题
项目参与者:
李勇波、李玉清、关泽彪、洪鑫、蔡文迪、赵涛、饶靖
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
实时深度图像人手位姿估计是近年来发展起来的一个新的计算机视觉方向,所指的是实时的从单幅深度图像(或序列图像)中识别人手并估计人手的全自由度三维位姿。由于人手结构复杂、关节自遮挡严重,常出现歧义位姿现象,位姿估计的稳定性难以保证。本项目针对人手位姿估计的稳定性问题,首先,探讨深度图像噪音与歧义位姿现象对位姿估计稳定性的影响规律及失稳机制;然后,分析稳定求解人手位姿的可行条件,研究在深度学习框架下结合李群流形理论提出新的人手位姿估计方法,提高位姿估计的稳定性;最后,在面向智能下肢康复机器人的人机交互应用中验证本项目所提出的方法的有效性。研究成果可以有效的帮助机器像人一样用视觉方式感知人手的动作并理解用户的意图,在医疗卫生、智能机器人、辅助驾驶等领域有广阔的应用前景,具有重要的理论意义与应用价值。
英文摘要
The project aims at real-time hand pose estimation from depth images which is a new research topic that has emerged in recent 7 years. The bottleneck of this technology is instability problem because of the complex structure of human hand and the ambiguous pose occurred. Firstly, we investigate how the ambiguous pose and depth image noise affect the stability of pose estimation. Secondly, we analyze the feasible conditions for steady estimating hand pose, and a new pose estimation method will be developed based on Lie group manifold theory and deep learning framework. Finally, the proposed method will be verified in an Intelligent lower limb rehabilitation robot application. The outcome of this research will help machine understand human hand actions and intentions as human does, which could be wildly applied in many fields such as medical care, intelligent robot, and assistance driving. Therefore, it has important theoretic and practical value.
本项目针对实时深度图像人手位姿估计问题,从深度图像噪音与歧义位姿现象这两个关键点入手对人手位姿估计的稳定性展开研究。首先,研究了深度相机图像噪音形成的物理机制,通过大量有噪音的真实人手深度图像和无噪音的合成人手学习点云失真的规律,实现低成本合成大量带有随机噪音的人手深度图像;然后,分析了歧义位姿失稳现象,构建了基于Transformer的深度模型预测歧义关节点位置的概率分布,并根据所求得概率分布的特点判定是否存在歧义位姿;接着,结合深度学习框架并利用物理运动的时空连续性,设计了能求解单幅图像位姿概率分布和序列图像连续动态位姿的方法;最后,搭建了面向智能下肢康复的人机交互实验平台,对所提出方法的有效性进行了验证。本项目取得了一系列研究成果,共发表学术论文15篇,其中SCI收录JCR二区论文5篇,EI收录国际会议论文10篇,获得发明专利3项,软件著作权1项,培养了2名博士研究生,10名硕士研究生,其中6名已经获得硕士学位。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Robust 3D Hand Detection from a Single RGB-D Image in Unconstrained Environments.
在不受约束的环境中通过单个 RGB-D 图像进行稳健的 3D 手部检测
DOI:10.3390/s20216360
发表时间:2020-11-07
期刊:Sensors (Basel, Switzerland)
影响因子:--
作者:Xu C;Zhou J;Cai W;Jiang Y;Li Y;Liu Y
通讯作者:Liu Y
Accurate Hand Detection from Single-Color Images by Reconstructing Hand Appearances
通过重建手部外观从单色图像中准确检测手部
DOI:10.3390/s20010192
发表时间:2020-01-01
期刊:SENSORS
影响因子:3.9
作者:Xu, Chi;Cai, Wendi;Wei, Longsheng
通讯作者:Wei, Longsheng
Synthesizing Depth Hand Images with GANs and Style Transfer for Hand Pose Estimation
使用 GAN 和风格迁移合成深度手部图像以进行手部姿势估计
DOI:10.3390/s19132919
发表时间:2019-07-01
期刊:SENSORS
影响因子:3.9
作者:He, Wangyong;Xie, Zhongzhao;Cai, Wendi
通讯作者:Cai, Wendi
DOI:10.3390/s21031007
发表时间:2021-02-02
期刊:Sensors (Basel, Switzerland)
影响因子:--
作者:Xu C;Jiang Y;Zhou J;Liu Y
通讯作者:Liu Y
6DoF Pose Estimation of Transparent Object from a Single RGB-D Image.
从单个 RGB-D 图像中进行透明物体的 6DoF 位姿估计
DOI:10.3390/s20236790
发表时间:2020-11-27
期刊:Sensors (Basel, Switzerland)
影响因子:--
作者:Xu C;Chen J;Yao M;Zhou J;Zhang L;Liu Y
通讯作者:Liu Y
融合透视投影几何与深度学习的多关节体三维位姿求解稳定性分析
  • 批准号:
    62273318
  • 项目类别:
    面上项目
  • 资助金额:
    53万元
  • 批准年份:
    2022
  • 负责人:
    徐迟
  • 依托单位:
国内基金
海外基金