Statistical Approach to Real-time Estimation of Shape and Pose of Hand and Fingers in Image Sequence
图像序列中手和手指形状和姿势实时估计的统计方法
基本信息
- 批准号:17500126
- 负责人:
- 金额:$ 1.09万
- 依托单位:
- 依托单位国家:日本
- 项目类别:Grant-in-Aid for Scientific Research (C)
- 财政年份:2005
- 资助国家:日本
- 起止时间:2005 至 2006
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
We propose a new approach to hand tracking and 3D motion capture of hand and fingers. This new motion capture system does not require markers be attached to hands.A hand has many joints. To reduce computational complexity, we propose to reduce dimensionality applying Independent component analysis to the joint angle data collected by a data glove, and as a result the hand shape can be represented by only 5 parameters.Another problem with hand tracking is that when a hand undergoes free motion, self-occlusion occurs frequently. To solve this problem, we use multiple calibrated cameras. With multiple viewpoints, parts that are not visible to one camera can still be visible to other cameras.For each image, we try to estimate the 5 parameters representing hand shape and the 6 parameters for hand position and pose (3 for rotation and 3 for translation). These parameters are determined to maximize overlapping between the input image and the back-projected 3D hand model. The optimum is searched using particle filtering, which is robust to local optimum.The effectiveness of this approach is proved by testing the program to real image sequences with the hand rotating and deforming freely. Experimental results show that the system is robust against occlusion.However, particle filtering is time-consuming and the system does not work in real-time yet.
我们提出了一种手部跟踪和手部和手指三维运动捕捉的新方法。这种新的动作捕捉系统不需要在手上安装标记。一只手有许多关节。为了降低计算复杂度,我们提出对数据手套采集的关节角度数据采用独立分量分析进行降维,使得手形可以只用5个参数表示。手部跟踪的另一个问题是,当手进行自由运动时,经常会发生自遮挡。为了解决这个问题,我们使用了多个校准相机。有了多个视点,一个摄像机看不到的部分仍然可以在其他摄像机上看到。对于每张图像,我们尝试估计代表手部形状的5个参数和手部位置和姿势的6个参数(3个用于旋转,3个用于平移)。这些参数的确定是为了最大化输入图像和反向投影的3D手部模型之间的重叠。采用粒子滤波方法搜索最优解,对局部最优解具有较强的鲁棒性。通过对实际图像序列进行手部自由旋转和变形的测试,证明了该方法的有效性。实验结果表明,该系统具有较强的抗遮挡能力。然而,粒子滤波是耗时的,系统还不能实时工作。
项目成果
期刊论文数量(13)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Separation of Reflection Components by Kernel Independent Component Analysis
通过内核独立分量分析分离反射分量
- DOI:
- 发表时间:2006
- 期刊:
- 影响因子:0
- 作者:Masaki Yamazaki;Yen-Wei Chen;Gang Xu
- 通讯作者:Gang Xu
Moving Object Detection using Independent Component Analysis
使用独立分量分析进行移动物体检测
- DOI:
- 发表时间:2006
- 期刊:
- 影响因子:0
- 作者:Masaki Yamazaki;Gang Xu;Yen-Wei Chen
- 通讯作者:Yen-Wei Chen
Articulated Hand Motion Tracking Using ICA-based Motion Analysis and Particle Filtering
使用基于 ICA 的运动分析和粒子过滤进行关节式手部运动跟踪
- DOI:
- 发表时间:2006
- 期刊:
- 影响因子:0
- 作者:Makoto Kato;Yen-Wei Chen;Gang Xu
- 通讯作者:Gang Xu
Articulated hand tracking by PCA-ICA approach
- DOI:10.1109/fgr.2006.21
- 发表时间:2006-04
- 期刊:
- 影响因子:0
- 作者:Makoto Kato;Yenwei Chen;Gang Xu
- 通讯作者:Makoto Kato;Yenwei Chen;Gang Xu
Occlusion-Free Hand Motion Tracking by Multiple Cameras and Particle Filtering with Prediction
通过多个摄像头进行无遮挡手部运动跟踪以及具有预测功能的粒子过滤
- DOI:
- 发表时间:2006
- 期刊:
- 影响因子:0
- 作者:Makoto Kato;Gang Xu
- 通讯作者:Gang Xu
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
XU Gang其他文献
青鳉DMY基因的克隆及其在性别鉴定中的应用
- DOI:
- 发表时间:
- 期刊:
- 影响因子:0
- 作者:
杨明;WU Ming-hong;王昆鹏;张玉颖;徐刚;吴明红;YANG Ming;WANG Kun-peng;ZHANG Yu-ying;XU Gang - 通讯作者:
XU Gang
高分辨率近地表速度模型重建及在静校正中应用
- DOI:
- 发表时间:
- 期刊:
- 影响因子:0
- 作者:
孙维昭;SUN Wei-zhao;ZHAO Jian-zhang;张进铎;ZHANG Jin-duo;XU Gang;徐刚;谷跃民;GU Yue-ming;赵建章 - 通讯作者:
赵建章
Suppression of the emittance growth induced by coherent synchrotron radiation in triple-bend achromats
三弯消色差透镜中相干同步加速器辐射引起的发射度增长的抑制
- DOI:
10.1088/1674-1137/39/5/057001 - 发表时间:
2015 - 期刊:
- 影响因子:3.6
- 作者:
HUANG Xi-Yang;JIAO Yi;XU Gang;CUI Xiao-Hao - 通讯作者:
CUI Xiao-Hao
结构-活性关系对氯代多环芳烃性质的预测
- DOI:
- 发表时间:
- 期刊:
- 影响因子:0
- 作者:
马静;CHENG Jin-ping;吴明红;徐刚;王文华;程金平;MA Jing;WU Ming-hong;XU Gang;WANG Wen-hua - 通讯作者:
WANG Wen-hua
Verifiable Multi-Party Universal Blind Quantum Computing in Distributed Networks
分布式网络中可验证的多方通用盲量子计算
- DOI:
10.1049/cje.2021.05.013 - 发表时间:
2021 - 期刊:
- 影响因子:1.2
- 作者:
SHAN Ruiting;CHEN Xiubo;XU Gang;DOU Zhao;L Zongpeng I;MIAO Lihua;YANG Yixian - 通讯作者:
YANG Yixian
XU Gang的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('XU Gang', 18)}}的其他基金
Research and Development of Realtime 3D Reconstruction of Field Ball Games for Training and Game Analysis
用于训练和比赛分析的场地球类比赛实时 3D 重建的研究与开发
- 批准号:
23500232 - 财政年份:2011
- 资助金额:
$ 1.09万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
3D Measurement of Specular Surfaces by Stereo Cameras and Display
通过立体相机和显示器对镜面进行 3D 测量
- 批准号:
20500170 - 财政年份:2008
- 资助金额:
$ 1.09万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
相似海外基金
WORKSHOP: Doctoral Consortium at the International Conference on Automatic Face and Gesture Recognition
研讨会:自动人脸和手势识别国际会议上的博士联盟
- 批准号:
2315559 - 财政年份:2022
- 资助金额:
$ 1.09万 - 项目类别:
Standard Grant
WORKSHOP: Doctoral Consortium at the International Conference on Automatic Face and Gesture Recognition
研讨会:自动人脸和手势识别国际会议上的博士联盟
- 批准号:
2026967 - 财政年份:2020
- 资助金额:
$ 1.09万 - 项目类别:
Standard Grant
3D gesture recognition interface with millimeter wave radar
毫米波雷达3D手势识别接口
- 批准号:
543146-2019 - 财政年份:2019
- 资助金额:
$ 1.09万 - 项目类别:
Alexander Graham Bell Canada Graduate Scholarships - Master's
Visual speech and facial gesture recognition for children with CP and complex communication needs
针对脑瘫和复杂沟通需求的儿童的视觉语音和面部手势识别
- 批准号:
525729-2018 - 财政年份:2018
- 资助金额:
$ 1.09万 - 项目类别:
University Undergraduate Student Research Awards
WORKSHOP: Doctoral Consortium at the IEEE International Conference on Automatic Face and Gesture Recognition (FG 2018)
研讨会:博士联盟在 IEEE 自动人脸和手势识别国际会议 (FG 2018)
- 批准号:
1829167 - 财政年份:2018
- 资助金额:
$ 1.09万 - 项目类别:
Standard Grant
Custom Gesture Recognition Solution
定制手势识别解决方案
- 批准号:
530410-2018 - 财政年份:2018
- 资助金额:
$ 1.09万 - 项目类别:
Applied Research and Development Grants - Level 1
Eye-gaze gesture recognition using images of the lateral view of the eye
使用眼睛侧面图像的眼睛注视手势识别
- 批准号:
17K01594 - 财政年份:2017
- 资助金额:
$ 1.09万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
CRII: CSR: Pervasive Gesture Recognition Using Ambient Light
CRII:CSR:使用环境光进行普遍手势识别
- 批准号:
1565609 - 财政年份:2016
- 资助金额:
$ 1.09万 - 项目类别:
Standard Grant
Gesture Recognition for Automotive Applications (GRAAppl)
汽车应用手势识别 (GRAAppl)
- 批准号:
132057 - 财政年份:2016
- 资助金额:
$ 1.09万 - 项目类别:
Feasibility Studies
Posture and Gesture Recognition for Wireless Musical Gloves
无线音乐手套的姿势和手势识别
- 批准号:
132056 - 财政年份:2015
- 资助金额:
$ 1.09万 - 项目类别:
Feasibility Studies