课题基金 / 基金详情

基于RGB-D数据的个性化手势交互技术研究

批准号:
61502491
项目类别:
青年科学基金项目
资助金额:
21.0 万元
负责人:
万军
学科分类:
模式识别与数据挖掘
结题年份:
2018
批准年份:
2015
项目状态:
已结题
项目参与者:
闫俊杰、朱翔昱、文珑银、刘婷、杨阳、朱建清

项目摘要

结项摘要

项目成果

万军的其他基金

相似基金

相关文献

中文摘要
手势识别是人机交互的重要组成部分,具有广泛的应用场景和重要的研究意义。特别是近年来随着RGB-D相机(如Kinect)的发展,基于RGB-D数据的手势识别研究是当前手势识别中的一个研究热点。本项目围绕基于RGB-D数据的个性化手势交互技术进行研究,具体研究内容:(1)研究基于RGB-D数据的时空特征提取和视觉字典优化;(2)研究基于RGB-D数据的动态手势定位算法;(3)研究基于RGB-D数据的深度学习动态手势识别;(4)设计基于RGB-D数据的个性化手势交互模型。本项目的特色是从RGB-D数据入手,深入研究该数据下的手势识别,解决手势识别中的关键问题,并且注重基础理论研究,同时兼顾实际应用开发,为人机交互提供有力的基础理论和技术支撑。
英文摘要
Gesture recognition is an important branch of human computer interaction and it has been widely used in many applications. Owing to the RGB-D camera (e.g. Kinect) launched by different companies, gesture recognition based on RGB-D data has gained a lot of attentions in recent years. In this project, we focus on the personalized Gesture Interaction Technology from RGB-D Data. The main research contents are: (1) Research on the spatio-temporal feature extraction and visual dictionary optimization from RGB-D data; (2) Research on the temporal segmentation from RGB-D video streams; (3) Research on dynamic gesture recognition based on deep learning; (4) Design personalized gesture interaction systems based on RGB-D data. This project will focus on gesture recognition form RGB-D data, and solve the key technique problems of gesture recognition, such as spatio-temporal feature extraction, dictionary optimization, deep learning. And this project not only refers to the theoretical researches but also the application systems’ development, and provides the foundation theory and technical support of human computer interaction.
手势识别是人机交互的重要组成部分,具有广泛的应用场景和重要的研究意义。特别是近年来随着RGB-D相机(如Kinect,intel Realsense)的发展,基于RGB-D数据的手势识别研究是当前手势识别中的一个研究热点。本项目围绕基于RGB-D数据的手势交互技术进行研究,具体研究内容:(1)研究基于RGB-D数据的时空特征提取,提出了具有旋转、尺度不变性的时空特征算子 MFSK;(2)研究基于RGB-D数据的深度学习方法,提出了一致性投票策略算法,以及基于Ranking loss的多模态数据混合训练算法;(3)构建了两个大规模基于RGB-D数据的孤立和连续动态手势库IsoGD和ConGD,并且基于这两个数据库,在ICPR2016以及ICCV2017上举办了两次手势识别竞赛,已收到申请的高校和研究机构超过200余次,包括普渡大学,加州大学圣地亚哥分校,清华大学,北京大学,中科院等知名高校和研究机构。本项目从RGB-D视频数据入手,深入研究了该数据下的手势识别,解决手势识别中的关键问题,并且注重基础理论研究,同时兼顾实际应用开发,为人机交互提供有力的基础理论和技术支撑。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI: 10.1109/tpami.2017.2779808
发表时间: 2018-11
期刊: IEEE Transactions on Pattern Analysis and Machine Intelligence
影响因子: 23.6
作者: [Zichang Tan;Jun Wan;Zhen Lei;Ruicong Zhi;G. Guo;S. Li]
通讯作者: Zichang Tan;Jun Wan;Zhen Lei;Ruicong Zhi;G. Guo;S. Li
DOI: 10.1109/tcyb.2017.2741998
发表时间: 2018-01
期刊: IEEE Transactions on Cybernetics
影响因子: 11.8
作者: [Jun Wan;Zichang Tan;Zhen Lei;G. Guo;S. Li]
通讯作者: Jun Wan;Zichang Tan;Zhen Lei;G. Guo;S. Li
RGB-D-based human motion recognition with deep learning: A survey
基于 RGB-D 的深度学习人体运动识别:一项调查
DOI: 10.1016/j.cviu.2018.04.007
发表时间: 2018-06-01
期刊: COMPUTER VISION AND IMAGE UNDERSTANDING
影响因子: 4.5
作者: [Wang, Pichao, Li, Wanqing, Escalera, Sergio]
通讯作者: Escalera, Sergio
A Unified Framework for Multi-Modal Isolated Gesture Recognition
多模态孤立手势识别的统一框架
DOI: 10.1145/3131343
发表时间: 2018-04-01
期刊: ACM TRANSACTIONS ON MULTIMEDIA COMPUTING COMMUNICATIONS AND APPLICATIONS
影响因子: 5.1
作者: [Duan, Jiali, Wan, Jun, Li, Stan Z.]
通讯作者: Li, Stan Z.
共 9 条
    基于Gloss-free的手语翻译研究
    • 批准号:
      62476273
    • 项目类别:
      面上项目
    • 资助金额:
      49.00万元
    • 批准年份:
      2024
    • 负责人:
      万军
    • 依托单位:
    基于视频时空信息建模的人脸结构化分析
    • 批准号:
      61961160704
    • 项目类别:
      国际(地区)合作与交流项目
    • 资助金额:
      132万元
    • 批准年份:
      2019
    • 负责人:
      万军
    • 依托单位:
    多元人脸属性协同学习方法研究
    • 批准号:
      61876179
    • 项目类别:
      面上项目
    • 资助金额:
      62.0万元
    • 批准年份:
      2018
    • 负责人:
      万军
    • 依托单位:
    国内基金
    海外基金