Intelligent Support System for Learning Sign Language with Video

视频手语学习智能辅助系统

• 批准号: 16500616
• 负责人: TANAKA Kazumoto
• 金额: $ 1.09万
• 依托单位: Kinki University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-16500616/
• 关键词: Sign Language; Key Feature; Feature Extraction; Image Distortion; Self Information; Path-Searching Method; Human Memory Processes; Memory Strategy; 歪み補正; 形状関数; 短期記憶; カラートラッキング; オプティカルフロー; 固有空間法; フーリエ記述子; 調動; 音韻; 文字列照合アルゴリズム

1.A Method for Extraction and Modeling of Key Features in Sign Language Words(1)Feature Extraction from Sign Language VideoWe have developed a method for analyzing hand motions and finger shapes by color-tracking of colored fingerstalls, thumbstalls and wrist bands that are attached to a sign language speaker. The method extracts principal component flow vectors as key features using eigenspace method. Next, our method cancels harmonic contents of flow vectors by using fourier descriptor. In addition, the method can correct image distortion occurred by filming with wide-range lens.(2)Feature Modeling and Key Feature Extraction Based on Self InformationWe expressed sign features by motion phonemes and finger shape phonemes. Next, we have proposed a method that extracts key features based on self information of each feature within sign feature database.2.Feature Matching MethodWe classify motion errors of sign language learners into two levels in terms of the error seriousness, and propose an feature matching method for each level by using path-searching. Our method employs extended standard motion features that include error features deformed slightly. Owing to the employment, our detection system extracts motion errors and determines their level simultaneously for realizing real-time error feedback.3.Leaning Control MethodWe propose a memory strategy by phased learning of key features in terms of feature importance and human memory processes. By an experiment of learning sign words, we show that our method is effective in long-term memorizing of the words.

1.一种手语单词关键特征的提取和建模方法（1）手语视频特征提取我们开发了一种通过对附着在手语说话者身上的彩色指套、拇指套和腕带进行颜色跟踪来分析手部运动和手指形状的方法。该方法利用特征空间方法提取主分量流矢量作为关键特征。其次，我们的方法通过使用傅立叶描述子来消除流向量的谐波成分。此外，该方法还可以校正由于使用宽范围透镜拍摄而产生的图像失真。（2）基于自身信息的特征建模与关键特征提取我们用运动音素和手指形状音素来表示手势特征。其次，提出了一种基于手语特征库中每个特征自身信息的关键特征提取方法。2.特征匹配方法根据手语学习者的动作错误严重程度将其分为两个层次，并针对每一层次提出了一种基于路径搜索的特征匹配方法。我们的方法采用扩展的标准运动特征，包括轻微变形的错误特征。由于采用了这种方法，我们的检测系统可以同时提取运动错误并确定其级别，从而实现实时的错误反馈。3.学习控制方法根据特征重要性和人类记忆过程，提出了一种分阶段学习关键特征的记忆策略。通过一个学习手语的实验，我们证明了我们的方法是有效的长期记忆的单词。

项目成果

Learning Support Method of Sign Language Words Focusing on Key Motion Feature

以关键动作特征为重点的手语单词学习支持方法

• 发表时间: 2005
• 期刊: IEICE Technical Report ET2005-37 Vol.105, No.298
• 作者: 田中一基;田中一基;田中一基;Kazumoto Tanaka;Kazumoto Tanaka
• 通讯作者: Kazumoto Tanaka

Gesture Recognition Based on a Path Searching Method in Weighted Graphs for Focusing on Important Action

基于加权图路径搜索方法的手势识别关注重要动作

• 发表时间: 2004
• 期刊: Proc. of the 4th International Conference on Computer and Information Technology
• 作者: 田中一基;田中一基;田中一基;Kazumoto Tanaka;Kazumoto Tanaka;Kazumoto Tanaka;田中一基;田中一基 他;K.Tanaka;K.Tanaka
• 通讯作者: K.Tanaka

手話学習支援のための動作解析法

支持手语学习的运动分析方法

• 发表时间: 2005
• 期刊: 教育システム情報学会研究報告 Vo1.19 No.5
• 作者: 田中一基;田中一基;田中一基
• 通讯作者: 田中一基

Error Motion Detection Method for Learning Sign Language with Video

通过视频学习手语的错误运动检测方法

• 发表时间: 2004
• 期刊: The Journal of Information and Systems in Education Vol.3 No.1
• 作者: 田中一基;田中一基;田中一基;Kazumoto Tanaka;Kazumoto Tanaka;Kazumoto Tanaka;田中一基;田中一基 他;K.Tanaka
• 通讯作者: K.Tanaka

特徴的動作に注目した手話単語学習支援

重点关注特征动作的手语单词学习支持

• 发表时间: 2005
• 期刊: 電子情報通信学会技術研究報告 Vol.105 No.298
• 作者: 田中一基;田中一基
• 通讯作者: 田中一基