Subunit modeling for Japanese sign language recognition based on stochastic model

基于随机模型的日语手语识别子单元建模

• 批准号: 22500506
• 负责人: KITAMURA Tadashi
• 金额: $ 2.75万
• 依托单位: Nagoya Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2010
• 资助国家: 日本
• 起止时间: 2010 至 2012
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22500506/
• 关键词: ヒューマンインターフェース; 手話認識; 手話動作サブユニット; 連続手話認識; 隠れマルコフモデル; 手話データベース; TOF カメラ; 音韻構造; クラスタリング

In this study, an important issue for modeling sign is that how to determine the constituent element of sign (i.e., subunit) like "phoneme" in spoken language. We focused on special feature of sign language that Japanese sign language is composed of three types of phonological elements which is hand local information, position, and movement. In this paper, we propose an efficiently method of generating subunit using multi-stream HMM which is correspond to phonological elements. 100 and 307 isolated sign recognition experiment has confirmed the effectiveness of our proposed method.

在本研究中，符号建模的一个重要问题是如何确定符号的构成元素（即，亚单位），如口语中的“音素”。本文着重分析了日本手语的特点，即手语由手的局部信息、位置和动作三种语音要素构成。本文提出了一种利用多流隐马尔可夫模型生成对应于语音成分的子单元的有效方法。100和307孤立标志识别实验证实了我们提出的方法的有效性。

项目成果

HMM-based Sign Recognition in Consideration of Motion Diversity

考虑运动多样性的基于HMM的符号识别

• 发表时间: 2010
• 期刊: Proc.of 4th International Universal Communication Symposium (IUCS2010)
• 作者: Koki Ariga;Shinji Sako;Tadashi Kitamura
• 通讯作者: Tadashi Kitamura

TOF カメラによる手話の言語的特性を考慮した手話認識

考虑手语语言特征的TOF相机手语识别

• 发表时间: 2013
• 作者: 櫻井聡;千島亮;大原愼二;小山 智己，酒向 慎司，北村 正
• 通讯作者: 小山 智己，酒向 慎司，北村 正

3次元データベースを用いたHMM手話認識

使用3D数据库的HMM手语识别

• 发表时间: 2011
• 作者: 森口拓哉;酒向慎司;北村正
• 通讯作者: 北村正

3次元データベース を用いたHMM手話認識

使用3D数据库的HMM手语识别

• 发表时间: 2011
• 作者: Satoru Hayamizu;Tadahiro Matsumoto;Satoshi Tamura;Shinichi Takeuchi;森口,酒向,北村
• 通讯作者: 森口,酒向,北村

TOFカメラによる3次元情報を用いた手話認識に関する検討

利用TOF相机利用3D信息进行手语识别的研究

• 发表时间: 2012
• 作者: 森口拓哉;酒向慎司;北村正
• 通讯作者: 北村正