Research on the non-uttering human interface between multiplelanguages using lips movements

利用嘴唇运动研究多种语言之间的非言语人机界面

• 批准号: 22500112
• 负责人: YAMADA Mitsuho
• 金额: $ 2.83万
• 依托单位: Tokai University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2010
• 资助国家: 日本
• 起止时间: 2010 至 2012
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22500112/
• 关键词: ヒューマンインターフェイス; 発話認識; ヒューマンインタフェース; 口唇検出; 口唇動作履歴; パワースペクトル; 日本語母音認識; 英語母音認識; 音声認識; 発話訓練

We found robustness of word recognition by lip movement without audible utterance, not only between the words of different speakers but also between the utterances of the same speaker at different times or on different days. Furthermore, we showed the effectiveness of lip movement for the recognition of the railway station names. Moreover, no matter whether a native English speaker or Japanese person spoke, recognition of the same English word was possible. We also developed a system which can beautomatically performed, from acquisition of lip movements when uttering the word to recognition of the uttered word, and showed the feasibility of the non-uttering human interface in various languages.

我们发现，不仅在不同说话人之间，而且在同一说话人在不同时间或不同日期的说话人之间，通过嘴唇运动进行单词识别都具有稳健性。此外，我们还展示了嘴唇运动对铁路站名识别的有效性。此外，无论是以英语为母语的人还是日本人说，都有可能识别相同的英语单词。我们还开发了一个可以自动执行的系统，从发出单词时获取嘴唇动作到识别发出的单词，并展示了不同语言的非发声人机界面的可行性。

项目成果

口唇動作による発声認識システムの検討

基于嘴唇运动的语音识别系统研究

• 发表时间: 2012
• 作者: Yuji Nakamura;Minoru Uehara;大城政人
• 通讯作者: 大城政人

発声時の口唇動作スペクトルによるイギリス英語母音認識法の提案

提出一种利用发声过程中唇部运动谱识别英式英语元音的方法

• 发表时间: 2010
• 作者: Tomoo Inoue; Yosuke Matsusaka;尾上拓
• 通讯作者: 尾上拓

口唇動作を用いた発話認識の汎用性の検討～駅名認識への取り組み～

使用嘴唇运动检查语音识别的多功能性 - 车站名称识别方法 -

• 发表时间: 2011
• 作者: 大城政人;新川達矢;笠原篤之;尾上拓;山田光穗;Minoru Uehara;Tomoo Inoue;尾上拓;Minoru Uehara;井上智雄;笠原篤之
• 通讯作者: 笠原篤之

Utterance recognition using lip movements

使用嘴唇运动进行言语识别

• 发表时间: 2013
• 作者: Eiki Wakamatsu;Kei Kikuchi;Tatsuya Shinkawa;Masato Ohshiro;Mitsuho Yamada
• 通讯作者: Mitsuho Yamada

口唇動作による駅名認識の有効性の検討

检查使用嘴唇运动进行站名识别的有效性

• 发表时间: 2012
• 作者: 大城政人;新川達矢;笠原篤之;尾上拓;山田光穗
• 通讯作者: 山田光穗