A STADY ON THE UNIVERSAL ASSISTIVE TECHNOLOGY DEVICES TO DEVELOP COMMUNICABILITY OF THE PEOPLE WITH MENTAL RETARDETION, AUTISTIC DISORDER AND OTHER DISABILITIES

开发智力低下、自闭症和其他残疾人沟通能力的通用辅助技术设备的研究

• 批准号: 19300281
• 负责人: NAKABAYASHI Toshitaka
• 金额: $ 12.98万
• 依托单位: Kobe University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2009
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-19300281/
• 关键词: ヒューマン・インターフェイス; コミュニケーション; 知的障害; 自閉症; 構音障害; ユニバーサルデザイン; ヒューマン・インターファイス; 音声認識; VOCA

We investigated the effectiveness of the communication device "Picture aid" developed for the people with mental retardation and autistic disorder. On the other hand, we built an acoustic model for a person with articulation disorder and evaluated speech recognition in the task of operation for home information appliances by ECU. Further we investigated the multimodal speech recognition of them resulting from athetoid cerebral palsy. The articulation of speech tends to become unstable due to strain on speech-related muscles, and that causes degradation of speech recognition. Therefore, we use multiple acoustic frames as an acoustic feature to solve this problem. In addition to acoustic features, visual features are used to increase noise robustness in a real environment. However, there are recognition problems resulting from the tendency of those suffering from cerebral palsy to move their head erratically. So, we investigated a pose-robust audio-visual speech recognition method using an Active Appearance Model to solve this problem.

我们调查了为精神发育迟滞和自闭症患者开发的交流装置“图片助手”的有效性。另一方面，我们建立了一个发音障碍者的声学模型，并利用ECU对家庭信息家电操作任务中的语音识别进行了评估。此外，我们还研究了手足徐动症脑瘫患者的多模式语音识别。由于与语音相关的肌肉的紧张，语音的清晰度往往会变得不稳定，从而导致语音识别的退化。因此，我们使用多声学框架作为声学特征来解决这一问题。除了声学特征外，视觉特征还用于提高真实环境中的噪声稳健性。然而，由于脑瘫患者有不规律地移动头部的倾向，导致了认知问题。因此，我们研究了一种基于主动外观模型的姿态稳健的视听语音识别方法来解决这个问题。

项目成果

Integration of Metamodel and Acoustic Model for Speech Recognition

用于语音识别的元模型和声学模型的集成

• 发表时间: 2008
• 期刊: Interspeech
• 作者: Tetsuya Takiguchi;R. Takashima;Y. Ariki;Hironori Matsumasa
• 通讯作者: Hironori Matsumasa

子どもたちの話し言葉やコミュニケーションを育てる支援技術

支持培养儿童口语和沟通能力的技术

• 发表时间: 2007
• 作者: 中林稔堯;岸田大輔;石原洋
• 通讯作者: 石原洋

局所特徴量を用いた構音障害者の音声認識の検討

利用局部特征的构音障碍语音识别研究

• 发表时间: 2009
• 作者: Miller PJO;Biuw M;Watanabe YY;Thompson D;Fedak MA;飯島慈裕;宮本千琴
• 通讯作者: 宮本千琴

Nakabayashi PCA-Based Feature Extraction for Fluctuation in Speaking Style of Articulation

基于 Nakabayashi PCA 的发音发音风格波动特征提取

• 发表时间: 2007
• 作者: Hironori Matsumasa;Tetsuya Takiguchi;Yasuo Ariki;Ichao LI;Toshitaka
• 通讯作者: Toshitaka

脳性麻痺構音障害者の音声認識による情報家電操作の検討

脑瘫构音障碍患者语音识别信息家电操作研究

• 发表时间: 2007
• 作者: 勝川秀夫;川村早苗;中島清人;安松啓子;二ノ宮裕三;硲哲崇;松政宏典
• 通讯作者: 松政宏典