权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

聴覚障がい者の発話不明瞭要因の解明と発話ロボットによる対話型発話訓練の提案

阐明听障人士言语不清的原因以及使用说话机器人进行交互式言语训练的建议

基本信息

批准号：
10J10539
负责人：
木谷光来
金额：
$ 1.34万
依托单位：
Kagawa University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2010
资助国家：
日本
起止时间：
2010 至 2012
项目状态：
已结题

项目摘要

前年度までに構築をおこなってきたDual-SOMを用いて、ロボットは日本語5母音を自律的に獲得することができるようになった。次の段階として子音の獲得方法について検討した。破裂子音の場合、発話時間が短く、聴覚フィードバックによる学習は困難である。そこで、画像情報による子音の獲得手法について検討した。人がカメラの前で破裂子音の発話動作をおこない、画像処理により口の領域を抽出する。ロボットは、口の領域をもとに発話動作をおこなう。領域抽出には、Haar-like特徴量を用いた。顔の部品位置に関する知識を利用し、口周囲の画像を得る。そして、口領域のHaar-1ike特徴量を用いて口位置を取得する。次に、輝度値を基に口の開放量を得る。ロボットに人の破裂子音の発話動作を再現させた結果、画像により人の発話動作の模倣は可能となったが、生成音声については、課題が残る結果となった。この問題は、破裂子音を生成する際のモータの速度が原因である。ロボットの発話は人と比較すると、10倍以上の差があることが分かった。この問題を解決するためには、既存のモータをより高速に動作するものに変更する必要がある。次に、発話ロボットとDual-SOMを用いた、聴覚障がい者のための発話訓練装置の構築を行った。訓練者がマイクロフォンに対して発話を行うと、音声の特徴が抽出され、ロボットが訓練者の口内形状を再現する。Dual-SOMを用いてロボットは入力音声と声道形状の対応関係を学習しているため、健聴者の発話により再現されたロボットの声道形状と訓練者の発話により再現された形状の差を、訓練者に対して視覚的に呈示可能である。同時にノートPCの画面上の特徴マップには健聴者と訓練者の発話により抽出された音響特徴量の違いが、マップ上の距離として再現されている。訓練者は、自身の音響特徴量が健聴者の特徴量が埋め込まれている領域に近づくように、またロボットにより再現された口内形状が健聴者のものに近づくように注意しながら、視覚的に訓練を行っていく。香川県立聾学校において、17名の学生に対して発話訓練実験をおこなった。結果として、12名が健聴者と同じ発話動作を獲得することができた。また、残りの5名についても発話の明瞭度の向上が見られた。"

In the past year, the construction of dual-SOM was carried out in the middle of the Japanese language, and the vowel was obtained in the middle of the Japanese language. The method of obtaining the sub-level tones is discussed. The situation of breaking the tone, the transmission time is too short, and the learning is too difficult. The method of obtaining the sub-sound of the portrait information is discussed. The voice of the person before the break, the voice of the image processing, and the field of the image processing. The word "mouth." Domain extraction, Haar-like feature quantity, is used. The knowledge about the position of the parts of the face is used, and the pictures of the mouth are obtained. The Haar-1ike feature of the mouth area is obtained by using the mouth position. Second, the brightness of the base opening is obtained. The voice of a person is broken, the voice of a person is reproduced, the image is reproduced, the voice of a person is reproduced, the voice of a person is generated, the problem is reproduced, and the result is obtained. This problem is caused by the speed at which the breaking sound is generated. The difference of more than 10 times is the difference between the two. The problem is solved by changing the existing speed. The construction of dual-SOM communication training device Trainers can extract and reproduce the characteristics of sound. Dual-SOM is used to study the relationship between the input sound and the shape of the sound track. The sound track shape of the sound track is reproduced by the sound track. The sound track shape of the sound track is reproduced by the sound track. The sound track shape of the sound track is reproduced by the sound track. The sound track shape of the sound track is reproduced by the sound track. At the same time, the features on the PC screen are extracted from the audio features, and the distance on the PC screen is reproduced. Trainers 'own acoustic characteristics are similar to those of healthy ones. Trainers' visual characteristics are similar to those of healthy ones. The Kagawa Deaf School has 17 students who have been trained in communication. The result is that 12 healthy people get the same message. The clarity and upward progress of the five names of Ma Ta and Canri can be seen. "