聴覚障がい者の発話不明瞭要因の解明と発話ロボットによる対話型発話訓練の提案

点击翻译按钮获取中文摘要

前年度までに構築をおこなってきたDual-SOMを用いて、ロボットは日本語5母音を自律的に獲得することができるようになった。次の段階として子音の獲得方法について検討した。破裂子音の場合、発話時間が短く、聴覚フィードバックによる学習は困難である。そこで、画像情報による子音の獲得手法について検討した。人がカメラの前で破裂子音の発話動作をおこない、画像処理により口の領域を抽出する。ロボットは、口の領域をもとに発話動作をおこなう。領域抽出には、Haar-like特徴量を用いた。顔の部品位置に関する知識を利用し、口周囲の画像を得る。そして、口領域のHaar-1ike特徴量を用いて口位置を取得する。次に、輝度値を基に口の開放量を得る。ロボットに人の破裂子音の発話動作を再現させた結果、画像により人の発話動作の模倣は可能となったが、生成音声については、課題が残る結果となった。この問題は、破裂子音を生成する際のモータの速度が原因である。ロボットの発話は人と比較すると、10倍以上の差があることが分かった。この問題を解決するためには、既存のモータをより高速に動作するものに変更する必要がある。次に、発話ロボットとDual-SOMを用いた、聴覚障がい者のための発話訓練装置の構築を行った。訓練者がマイクロフォンに対して発話を行うと、音声の特徴が抽出され、ロボットが訓練者の口内形状を再現する。Dual-SOMを用いてロボットは入力音声と声道形状の対応関係を学習しているため、健聴者の発話により再現されたロボットの声道形状と訓練者の発話により再現された形状の差を、訓練者に対して視覚的に呈示可能である。同時にノートPCの画面上の特徴マップには健聴者と訓練者の発話により抽出された音響特徴量の違いが、マップ上の距離として再現されている。訓練者は、自身の音響特徴量が健聴者の特徴量が埋め込まれている領域に近づくように、またロボットにより再現された口内形状が健聴者のものに近づくように注意しながら、視覚的に訓練を行っていく。香川県立聾学校において、17名の学生に対して発話訓練実験をおこなった。結果として、12名が健聴者と同じ発話動作を獲得することができた。また、残りの5名についても発話の明瞭度の向上が見られた。"