口唇運動を併用した音声認識に関する研究

点击翻译按钮获取中文摘要

総合的な調音運動の観測システムを実現するために, 本年度は主に口唇の調音運動に注目し, 口唇運動の観測装置とその解析システムの構築を行った. 口唇運動の解析処理には, CCDビデオカメラと映像を取り込むための12画面を有するイメージボードから構成されるパソコンより画像処理システムを作成した. VTR録画を用いる場合には, 特定のフィールドを指定する必要がある. 本研究では録画する際にスーパーインポーズ処理を行い, フィールド番号を記録しておく. この方法により再生時に任意のフィールドを検出し, 連続して12コマ分の画像を確実に取り出している. このシステムで収集した口唇運動のデータは, 画像処理を施して開口面積と上・下唇の距離間隔を対応づけて時間経過波形として解析表示することができるようになっている. 次年度は種々の音形を発話した時の口唇運動の特徴を, ここで開発したシステムを用いて処理し, 音形の影響および個人差について検討したい. さらに舌や下顎の運動計測のための観測システムについても検討したい.