発話動作を起点とした音声生成による代用発声技術の実現

情報技術による音声コミュニケーションの拡張のため、その基盤となる調音・音声データベースの拡充と、口唇動画からの音声合成システムの高度化に関する研究をおこなった。調音・音声データベースに関しては、発話時の声道全体の運動を観測し得るリアルタイムMRI（磁気共鳴画像）により、成人女性１名について音素バランス文（ATR503文）の観測実験を実施した。同観測手法により、これまで成人2名のデータ収集を完了しており、今回の測定実験によって当初目標とした3名分のデータ収集が完了する。従って、研究の進捗は当初の予定通りに進んでいる。リアルタイムMRIと同時に音声データの収録を行なっており、今後は撮像時のMRIノイズを除去する音声強調を施して、データセットとして完備する。口唇動画からの音声合成については、これまで収集してきた音声コーパスやベースとなる再帰型のディープニューラルネットワークを使用するとともに、このネットワークモデルの性能向上を目指してGAN（敵対的生成ネットワーク）の適用を検討し、日本音響学会において研究発表をおこなった。同時に、従来から用いてきた再帰的ネットワーク構造と非再帰的構造の比較をおこない、それらの特徴や性能を明らかにした。これらの研究結果は、日本音響学会九州支部の発表会において公表した。本研究の成果は、口唇動画という最小限の調音情報からでも、了解可能な音声を合成できることを示している。特に、調音情報にはピッチや有声・無声のような音源に関連した情報が含まれていないことから、口唇の動きに関する時系列データを手がかりとして、アクセントやイントネーションまでを再現できることは注目に値すると言える。

情報技術による音声コミュニケーションの拡張のため、その基盤となる調音・音声データベースの拡充と、口唇動画からの音声合成システムの高度化に関する研究をおこなった。調音・音声データベースに関しては、発話時の声道全体の運動を観測し得るリアルタイムMRI（磁気共鳴画像）により、成人女性１名について音素バランス文（ATR503文）の観測実験を実施した。同観測手法により、これまで成人2名のデータ収集を完了しており、今回の測定実験によって当初目標とした3名分のデータ収集が完了する。従って、研究の進捗は当初の予定通りに進んでいる。リアルタイムMRIと同時に音声データの収録を行なっており、今後は撮像時のMRIノイズを除去する音声強調を施して、データセットとして完備する。口唇動画からの音声合成については、これまで収集してきた音声コーパスやベースとなる再帰型のディープニューラルネットワークを使用するとともに、このネットワークモデルの性能向上を目指してGAN（敵対的生成ネットワーク）の適用を検討し、日本音響学会において研究発表をおこなった。同時に、従来から用いてきた再帰的ネットワーク構造と非再帰的構造の比較をおこない、それらの特徴や性能を明らかにした。これらの研究結果は、日本音響学会九州支部の発表会において公表した。本研究の成果は、口唇動画という最小限の調音情報からでも、了解可能な音声を合成できることを示している。特に、調音情報にはピッチや有声・無声のような音源に関連した情報が含まれていないことから、口唇の動きに関する時系列データを手がかりとして、アクセントやイントネーションまでを再現できることは注目に値すると言える。