複数の調音運動データを中間情報とするマルチモーダル音声合成

2022年度は主にrtMRI動画像データからの音声合成法について検討した．本年度は特に，(1)rtMRI動画像からメルケプストラムのみを推定してworldボコーダによって音声を合成する方法と，(2)rtMRI動画像からメルスペクトログラムを推定してニューラルボコーダによって音声を合成する方法の2種類を検討した．(1)のメルケプストラムを推定する方法では声道形状パラメータ（口や舌の形）のみを推定し，声の高さを制御する声帯振動に相当するパラメータは同時収録した音声から取得していた．これに対して，(2)のメルスペクトログラムを推定する方法では声道形状パラメータに加えて声帯振動パラメータも推定することから声帯振動が撮影できないrtMRI動画像からは推定が困難であることが予想された．まず，(1)のメルケプストラムを推定する方法では，転置畳み込みニューラルネットワークの導入により時間分解能を向上し，音声を精度よく合成できることが確認できた．特に音素毎にメルケプストラムの精度を確認したところ，従来手法と比べて破裂音（/b/や/t/のように発音の直前に空気の流れを止めて発音する音）のメルケプストラム推定が良好に行えていることが確認でき，rtMRI動画像には含まれにくい閉鎖の瞬間を転置畳み込みニューラルネットワークで補完できていることが確認できた．(2)のメルスペクトログラムを推定する方法では，困難であると思われた声帯振動が良好に取得でき，合成音の基本周波数（声帯振動の周期に対応するパラメータ）が良好に取得できていることが確認できた．発声を声帯振動と声道形状で説明する従来のソース・フィルタモデルでは原理的に不可能であろう推定ができていることから，今後は良好に基本周波数が推定できた理由について分析を進める予定である．

2022年度は主にrtMRI動画像データからの音声合成法について検討した．本年度は特に，(1)rtMRI動画像からメルケプストラムのみを推定してworldボコーダによって音声を合成する方法と，(2)rtMRI動画像からメルスペクトログラムを推定してニューラルボコーダによって音声を合成する方法の2種類を検討した．(1)のメルケプストラムを推定する方法では声道形状パラメータ（口や舌の形）のみを推定し，声の高さを制御する声帯振動に相当するパラメータは同時収録した音声から取得していた．これに対して，(2)のメルスペクトログラムを推定する方法では声道形状パラメータに加えて声帯振動パラメータも推定することから声帯振動が撮影できないrtMRI動画像からは推定が困難であることが予想された．まず，(1)のメルケプストラムを推定する方法では，転置畳み込みニューラルネットワークの導入により時間分解能を向上し，音声を精度よく合成できることが確認できた．特に音素毎にメルケプストラムの精度を確認したところ，従来手法と比べて破裂音（/b/や/t/のように発音の直前に空気の流れを止めて発音する音）のメルケプストラム推定が良好に行えていることが確認でき，rtMRI動画像には含まれにくい閉鎖の瞬間を転置畳み込みニューラルネットワークで補完できていることが確認できた．(2)のメルスペクトログラムを推定する方法では，困難であると思われた声帯振動が良好に取得でき，合成音の基本周波数（声帯振動の周期に対応するパラメータ）が良好に取得できていることが確認できた．発声を声帯振動と声道形状で説明する従来のソース・フィルタモデルでは原理的に不可能であろう推定ができていることから，今後は良好に基本周波数が推定できた理由について分析を進める予定である．