Development of a mutual conversion method between face image and voice during speech

本年度は，唇動画像から音声を生成する方法を確立するため，入力画像の種類の違いと話者に対する頑健性について検討を行った。一般に唇動画像から発話内容を推定する研究においては，唇近辺を切り抜いた動画像が入力として用いられている。しかしこうした画像の中には，肌の色や唇の大きさの違い，といった個人性情報も含まれるため，特にモデル学習に利用した話者と異なる話者に対しては性能が劣化することが考えられる。そこで入力画像をより単純化し，個人性を排除した場合の性能について検討を行った。唇画像から，唇の輪郭にそって20点の特徴点を抽出し，それの座標値をそのまま入力した場合と，特徴点間を直線で結び，唇を単純な図形で表現した上で入力した場合について性能を評価した。なお，音声生成に用いるニューラルネットワークの構造や音声特徴量は，本研究開始前に検討を行っていたモデルと同じものを利用した。また評価には，劣化した音声の了解度を測る指標のひとつであるSTOI（Short-Time Objective Intelligibility measure）を利用した。1名の発話データでモデル学習と評価を行ったところ，入力に唇動画像を用いた時はSTOIが0.496であったのに対し，座標値は0.441，単純な図形表現は0.431と性能が劣化することがわかった。これは，入力データを単純にすることで，音声生成に必要な情報まで落ちてしまっているのが原因と思われる。3名の発話データでモデルを学習し，学習に用いた話者（既知話者）と用いなかった話者（未知話者）に対する性能をそれぞれ評価したところ，唇動画像では未知話者に対する性能が，既知話者に対する性能と比較して24%程度劣化した。一方，特徴点の座標値や単純な図形表現を入力した場合は，17%程度の性能劣化にとどまっており，より話者に対する頑健性が得られていることがわかった。

本年度は，唇動画像から音声を生成する方法を確立するため，入力画像の種類の違いと話者に対する頑健性について検討を行った。一般に唇動画像から発話内容を推定する研究においては，唇近辺を切り抜いた動画像が入力として用いられている。しかしこうした画像の中には，肌の色や唇の大きさの違い，といった個人性情報も含まれるため，特にモデル学習に利用した話者と異なる話者に対しては性能が劣化することが考えられる。そこで入力画像をより単純化し，個人性を排除した場合の性能について検討を行った。唇画像から，唇の輪郭にそって20点の特徴点を抽出し，それの座標値をそのまま入力した場合と，特徴点間を直線で結び，唇を単純な図形で表現した上で入力した場合について性能を評価した。なお，音声生成に用いるニューラルネットワークの構造や音声特徴量は，本研究開始前に検討を行っていたモデルと同じものを利用した。また評価には，劣化した音声の了解度を測る指標のひとつであるSTOI（Short-Time Objective Intelligibility measure）を利用した。1名の発話データでモデル学習と評価を行ったところ，入力に唇動画像を用いた時はSTOIが0.496であったのに対し，座標値は0.441，単純な図形表現は0.431と性能が劣化することがわかった。これは，入力データを単純にすることで，音声生成に必要な情報まで落ちてしまっているのが原因と思われる。3名の発話データでモデルを学習し，学習に用いた話者（既知話者）と用いなかった話者（未知話者）に対する性能をそれぞれ評価したところ，唇動画像では未知話者に対する性能が，既知話者に対する性能と比較して24%程度劣化した。一方，特徴点の座標値や単純な図形表現を入力した場合は，17%程度の性能劣化にとどまっており，より話者に対する頑健性が得られていることがわかった。