Development of a mutual conversion method between face image and voice during speech

语音时人脸图像与声音相互转换方法的开发

• 批准号: 22K12916
• 负责人: 鈴木 基之
• 金额: $ 2.33万
• 依托单位: Osaka Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12916/
• 关键词: 自動読話; 音声生成; 個人性の影響; 無発声音声対話システム; サイレント音声認識; 読話

本年度は，唇動画像から音声を生成する方法を確立するため，入力画像の種類の違いと話者に対する頑健性について検討を行った。一般に唇動画像から発話内容を推定する研究においては，唇近辺を切り抜いた動画像が入力として用いられている。しかしこうした画像の中には，肌の色や唇の大きさの違い，といった個人性情報も含まれるため，特にモデル学習に利用した話者と異なる話者に対しては性能が劣化することが考えられる。そこで入力画像をより単純化し，個人性を排除した場合の性能について検討を行った。唇画像から，唇の輪郭にそって20点の特徴点を抽出し，それの座標値をそのまま入力した場合と，特徴点間を直線で結び，唇を単純な図形で表現した上で入力した場合について性能を評価した。なお，音声生成に用いるニューラルネットワークの構造や音声特徴量は，本研究開始前に検討を行っていたモデルと同じものを利用した。また評価には，劣化した音声の了解度を測る指標のひとつであるSTOI（Short-Time Objective Intelligibility measure）を利用した。1名の発話データでモデル学習と評価を行ったところ，入力に唇動画像を用いた時はSTOIが0.496であったのに対し，座標値は0.441，単純な図形表現は0.431と性能が劣化することがわかった。これは，入力データを単純にすることで，音声生成に必要な情報まで落ちてしまっているのが原因と思われる。3名の発話データでモデルを学習し，学習に用いた話者（既知話者）と用いなかった話者（未知話者）に対する性能をそれぞれ評価したところ，唇動画像では未知話者に対する性能が，既知話者に対する性能と比較して24%程度劣化した。一方，特徴点の座標値や単純な図形表現を入力した場合は，17%程度の性能劣化にとどまっており，より話者に対する頑健性が得られていることがわかった。

This year は lip animation like か ら sounds を generated す を る method established す る た め, portrait into force の kinds の violations い と words に す seaborne る operations, sexual に つ い て 検 line for を っ た. General に lip animation like か ら 発 words presumption content を す る research に お い て は, lip nearly 辺 を cut り sorting い た animation into force like が と し て in い ら れ て い る. し か し こ う し た portraits of の に は, muscle の や lip color の big き さ の violations い, と い っ た contains personal information も ま れ る た め, trevor に モ デ ル learning に using し た words と different な る words に し seaborne て は が performance degradation す る こ と が exam え ら れ る. そ こ で portrait into force を よ り し 単 purification, personal を exclude し た occasions の performance に つ い て 検 line for を っ た. Lip portrait か ら, lip の wheel guo に そ っ て 20 points の te 徴 し を spare, そ れ の coordinates numerical を そ の ま ま し into force と た situations, especially 徴 び で points between を line, the lip を 単 pure な 図 form で performance し た で into force し た occasions に つ い て を performance evaluation 価 し た. な お, sounds generated に with い る ニ ュ ー ラ ル ネ ッ ト ワ ー ク の tectonic や sounds は 徴 quantity, before the start of this study に 検 line for を っ て い た モ デ ル と with じ も の を using し た. ま た review 価 に は, degradation し た sounds の understanding degree を る measurement index の ひ と つ で あ る STOI (Short - Time Objective Intelligibility measure) を using し た. 1 の 発 words デ ー タ で モ デ ル learning と review 価 を line っ た と こ ろ, like を use い に lip animation into force when た は STOI が 0.496 で あ っ た の に し seaborne, coordinates numerical は 0.441, 単 pure な 図 form 0.431 と が performance degradation performance は す る こ と が わ か っ た. こ れ は, into force デ ー タ を 単 pure に す る こ と で, sounds generated に な necessary information ま で fall ち て し ま っ て い る の が reason と think わ れ る. Three の 発 words デ ー タ で モ デ ル し を learning, learning に with い た words (know) the speaker's words both と with い な か っ た (unknown words) the speaker's words に す seaborne る performance を そ れ ぞ れ review 価 し た と こ ろ, lip animation like で は unknown words に す seaborne る が performance, both know words に す seaborne る と performance comparison し て 24% degree of degradation し た. On side, の 徴 point coordinates numerical や 単 pure な 図 form performance を し into force は た situations, degree of 17% の performance degradation に と ど ま っ て お り, よ り words に す seaborne る operations, sex が ら enough れ て い る こ と が わ か っ た.

项目成果

唇動画像からの音声生成法における入力特徴量の単純化に関する検討

唇动图像语音生成方法输入特征简化研究

• 发表时间: 2023
• 期刊: 日本音響学会 音声研究会資料
• 作者: 金澤尚希;鈴木基之
• 通讯作者: 鈴木基之