人間の感覚と整合する音声特徴空間の構築

符合人类感官的音频特征空间构建

• 批准号: 22K19793
• 负责人: 北岡 教英
• 金额: $ 4.08万
• 依托单位: Toyohashi University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-06-30 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K19793/
• 关键词: 音声特徴空間; 音声合成; 音声認識; 話者埋め込み; 音声; 特徴量; 距離

「人間の感覚と整合する音声特徴空間の構築」を目的とする。音声合成で感情を付与するとき、「平静」と「喜び」は付与可能だが「少しの喜び」はこれらの内挿で実現できない。音声認識で「若年層」と「高齢者層」のデータを用いてこれらの音声認識性能は向上できるが「中年層」の性能は向上できない。この目的を達するために、まず、「2話者の中間音声を合成する音声合成器」の構築を開始した。具体的には、複数話者の音声を話者埋め込みを与えることで実現できるマルチスピーカー音声合成器をTacotron 2に基づいて構築した。そして、その出力音声を、対象とする2話者を識別する話者識別機にかけ、その結果が2話者同等となるようなロス（すなわち両者の確率が0.5となる場合とのクロスエントロピー）を定義する。話者識別の特徴空間は、人間の聴覚の感覚に近いとされるメルスペクトル空間とする。さらに、音声の内容を保持することを保証するために、音声を音声認識器にも入力し、合成音声の認識結果を出力して、合成しようとした正しいテキストと比較した際の誤認識がロスとなるようにする。これらのロスを逆伝搬することで、クリアでかつ2話者両方に同等に近い音声を合成することを試みる。このシステムがほぼ完成したので、今後これを評価する。

The purpose of "Human Sense 覚と Integration する Sound Characteristic Space <s:1> Construction" を is とする. Voice synthesis で feelings を give す る と き, "calm" と "xi び" は give may だ が "little し の xi び" は こ れ ら の scions in で be presently で き な い. Sounds know で "if layer と" high 齢 layer "の デ ー タ を with い て こ れ ら の sounds know performance は upward で き る が" middle layer "は の performance up で き な い. The objective of を is to achieve するために, まず, and the construction of the "2-episode <s:1> intermediate voice を synthesis する voice synthesizer" を begins to た た. Specific に は, plural words の voice を words sound buried め 込 み を and え る こ と で be presently で き る マ ル チ ス ピ ー カ ー voice synthesizer を Tacotron 2 に base づ い て build し た. そ し て, そ の output sounds を, like と seaborne す る 2 words を recognition す る words recognition machine に か け, そ の が 2 words are equally と な る よ う な ロ ス (す な わ ち struck is の probabilistic が 0.5 と な る occasions と の ク ロ ス エ ン ト ロ ピ ー) を definition す る. The speaker recognizes the characteristic space of <s:1>, the human space of 聴覚, the sense of 覚に, the close space of とされるメ とされるメ スペ ト ト とする, and the とする space of とする. さ ら に, sounds の content を keep す る こ と を guarantee す る た め に, sound を sound sound understanding に も し into force, synthetic sounds の know results を output し て, synthetic し よ う と し た is し い テ キ ス ト と compare し た interstate の mistakenly know が ロ ス と な る よ う に す る. こ れ ら の ロ ス を inverse 伝 move す る こ と で, ク リ ア で か つ 2 words struck party に equal に nearly い sounds を synthetic す る こ と を try み る. <s:1> システムがほぼ システムがほぼ has completed た で で, and in the future, <s:1> れを will evaluate 価する.