权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

感情や個人性を高品質に表現可能なDNNに基づく音声合成方式の研究

基于DNN的高质量表达情感和个性的语音合成方法研究

基本信息

批准号：
21K11963
负责人：
阿部匡伸
金额：
$ 2.66万
依托单位：
Okayama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11963/
关键词：
感情音声話者性 DNN WaveNet x-vector 音声合成深層学習マルチモダル

项目摘要

研究計画調書に記載した課題に関して，令和４年度（２０２２年度）に実施した内容は下記の通り。（課題１）非言語情報の表現モデル　「①-２感情強度表現方式の検討」について，X-vectorを利用して感情強度を制御する方式を検討した。感情は曖昧な情報であり、感情音声を喜怒哀楽にカテゴライズし、さらにそれらの強度をモデル化することは難しい。そこで、感情カテゴリとその強度を推定すること無しに、感情音声からX-vectorを抽出して、合成音声に反映させる方式を検討した。評価実験の結果、「喜」では80％、「哀」では60％程度の感情が表現できた。「喜」「哀」の性能差は原音声の感情の強さに依存している。この点は、評価を含め今後検討を進める。（課題２）少量データによる学習方式　「②-２学習データ量と性能の検討」について、学習済みのモデルを操作して多様な話者性を持つ音声を合成する方式を検討した。提案方式は、限られた学習データを利用して、学習データに含まれない話者性で音声を合成できる。具体的には、複数の学習話者からX-vectorを抽出し、各X-vectorの重みづけ和によって、新しい話者性を表現する。また、平均基本周波数の影響を低減させてX-vectorを抽出する方式を提案した。評価実験の結果、重みの大きさに対応して、話者性を制御できることが明らとなった。（課題３）音声対話システムへの応用　「音声対話タスクの検討」について、課題１で検討した「X-vectorを利用して感情強度を制御する方式」を利用するタスクとして、生徒と教師の対話タスクを選定した。システムが教師役であり、生徒の発話に対して回答する。生徒が「喜」や「哀」の感情で発話すれば、教師も「喜」や「哀」の感情で応答する。評価実験の結果、生徒の感情に合わせて教師が応答できることが明らかとなった。今後は、この応答戦略の妥当性と有効性を検討する。

The research plan is to record the relevant issues, and the contents of the implementation in the fourth year (2022) are recorded below. (Topic 1) Expression of non-verbal information: "1 - 2 Discussion on the expression mode of emotional intensity," and discussion on the control mode of emotional intensity by using X-vector. The emotion is ambiguous, the emotion sound is happy, angry, sad, sad, sad. The intensity of emotional sound is estimated, the X-vector of emotional sound is extracted, and the method of synthetic sound is discussed. Evaluation of the results,"happy" 80%,"sad" 60% degree of emotional performance. "Joy" and "sorrow" performance difference is the original sound of the feelings of strong dependence. The point is, the comment is, the future is, the discussion is, (Topic 2) Study method for small amount of data "②-2 Study quantity and performance evaluation", study method for operation of data, study method for multi-speaker, study method for voice synthesis. The proposal method is to limit the use of learning materials, including the nature of speech and sound synthesis. Specific to multiple learners, X-vector extraction, X-vector weight and new speaker performance The influence of the average fundamental frequency is reduced and the X-vector is extracted. The results of the evaluation, the importance of the big picture, the speaker's character control, and the bright future (Subject 3) The use of "voice response search" in voice response search is discussed in Subject 1."X-vector utilization and emotional intensity control methods" are discussed. The answer to this question is: Students express their feelings of "joy" and "sorrow"; teachers express their feelings of "joy" and "sorrow". The result of the evaluation, the feelings of the students, the teacher's answer and the answer. In the future, the appropriateness of the response strategy will be discussed.