高品質音声合成のための韻律制御

高质量语音合成的韵律控制

• 批准号: 12132202
• 负责人: 広瀬 啓吉
• 金额: $ 36.35万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2003
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-12132202/
• 关键词: 音声合成; 生成過程モデル; 回帰木; 音声対話システム; 感情音声; 発話速度; HMM音声合成; 平均声モデル; 固有音声; 統計的基本周波数パターン生成; 談話情報; 話者適応; 多空間確率分布HMM; パラ・非言語情報; 統計的F0パターン生成; 対話調音声; Fillerの韻律; 基本周波数抽出

種々の調子の音声を従来になく人間らしい抑揚で合成する技術を確立した上でユーザフレンドリな応答音声生成システムを構築することを目的として研究を進め、以下の成果を達成した。1.テキストを入力として、文節境界、(FOパターン生成過程モデルの)フレーズ・アクセント指令、音素長を回帰木により推定する統合的な手法を開発した。学習用コーパスのモデルの指令は、自動的に抽出しているが、フレーズ指令に制約をかけることにより抽出精度を向上させ、より良好な指令の推定を達成した。HMM音声合成に組み込み、朗読音声の他、感情音声について実験を行い、怒りの表出が適正に行われていることを確認した。2.昨年度開発した、エージェント音声対話システムで応答文の概念から音声合成を一貫して行う手法において、その韻律の面からの品質向上を行い、その効果を聴取実験により確認した。3.プレゼンテーションを想定し、書き言葉で表記された文内容から、ジェスチャータグ付き話し言葉の文を自動的に生成する手法を開発した。生成された文から音声合成を行うための韻律制御の手法を検討した。4.感情表現機能付きマルチモーダルプレゼンテーション記述言語MPMLの開発を進め、出力される感情音声の観点から評価を行った。また、試用実験により、感情音声がユーザに与える効果を調べた。5.適応技術により任意の話者・調子の音声を生成するためのHMM音声合成用平均声モデルの品質改良を行った。学習データ量が限られている場合への対処手法として、文脈クラスタと話者適応学習を導入することを行った。また、モーフィングにより、種々の話者・調子の音声の合成が可能なことを示した。6.スペクトル・F0・継続長を統一的に扱うHMM音声合成において、音素HMMの適応により感情音声を合成することを行った。聴取実験により、意図した感情が有効に伝達されることを確認した。

这项研究的目的是建立一项技术，该技术可以用类似人类的语调综合各种音调的声音，然后构建一个用户友好的响应语音生成系统，从而实现以下结果。 1。我们已经开发了一种集成方法，用于估计子句边界，短语焦点命令（在FO模式生成过程模型中）和使用文本作为输入的回归树的音素长度。尽管训练语料库模型中的命令会自动提取，但通过将约束放在短语命令上，提高了提取精度，从而更好地估计了命令。将其纳入HMM语音综合中，我们进行了有关情感语音和阅读音频的实验，并确认愤怒得到了适当的表达。 2。去年开发的方法是为了始终如一地从响应句子的概念中使用代理语音对话系统进行响应句子的概念，提高了韵律质量，并通过聆听实验确认了这种效果。 3。我们已经开发了一种方法，该方法会根据陈述的句子自动生成带有手势标签的口语标签的口语句子。我们研究了一种从生成的句子中执行语音综合的韵律控制方法。 4。我们开发了一种具有情感表达功能的多模式演示语言MPML，并从输出情感声音的角度进行了评估。此外，一个试验实验研究了情感声音对用户的影响。 5。提高了HMM语音合成的平均语音模型的质量，以使用自适应技术为任何说话者/音调生成语音。我们介绍了上下文集群和说话者自适应学习，以此作为对学习数据量有限的情况的对策。还已经表明，变形可以综合各种说话者和音调的语音。 6。在处理频谱，F0和连续性长度的HMM语音合成中，通过调整音素HMM来综合情感语音。听力实验证实了预期的情绪是有效传播的。

项目成果

Nobuaki Minematsu: "Automatic estimation of accentual attribute values of words for accent sandhi rules of Japanese text-to-speech conversion"IEICE Trans. Information and Systems. E86-D・1. 550-557 (2003)

Nobuaki Minematsu：“日语文本到语音转换的重音连读规则的单词重音属性值的自动估计”IEICE Trans. 550-557（2003）。

Atsuhiro Sakurai: "Data-driven generation of F0 contours using a superpositional model"Speech Communication. 40・4. 535-549 (2003)

Atsuhiro Sakurai：“使用叠加模型的数据驱动的 F0 轮廓生成”Speech Communication 40・4（2003）。

西田悠介: "料理教示発話の構造解析"言語処理学会第9回年次大会論文集. (発表予定). (2003)

Yusuke Nishida：“烹饪教学话语的结构分析”语言处理学会第九届年会论文集（预定演讲）（2003 年）。

西田豊明: "Social intelligence design for knowledge creating communities"Proc. International Conference on Intelligent Agent Technology. 23-26 (2001)

Toyoaki Nishida：“知识创造社区的社会智能设计”Proc. 智能代理技术国际会议 23-26 (2001)。

Masafumi Okamoto: "Quantitative estimation of the meanings of the phonetic components of back-channels"Proc. 35th Spoken Language Understanding and Discourse Workshop. 47-52 (2002)

Masafumi Okamoto：“反向通道语音成分含义的定量估计”Proc。