平均声に基づく多様な声質・発話スタイルが可能な音声インタラクションシステム

基于平均语音的多种语音质量和说话方式的语音交互系统

• 批准号: 13878070
• 负责人: 小林 隆夫
• 金额: $ 1.28万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2001
• 资助国家: 日本
• 起止时间: 2001 至 2002
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-13878070/
• 关键词: テキスト音声合成; 平均声; 共有決定木; コンテキストクラスタリング; HMM音声合成; 話者適応; 発話様式; モデル補間; 隠れマルコフモデル(HMM); 平均声HMM

本研究では,「平均声からの音声合成」という新たな枠組みを提案し,多様な話者の声質や発話様式を自動的に生成可能なマルチモーダルヒューマンコンピュータインタラクションを実現するための基礎を開拓することを目的として,研究初年度に引き続き以下の項目について検討を行った。1.複数の話者の平均的な声の特徴を表す音声単位である平均声モデルの学習法として,初年度に提案した共有決定木コンテキストクラリング(STC)および話者適応学習(SAT)の二つの方法を統合し,話者の性別や学習データ量の大小による影響を低減する新たな平均声モデル学習法を提案した。そして,平均声の音声合成とその評価実験および任意話者が発声した少量の音声データを用いて平均声モデルを話者適応した適応モデルからの音声合成とその評価実験により,従来法に比較して提案法による合成音声の品質が向上し,目標話者の大量の学習データに基づく話者依存モデルに近い合成音声が得られることを示した。さらに,平均声の学習法として,声道長正規化に基づく手法を提案し,その有効性の検討を行った。2.多様な発話様式の合成に向けて,「丁寧」,「ぞんざい」,「楽しげ」,「悲嘆」という異なる様式で発声された音声データベースを作成し,HMM音声合成の枠組みによる音声単位のモデル化と合成音声の評価を行った。その結果,それぞれのデータベース中の発話様式を反映した音声が合成可能なこと,各様式に対応するモデルを補間することにより,中間的な様式の音声が合成できることを明らかにした。3.インタラクションシステムのプラットホームとして,本研究担当者が開発に加わっている「擬人化音声対話エージェント基本ソフトウェア」を利用し,平均声モデルを話者適応したモデルから多様な声質での音声出力が可能なシステムの検討を行った。

In this study, we propose a new method for the automatic generation of voice quality and voice transmission patterns for multiple speakers, and explore the basis for the realization of voice quality and voice synthesis. In the initial year of the study, we introduced the following items for discussion. 1. The average voice characteristics of a plurality of speakers are expressed in terms of voice unit, voice unit. In addition, the quality of the synthesized sound is improved by comparing the proposed method with the original method, and the target speaker's learning is improved by comparing the quality of the synthesized sound with the original method, and the target speaker's learning is improved by comparing the original method with the original method. In this paper, the average sound learning method is proposed, and the sound track length normalization is based on the sound track method. 2. The synthesis direction of multi-channel speech patterns,"Ding Ning,"," As a result, the voice of each of the two types of voice is reflected in the voice synthesis possibility, and the voice of each type of voice is reflected in the voice synthesis possibility. 3. The author of this study developed and improved the "anthropomorphic sound response system basic software" to make use of the average sound response system to improve the quality of sound response system.

项目成果

Yamagishi, Junichi: "A context clustering technique for average voice model in HMM-based speech synthesis"Proceeddings of the 7th International Conference on Spoken Language Processing, ICSLP2002. 1. 133-136 (2002)

Yamagishi、Junichi：“基于 HMM 的语音合成中平均语音模型的上下文聚类技术”第七届国际口语处理会议记录，ICSLP2002。

田村正統, 益子貴史, 徳田恵一, 小林隆夫: "HMM音声合成におけるMLLRを用いたピッチ・スペクトルの話者適応"電子情報通信学会技術研究報告. SP2001-11. 15-20 (2001)

Masanori Tamura、Takashi Mashiko、Keiichi Tokuda、Takao Kobayashi：“在 HMM 语音合成中使用 MLLR 进行扬声器自适应”IEICE 技术报告 SP2001-11 (2001)。

田村, 正統: "HMMに基づく音声合成におけるピッチ・スペクトルの話者適応"電子情報通信学会論文誌. J85-D-II・4. 545-553 (2002)

Tamura, Masashi：“基于 HMM 的语音合成中的音调频谱的扬声器自适应”，电子、信息和通信工程师学会会刊 J85-D-II·4（2002 年）。

M.Tamura, T.Masuko, K.Tokuda, T.Kobayashi: "Text-to-speech synthesis with arbitrary speaker's voice from average voice"Proceeding of the 7th European Conference on Speech Communication and Technology, EUROSPEECH 2001. I. 345-348 (2001)

M.Tamura、T.Masuko、K.Tokuda、T.Kobayashi：“从平均语音中任意说话人的语音进行文本到语音合成”第七届欧洲语音通信与技术会议记录，EUROSPEECH 2001。I. 345-

大西, 浩二: "HMM音声合成における異なる発話スタイルの生成の検討"電子情報通信学会技術研究報告. 102・619. 17-22 (2003)

Onishi, Koji：“HMM 语音合成中不同语音风格的生成研究”IEICE 技术报告 102・619 (2003)。