高品質音声合成のための韻律制御

高质量语音合成的韵律控制

• 批准号: 12132202
• 负责人: 広瀬 啓吉
• 金额: $ 36.35万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2003
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-12132202/
• 关键词: 音声合成; 生成過程モデル; 回帰木; 音声対話システム; 感情音声; 発話速度; HMM音声合成; 平均声モデル; 固有音声; 統計的基本周波数パターン生成; 談話情報; 話者適応; 多空間確率分布HMM; パラ・非言語情報; 統計的F0パターン生成; 対話調音声; Fillerの韻律; 基本周波数抽出

種々の調子の音声を従来になく人間らしい抑揚で合成する技術を確立した上でユーザフレンドリな応答音声生成システムを構築することを目的として研究を進め、以下の成果を達成した。1.テキストを入力として、文節境界、(FOパターン生成過程モデルの)フレーズ・アクセント指令、音素長を回帰木により推定する統合的な手法を開発した。学習用コーパスのモデルの指令は、自動的に抽出しているが、フレーズ指令に制約をかけることにより抽出精度を向上させ、より良好な指令の推定を達成した。HMM音声合成に組み込み、朗読音声の他、感情音声について実験を行い、怒りの表出が適正に行われていることを確認した。2.昨年度開発した、エージェント音声対話システムで応答文の概念から音声合成を一貫して行う手法において、その韻律の面からの品質向上を行い、その効果を聴取実験により確認した。3.プレゼンテーションを想定し、書き言葉で表記された文内容から、ジェスチャータグ付き話し言葉の文を自動的に生成する手法を開発した。生成された文から音声合成を行うための韻律制御の手法を検討した。4.感情表現機能付きマルチモーダルプレゼンテーション記述言語MPMLの開発を進め、出力される感情音声の観点から評価を行った。また、試用実験により、感情音声がユーザに与える効果を調べた。5.適応技術により任意の話者・調子の音声を生成するためのHMM音声合成用平均声モデルの品質改良を行った。学習データ量が限られている場合への対処手法として、文脈クラスタと話者適応学習を導入することを行った。また、モーフィングにより、種々の話者・調子の音声の合成が可能なことを示した。6.スペクトル・F0・継続長を統一的に扱うHMM音声合成において、音素HMMの適応により感情音声を合成することを行った。聴取実験により、意図した感情が有効に伝達されることを確認した。

The sound of the tone is the same as the human world. The synthesis technique is established and the technique is established. The purpose of the research and development of the sound generation system and the following results have been achieved. 1. テキストを入力として, 文fest realm, (FOパターンGeneration process モデルの)フレーズ・アクセント command, phoneme long を回帰木により inference and するintegrated なtechniqueを开発した. Learn how to use the コーパスのモデルの command, automatic に extraction しているが, and フレーズ command にAbout をかけることによりThe extraction accuracy is higher and the よりgood command is estimated and achieved. HMM voice synthesis に组み込み, lang読声のhim, emotional voice について実験を行い, Angry りのexpression が正正に行 われていることをconfirmation した. 2. Last year's opening of the year, the concept of the sound synthesis of the voice and the sound of the story, the concept of the answer, and the sound synthesis of the sound. The technique of the line is good, the rhythm of the face is good, the quality is good, the effect is good, and the effect is confirmed. 3. プレゼンテーションを Idea し、书き言葉で书された文content から、ジェスチャータグpayき语し语葉の文をautomatic generationするtechniqueを开発した. Generate された文から sound synthesis を行 うためのrhythm control のtechnique を検question した. 4. Emotional expression function and description language M PMLの开発を进め、出力される情声の観点から Comment価を行った.また, trial 実験により, emotional sound がユーザに and えるeffect をtone べた. 5. Adaptation technology is used to generate arbitrary voices and tunes, and the HMM voice synthesis is used to improve the quality of the average voice. Learn データがlimit られているoccasion への対dealing technique として, context クラスタと speaker is suitable to learn を Import することを行った.また, モーフィングにより, kind of 々の speaker・tone の声の综合がpossible なことをshow した. 6. スペクトル・F0・継続长をUnified に扱うHMM voice synthesis において, phoneme HMM の応によりemotional voice synthesis することを行った.聴取実験により, meaning 図した情がeffectiveに伝达されることをconfirmationした.

项目成果

塚原渉: "Responding to subtle, fleeting changes in the user's internal state"CHI Letters. 3・1. 77-84 (2001)

Wataru Tsukahara：“响应用户内部状态的微妙、短暂的变化”CHI Letters 3・1 (2001)。

田中智宏: "瞬時周波数振幅スペクトルに基づくピッチ抽出法の検討"電子情報通信学会技術報告(音声研究会). (発表予定). (2001)

Tomohiro Tanaka：“基于瞬时频率幅度谱的基音提取方法的研究”IEICE 技术报告（语音研究组）（演示文稿预定）。

Keikichi Hirose: "Corpus-based synthesis of F0 contours for emotional speech using the generation process model"Proceedings 15th International Congress of Phonetic Sciences. 3. 2945-2948 (2003)

Keikichi Hirose：“使用生成过程模型基于语料库合成情感语音的 F0 轮廓”第 15 届国际语音科学大会论文集。

Keikichi Hirose: "Speech prosody in spoken language processing(invited)"Proccedings International Conference on Computer and Information Technology. 1. 20-27 (2003)

广濑圭吉：《口语处理中的语音韵律（特邀）》计算机与信息技术国际会议论文集。

Keikichi Hirose: "Improved corpus-based synthesis of fundamental frequency contours using generation process model"Proc. International Conference on Spoken Language Processing. 2085-2088 (2002)

Keikichi Hirose：“使用生成过程模型改进基于语料库的基频轮廓合成”Proc。