高品質音声合成のための韻律制御

高质量语音合成的韵律控制

• 批准号: 12132202
• 负责人: 広瀬 啓吉
• 金额: $ 36.35万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2003
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-12132202/
• 关键词: 音声合成; 生成過程モデル; 回帰木; 音声対話システム; 感情音声; 発話速度; HMM音声合成; 平均声モデル; 固有音声; 統計的基本周波数パターン生成; 談話情報; 話者適応; 多空間確率分布HMM; パラ・非言語情報; 統計的F0パターン生成; 対話調音声; Fillerの韻律; 基本周波数抽出

種々の調子の音声を従来になく人間らしい抑揚で合成する技術を確立した上でユーザフレンドリな応答音声生成システムを構築することを目的として研究を進め、以下の成果を達成した。1.テキストを入力として、文節境界、(FOパターン生成過程モデルの)フレーズ・アクセント指令、音素長を回帰木により推定する統合的な手法を開発した。学習用コーパスのモデルの指令は、自動的に抽出しているが、フレーズ指令に制約をかけることにより抽出精度を向上させ、より良好な指令の推定を達成した。HMM音声合成に組み込み、朗読音声の他、感情音声について実験を行い、怒りの表出が適正に行われていることを確認した。2.昨年度開発した、エージェント音声対話システムで応答文の概念から音声合成を一貫して行う手法において、その韻律の面からの品質向上を行い、その効果を聴取実験により確認した。3.プレゼンテーションを想定し、書き言葉で表記された文内容から、ジェスチャータグ付き話し言葉の文を自動的に生成する手法を開発した。生成された文から音声合成を行うための韻律制御の手法を検討した。4.感情表現機能付きマルチモーダルプレゼンテーション記述言語MPMLの開発を進め、出力される感情音声の観点から評価を行った。また、試用実験により、感情音声がユーザに与える効果を調べた。5.適応技術により任意の話者・調子の音声を生成するためのHMM音声合成用平均声モデルの品質改良を行った。学習データ量が限られている場合への対処手法として、文脈クラスタと話者適応学習を導入することを行った。また、モーフィングにより、種々の話者・調子の音声の合成が可能なことを示した。6.スペクトル・F0・継続長を統一的に扱うHMM音声合成において、音素HMMの適応により感情音声を合成することを行った。聴取実験により、意図した感情が有効に伝達されることを確認した。

Kind of 々 の tone の sounds を 従 to に な く human ら し い modulation で す synthesis る technology を establish し た on で ユ ー ザ フ レ ン ド リ な 応 answer sounds generated シ ス テ ム を build す る こ と を purpose と し を め, the following の て research を reached し た. 1. テ キ ス ト を と into force し て, Wen Jie realm, (FO パ タ ー ン generation process モ デ ル の) フ レ ー ズ · ア ク セ ン ト instruction, phoneme を 帰 back long wood に よ り presumption す る な technique of integration of を open 発 し た. Learning with コ ー パ ス の モ デ ル の pump, automatic に instruction は し て い る が, フ レ ー ズ instruction に restrict を か け る こ と に よ り extraction accuracy を upward さ せ, よ り な good instruction の presumption を reached し た. HMM sounds synthetic に group み 込 み, lang 読 sounds の he, emotional sounds に つ い て be 験 を い, nu り の table が optimum is に row わ れ て い る こ と を confirm し た. 2. Yesterday's annual open 発 し た, エ ー ジ ェ ン ト sounds of words シ seaborne ス テ ム で 応 answer wen の concept か ら voice synthesis を consistently し て line う gimmick に お い て, そ の rhythm の surface か ら の quality line up を い, そ の unseen fruit を 聴 take be 験 に よ り confirm し た. 3. プ レ ゼ ン テ ー シ ョ ン を し scenarios, the book き leaf で mark whatever さ れ た text content か ら, ジ ェ ス チ ャ ー タ グ pay き words し said leaf の article を automated に す る gimmick を open 発 し た. Generate された text, ら sound synthesis, を lines, うため, <s:1> rhythm control, を検 to seek た. 4. The function of emotional expression pay き マ ル チ モ ー ダ ル プ レ ゼ ン テ ー シ ョ ン account words MPML の open 発 を め, output さ れ る emotional sounds の 観 point か ら review 価 を line っ た. Youdaoplaceholder0, trial experience によ によ, emotional voice がユ ザに ザに and える effect を key べた. 5. Optimum 応 technology に よ り arbitrary の words, tone の sounds を generated す る た め の HMM voice synthesis with the sound of the average モ デ ル の line quality improvement を っ た. Learning デ ー が タ quantity limit ら れ て い る occasions へ の 処 gimmick seaborne と し て, context ク ラ ス タ と words study optimum 応 を import す る こ と を line っ た. ま た, モ ー フ ィ ン グ に よ り, kind of 々 の words, tone の sounds の synthetic が may な こ と を shown し た. 6. ス ペ ク ト ル, F0, 継 続 long を unified に Cha う HMM voice synthesis に お い て, phoneme HMM の optimum 応 に よ り emotion sounds を synthetic す る こ と を line っ た. Youdaoplaceholder0 based on the actual experience によ 聴 and the intention た emotion が has an effect に伝 to される される とを とを confirm that た.

项目成果

塚原渉: "Responding to subtle, fleeting changes in the user's internal state"CHI Letters. 3・1. 77-84 (2001)

Wataru Tsukahara：“响应用户内部状态的微妙、短暂的变化”CHI Letters 3・1 (2001)。

田中智宏: "瞬時周波数振幅スペクトルに基づくピッチ抽出法の検討"電子情報通信学会技術報告(音声研究会). (発表予定). (2001)

Tomohiro Tanaka：“基于瞬时频率幅度谱的基音提取方法的研究”IEICE 技术报告（语音研究组）（演示文稿预定）。

Keikichi Hirose: "Corpus-based synthesis of F0 contours for emotional speech using the generation process model"Proceedings 15th International Congress of Phonetic Sciences. 3. 2945-2948 (2003)

Keikichi Hirose：“使用生成过程模型基于语料库合成情感语音的 F0 轮廓”第 15 届国际语音科学大会论文集。

Keikichi Hirose: "Speech prosody in spoken language processing(invited)"Proccedings International Conference on Computer and Information Technology. 1. 20-27 (2003)

广濑圭吉：《口语处理中的语音韵律（特邀）》计算机与信息技术国际会议论文集。

Keikichi Hirose: "Improved corpus-based synthesis of fundamental frequency contours using generation process model"Proc. International Conference on Spoken Language Processing. 2085-2088 (2002)

Keikichi Hirose：“使用生成过程模型改进基于语料库的基频轮廓合成”Proc。