任意の話者性・感情表現・発話様式によるテキスト音声合成の実現

实现任意说话人特征、情绪表达、说话风格的文本语音合成

• 批准号: 04J04633
• 负责人: 山岸 順一
• 金额: $ 1.22万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-04J04633/
• 关键词: 音声合成; 音声信号処理; 統計的音声情報処理; 統計的音声合成; 隠れマルコフモデル; ヒューマンインターフェース; 多様な音声合成; 感情・発話様式を伴う音声合成; 感情表現を伴う音声合成; 多様な発話様式による音声合成; 統計的音声処理

本研究では,任意の話者性・感情表現・発話様式によるテキスト音声合成システムの実現を目標に,平均声と話者適応/スタイル適応技術を組み合わせた新たな音声合成方式の検討を行っている.昨年度は隠れセミマルコフモデルという通常の隠れマルコフモデルを拡張した統計モデルの枠組みを利用することで,スペクトルと基本周波数と音韻継続長という音声の3つの特徴量を同時に変換することが可能な話者適応アルゴリズムを開発し,その有効性を示した.しかし,上記の実験に用いた話者適応アルゴリズムは,最尤線形回帰という隠れマルコフモデルの出力分布の平均ベクトルをアフィン変換するだけの非常に単純な手法であり,より緻密で適切なモデル変換を頑健に行うためには話者適応アルゴリズムの改善が必要である.そこで本年度は,話者適応アルゴリズムの変換精度を向上させることを目的に,様々な話者適応アルゴリズムを隠れセミマルコフモデルの枠組みにおいて再定式化し,音声合成システムへ導入することで昨年度提案した手法との比較検討を行った.新たに検討したモデル適応アルゴリズムとしては,隠れセミマルコフモデルの出力分布の平均ベクトルだけでなく共分散行列も変換を行う制約付き最尤線形回帰や,変換パラメータの推定に最尤推定ではなく事後確率最大化推定を導入することでより少量のデータでも頑健に変換パラメータを推定できるように拡張した事後確率最大化線形回帰などを導入し,比較検討を行った。またこれらの制約付き線形回帰と事後確率最大化線形回帰を組み合わせた新たな話者適応アルゴリズムの開発も行い,話者適応のより一段の精度向上が図れたことを実験結果から確認した.さらにこれらの線形回帰によるモデル変換後に,データサンプルのある分布に対し事後確率最大化推定を行う手法も導入し,話者適応により変換された分布が利用可能なデータ量の増加に従い最尤推定の結果に漸近的に近づいていくことも確認した.この手法により、統一の枠組みで様々なデータ量に適したモデルを作成できる.また,これらの話者適応アルゴリズムを話者の変換ではなく,音声のスタイルの変換に利用するスタイル適応にも応用し,その有効性を検討した.スタイルを伴った音声の適応では基本周波数や音韻継続長が重要な役割を担っていることからこれらのモデル適応アルゴリズムの大きな効果が確認された.

This study aims to investigate the combination of voice and speech synthesis techniques for the realization of voice and speech synthesis systems. In the past year, the number of basic cycles and the number of phonemes in the three sets of sound characteristics were changed simultaneously, and the number of possible phonemes was changed. The average output distribution of the power distribution of the most linear return line is the average output distribution of the most linear return line. The average output distribution This year, the speaker's appropriate conversion accuracy is improved, and the speaker's appropriate conversion accuracy is improved. The new model is based on the average distribution of the output of the engine, and the average distribution of the output of the engine is based on the distribution of the output of the engine. A small amount of data is transferred to a large number of data sources. A large number of data sources are transferred to a large number of data sources. A large number of data sources are transferred to a large number of data sources. The first step is to restrict the linear return and maximize the post-validation rate. The second step is to optimize the linear return. The third step is to combine the new speaker with the new speaker. The fourth step is to optimize the accuracy of the first step. The method of maximizing the accuracy of the estimation is introduced, and the speaker is appropriately transformed into the distribution of the estimation of the maximum accuracy. This method is used to create a uniform set of objects. For example, if you want to change your voice, you can change your voice. It is confirmed that the basic cycle number of the sound is equal to the basic cycle number of the sound, and the sound is equal to the basic cycle number of the sound.

项目成果

Acoustic Modeling of Speaking Styles and Emotional Expressions in HMM-Based Speech Synthesis

• DOI: 10.1093/ietisy/e88-d.3.502
• 发表时间: 2005-03
• 期刊: IEICE Transactions on Information and Systems
• 影响因子: 0.7
• 作者: Junichi Yamagishi;Koji Onishi;T. Masuko;Takao Kobayashi

HSMM音声合成における話者適応とMAPに基づく音響モデル学習法

HSMM语音合成中基于说话人自适应和MAP的声学模型学习方法

• 发表时间: 2006
• 期刊: 日本音響学会2006年春季研究発表会講演論文集 2-4-19
• 作者: 緒方克海;中野雄資;山岸順一;小林隆夫
• 通讯作者: 小林隆夫

HMM音声合成のための話者正規化クラスタリングと話者正規化学習

用于 HMM 语音合成的说话人归一化聚类和说话人归一化学习

• 发表时间: 2006
• 期刊: 日本音響学会2006年春季研究発表会講演論文集 2-4-20
• 作者: 山岸順一;小林隆夫
• 通讯作者: 小林隆夫

多様な音声合成のためのモデル適応・適応学習アルゴリズムの検討

多样化语音合成的模型自适应和自适应学习算法研究

• 发表时间: 2005
• 期刊: 電子情報通信学会技術研究報告 Vol.105 No.252
• 作者: 磯貝朱里;緒方克海;中野雄資;山岸順一;小林隆夫
• 通讯作者: 小林隆夫

隠れセミマルコフモデルに基づく音声合成システムのためのスタイル適応手法の評価

基于隐半马尔可夫模型的语音合成系统风格适应方法评估

• 发表时间: 2005
• 期刊: 電子情報通信学会技術研究報告 Vol.105 No.252
• 作者: 橘誠;山岸順一;小林隆夫
• 通讯作者: 小林隆夫