インタラクティブバーチャルアクター実現のための概念表現からの動作・音声生成

从概念表示生成运动/声音以实现交互式虚拟演员

• 批准号: 17650046
• 负责人: 小林 隆夫
• 金额: $ 2.05万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-17650046/
• 关键词: 動作生成; ソフトウェアロボット; 不明確性; 木構造クラスタリング; 音声合成; 平均声モデル; モデル適応; 重回帰隠れセミマルコフモデル; 動作プリミティブ; 隠れマルコフモデル(HMM); 隠れセミマルコフモデル(HSMM); 重回帰HSMM; モーションキャプチャ

本研究は,与えられたシナリオに沿ってソフトウェアロポットが動作と音声発話を同時に自動生成し,それを提示されたユーザの指示に従って,自ら動作と音声発話の修正を行うという「インタラクティブバーチャルアクター」の枠組みの提案及びその理論的基礎を確立することを目的とし,研究の第二年度として,初年度に収集したデータと構築した理論に基づいた動作のモデル化を行い,これと同時に,気の利いた音声応答のための多様な音声合成の検討を進め,音声インタラクションを実現するプロトタイプシステムの構築を行った。まず,動作生成の実現に関して,机の上の物体を移動させる動作に着目し,任意の始点・終点位置を指定して所望の動作を生成可能なソフトウェアロボットをコンピュータ上に構築するとともに,「少し」や「もうちょっと」といった不明確性を含む動作表現に関する概念モデルの自動構築法を提案した。提案モデルは,木構造クラスタリングを利用して,学習データが十分存在しない指示語一動作の組み合わせに対してもある程度対応が可能であるという頑健性を持っている。実際に,提案モデルに基づいて不明確性を含む音声指示入力が可能な工一ジェントを実現し,評価実験を行った結果,実現した工一ジェントは,人間が人間に対して言葉により指示を出す場合と同様な動作が可能であることを明らかにした。また,気の利いた音声応答の実現のために,多様な声質や発話様式・感情表現が可能な音声合成手法ならびに音声の発話様式・感情の検出手法について,平均声モデルに基づく音声合成手法,重回帰隠れセミマルコフモデルに基づいた音声のスタイル制御手法,話者性の変換のための新たなモデル適応手法をはじめとして,種々の検討を行った。

This study aims to establish the theoretical basis for the proposal of the group and the theory of self-action and sound transmission along with the automatic generation of motion and sound transmission, prompt and instruction, and self-action and sound transmission correction. The second year of the study In the beginning of the year, the collection of sound data and the construction of sound data. In this paper, we propose a method for automatic construction of motion generation, which is related to the realization of motion generation, the movement of objects on the machine, the desired movement of objects on the machine, the desired movement of objects on the machine, and the movement of objects on the machine. The proposal is to use the wood structure to learn the characteristics of the environment. The combination of indicators and actions is to be used to determine the degree to which the environment is likely to be robust. In fact, the proposal is based on uncertainty, including audible indications, and the results of the evaluation are available, and the results are available. In addition, the sound quality of the voice is different from the sound quality of the voice. The voice quality is different from the sound quality. The The species is under investigation.

项目成果

Constrained structural maximum a posteriori linear regression for average-voice-based speech synthesis

基于平均语音的语音合成的约束结构最大后验线性回归

• 发表时间: 2006
• 期刊: Proc. 9th International Conference on Spoken Language Processing, INTERSPEECH 2006 - ICSLP
• 作者: Seungzoo Jeong;Woong Choi;Naoki Hashimoto;Makoto Sato;川島啓吾;Junichi Yamagishi;Yuji Nakano
• 通讯作者: Yuji Nakano

Average-Voice-Based Speech Synthesis Using HSMM-Based Speaker Adaptation and Adaptive Training

• DOI: 10.1093/ietisy/e90-d.2.533
• 发表时间: 2007-02
• 期刊: IEICE Trans. Inf. Syst.
• 作者: J. Yamagishi;Takao Kobayashi

不明確性を含む動作表現のためのモデル構築法の検討

含歧义运动表达模型构建方法的检验

• 发表时间: 2007
• 期刊: 電子情報通信学会2007年総合大会講演論文集
• 作者: Seungzoo Jeong;Woong Choi;Naoki Hashimoto;Makoto Sato;川島啓吾
• 通讯作者: 川島啓吾

重回帰HSMMを用いた音声のスタイル制御における多様性の検討

使用多元回归 HSMM 检查语音风格控制的多样性

• 发表时间: 2006
• 期刊: 日本音響学会2006年秋季研究発表会講演論文集
• 作者: Seungzoo Jeong;Woong Choi;Naoki Hashimoto;Makoto Sato;川島啓吾;Junichi Yamagishi;Yuji Nakano;井澤信介;橘 誠
• 通讯作者: 橘 誠

合成音声のスタイル制御における話者適応の検討

合成语音风格控制中的说话人自适应研究

• 发表时间: 2006
• 期刊: 日本音響学会2006年秋季研究発表会講演論文集
• 作者: Seungzoo Jeong;Woong Choi;Naoki Hashimoto;Makoto Sato;川島啓吾;Junichi Yamagishi;Yuji Nakano;井澤信介
• 通讯作者: 井澤信介