インタラクティブバーチャルアクター実現のための概念表現からの動作・音声生成

本研究は,与えられたシナリオに沿ってソフトウェアロポットが動作と音声発話を同時に自動生成し,それを提示されたユーザの指示に従って,自ら動作と音声発話の修正を行うという「インタラクティブバーチャルアクター」の枠組みの提案及びその理論的基礎を確立することを目的とし,研究の第二年度として,初年度に収集したデータと構築した理論に基づいた動作のモデル化を行い,これと同時に,気の利いた音声応答のための多様な音声合成の検討を進め,音声インタラクションを実現するプロトタイプシステムの構築を行った。まず,動作生成の実現に関して,机の上の物体を移動させる動作に着目し,任意の始点・終点位置を指定して所望の動作を生成可能なソフトウェアロボットをコンピュータ上に構築するとともに,「少し」や「もうちょっと」といった不明確性を含む動作表現に関する概念モデルの自動構築法を提案した。提案モデルは,木構造クラスタリングを利用して,学習データが十分存在しない指示語一動作の組み合わせに対してもある程度対応が可能であるという頑健性を持っている。実際に,提案モデルに基づいて不明確性を含む音声指示入力が可能な工一ジェントを実現し,評価実験を行った結果,実現した工一ジェントは,人間が人間に対して言葉により指示を出す場合と同様な動作が可能であることを明らかにした。また,気の利いた音声応答の実現のために,多様な声質や発話様式・感情表現が可能な音声合成手法ならびに音声の発話様式・感情の検出手法について,平均声モデルに基づく音声合成手法,重回帰隠れセミマルコフモデルに基づいた音声のスタイル制御手法,話者性の変換のための新たなモデル適応手法をはじめとして,種々の検討を行った。

本研究は,与えられたシナリオに沿ってソフトウェアロポットが動作と音声発話を同時に自動生成し,それを提示されたユーザの指示に従って,自ら動作と音声発話の修正を行うという「インタラクティブバーチャルアクター」の枠組みの提案及びその理論的基礎を確立することを目的とし,研究の第二年度として,初年度に収集したデータと構築した理論に基づいた動作のモデル化を行い,これと同時に,気の利いた音声応答のための多様な音声合成の検討を進め,音声インタラクションを実現するプロトタイプシステムの構築を行った。まず,動作生成の実現に関して,机の上の物体を移動させる動作に着目し,任意の始点・終点位置を指定して所望の動作を生成可能なソフトウェアロボットをコンピュータ上に構築するとともに,「少し」や「もうちょっと」といった不明確性を含む動作表現に関する概念モデルの自動構築法を提案した。提案モデルは,木構造クラスタリングを利用して,学習データが十分存在しない指示語一動作の組み合わせに対してもある程度対応が可能であるという頑健性を持っている。実際に,提案モデルに基づいて不明確性を含む音声指示入力が可能な工一ジェントを実現し,評価実験を行った結果,実現した工一ジェントは,人間が人間に対して言葉により指示を出す場合と同様な動作が可能であることを明らかにした。また,気の利いた音声応答の実現のために,多様な声質や発話様式・感情表現が可能な音声合成手法ならびに音声の発話様式・感情の検出手法について,平均声モデルに基づく音声合成手法,重回帰隠れセミマルコフモデルに基づいた音声のスタイル制御手法,話者性の変換のための新たなモデル適応手法をはじめとして,種々の検討を行った。