韻律と声質を考慮した発話スタイルの検出機構の構築と実環境への適用

点击翻译按钮获取中文摘要

音声には,言葉の系列として表現される言語情報と,発話スタイル(言い方の違い)によって表現される意図、態度、感情などのパラ言語情報が含まれる。これまでのパラ言語情報の抽出に関する多くの研究は,韻律特徴を重視して来たが,自然発話音声では,気息性や非周期性などを含んだ声質が現れやすく,韻律情報以外に,より高度な音声理解を求めるためには声質情報を考慮することが重要となる。本研究ではさまざまなパラ言語情報を抽出することを目標とし,韻律と声質の特徴を考慮した発話スタイルの検出機構の構築を行った。また,実環境への応用の問題点を解決するために,マイクと話者が離れた状況でも発話スタイルが正しく検出される機構の実現を目指している。本年度では,声質の音響特徴の改善を行い,韻律と声質特徴の組み合わせで,「え」や「うん」のような非語彙的発話において,伝達される発話意図を識別するシステムを実現した。主な結果としては,韻律特徴は「肯定、相槌」,「聞き返し」,「考え中、戸惑い」など,意図を表現したカテゴリを識別するのに有効である一方,声質特徴は「驚き、意外」,「疑い、非難、嫌悪」,「感心」など感情や態度を表現したカテゴリを認識するのに有効であることが分かった。声質特徴に関しては,声帯の振動を測定したEGG(Electro-Glottograph)波形を用いて,声質との関連を調べ,声帯振動の生成の観点からりきみ発声の定義も提案した。また,マイクロホンアレイ処理をロボットに実装し,音声認識への評価を行いつつ,韻律や声質特徴への効果を調べた。