漸次的な音声認識の解探索過程における韻律句境界情報の利用

韻律パターンおよびアクセント句等の韻律情報を音響情報と併用し,漸次的な音声対話システムの探索途中における相槌応答についての検討を行なった.1)漸次的な韻律処理部の構築先行研究(信学論(A),VOl.J77-A, No.2, pp206-214, 1994年2月)のアクセント句境界検出器にHMM(Hidden Markov Model)を導入し,尤度最大基準によって句境界を検出するようにした.また,この検出器から得られる任意の時刻までの句境界仮説を用いて,その時刻における韻律信頼度(句境界らしさ)を定量化し,時間に同期して出力するように改良した.2)漸次的な音声認識部の構築任意の時刻における音声認識の探索解候補を漸次的にユーザにフィードバックするような音声認識部を整備した.音声認識エンジンとして,IPA(情報処理振興事業協会)の研究成果物"julius"を利用し、これを漸次的出力型に改良した.また,認識候補の尤度差を用いて,音響信頼度(認識の確からしさ)を定量化した.3)音声認識部と韻律処理部の統合韻律信頼度と音響信頼度の結合関数である総合信頼度を用いて,意味的にまとまりのある時刻(文節,韻律句などの発声直後)で,かつ認識候補が確からしい場合に相槌を打つシステムを構築した.この他に,各信頼度を入力特徴量として相槌挿入度を出力するニューラルネットワークを学習し,出力の大小に応じて相槌音声と合成顔画像の頷きの強弱を変化する擬人化対話エージェントを構築した.4)音声資料の収集および評価平成12年度は発声が明瞭な音声として,ATR日本語連続音声データベース・セットBを用いた評価を行なった.これに加えて,平成13年度は,新たに収集した対話型の音声について,5人の聴取者が相槌を挿入し,発声のある時刻における相槌の打ち易さの度合を示す相槌挿入度を付与し,評価に用いた.

韻律パターンおよびアクセント句等の韻律情報を音響情報と併用し,漸次的な音声対話システムの探索途中における相槌応答についての検討を行なった.1)漸次的な韻律処理部の構築先行研究(信学論(A),VOl.J77-A, No.2, pp206-214, 1994年2月)のアクセント句境界検出器にHMM(Hidden Markov Model)を導入し,尤度最大基準によって句境界を検出するようにした.また,この検出器から得られる任意の時刻までの句境界仮説を用いて,その時刻における韻律信頼度(句境界らしさ)を定量化し,時間に同期して出力するように改良した.2)漸次的な音声認識部の構築任意の時刻における音声認識の探索解候補を漸次的にユーザにフィードバックするような音声認識部を整備した.音声認識エンジンとして,IPA(情報処理振興事業協会)の研究成果物"julius"を利用し、これを漸次的出力型に改良した.また,認識候補の尤度差を用いて,音響信頼度(認識の確からしさ)を定量化した.3)音声認識部と韻律処理部の統合韻律信頼度と音響信頼度の結合関数である総合信頼度を用いて,意味的にまとまりのある時刻(文節,韻律句などの発声直後)で,かつ認識候補が確からしい場合に相槌を打つシステムを構築した.この他に,各信頼度を入力特徴量として相槌挿入度を出力するニューラルネットワークを学習し,出力の大小に応じて相槌音声と合成顔画像の頷きの強弱を変化する擬人化対話エージェントを構築した.4)音声資料の収集および評価平成12年度は発声が明瞭な音声として,ATR日本語連続音声データベース・セットBを用いた評価を行なった.これに加えて,平成13年度は,新たに収集した対話型の音声について,5人の聴取者が相槌を挿入し,発声のある時刻における相槌の打ち易さの度合を示す相槌挿入度を付与し,評価に用いた.