聴覚障害者のための音声同時字幕システムにおける最適情報呈示に関する研究

点击翻译按钮获取中文摘要

音声認識を用いたリアルタイム字幕システムの研究を行っている.現状では精度100%の字幕の提供は困難であり,字幕には誤認識単語などの間違いが含まれた不完全な文章になる.重要なのは伝達する内容の理解を100%に近づけることであり,そのためには不完全部分を補うための情報を最適に呈示することが重要になる.本年度は,次の2つの小項目に関し,被験者を増やした時に同様の傾向が得られるかを確認した.1.不完全な文に対し話者の顔などのノンバーバル情報の活用による効果とその最適表示の方法,1-1 ノンバーバル情報として顔のどの領域を呈示するのが良いか.1-2 ノンバーバル情報と字幕との呈示タイミングをどう制御するのが良いか.1-1では,不完全文からなる字幕のみの呈示(字幕のみ)をコントロールとして,不完全文に対し話者の発話時の顔全体映像を付加した場合(字幕+顔),同状態における口元近接映像を付加した場合(字幕+口元)の3種で比較した。完全文(正解文)に対する回答文の正答率を文理解の向上の指標として健聴者と聴覚障害者に対し実験を行った結果,いずれの被験者群においても正答率は,「字幕のみ」<「字幕十顔」<「字幕十口元」となる傾向を示した.このことからノンバーバル情報を付加することで文理解が向上する傾向が確認された.聴覚障害者においては統計的にこの傾向が確認された.1-2では,ノンバーバル情報として話者の発話時の顔全体映像を用い,ノンバーバル情報に対して不完全文の呈示に時差(-5秒〜+5秒)を設けた試料に対し,いずれの時差が文理解の向上に貢献するかを比較した.先の実験と同様に正答率を聴覚障害者と健聴者で求めた結果,正答率は時差なし(±0秒)ではあまり向上が認められず,字幕先行側に1秒ずらした場合(-1秒(字幕先行1秒))が高くなる傾向を示した.また字幕先行側に外れるほど正答率が単調増加する傾向を示した.これらの傾向は聴覚障害者・健聴者を問わず確認された.