音声と文字の統合利用による非言語情報の表現

音声信号に含まれる抑揚などの感性情報が人間のコミュニケーションにおいて重要な役割を果しており、テレビ番組、ビデオ映像などで字幕を介しての音声情報伝達には、感性情報をどのように付加して表現するかが重要な課題になっている。本研究は音声と文字情報を統合したテレビ字幕の多様な表現を実現するため、今年度は以下のように研究を進めた。1.本年度は感性情報を拡充して、音楽聴取時の印象と情動について検討を行った。曲の印象、情動、嗜好性の記述によるものでは、嗜好性の違いにより“好き"な曲ほど「活動的快」、「親和」の情動が喚起しやすいが、逆に“好きではない"曲ほど「抑鬱・不安」の情動が喚起しやすいことがわかった。また、クラスター分析により「興奮性と沈静性」、「陽性と陰性」の軸にわけると、印象により喚起する情動が異なることがわかった。更に、嗜好性の別に分けると、“嫌い"な曲は否定的感情を大きく喚起することもわかった。これらの結果を字幕に取り込む予定である2.音声信号から非言語情報(高さ、強弱など)を抽出し、この非言語情報から得られる興奮や感情などに対する正常者の受け方について検討した。昨年度の3文節4感情の音声について、相対的に良い推定正解率が得られた。今年度では字幕の表現でも良い結果が得られ、さらに現在は文章についての推定、聴覚障害者にとっての見やすい字幕の表示法についても検討している。

音声信号に含まれる抑揚などの感性情報が人間のコミュニケーションにおいて重要な役割を果しており、テレビ番組、ビデオ映像などで字幕を介しての音声情報伝達には、感性情報をどのように付加して表現するかが重要な課題になっている。本研究は音声と文字情報を統合したテレビ字幕の多様な表現を実現するため、今年度は以下のように研究を進めた。1.本年度は感性情報を拡充して、音楽聴取時の印象と情動について検討を行った。曲の印象、情動、嗜好性の記述によるものでは、嗜好性の違いにより“好き"な曲ほど「活動的快」、「親和」の情動が喚起しやすいが、逆に“好きではない"曲ほど「抑鬱・不安」の情動が喚起しやすいことがわかった。また、クラスター分析により「興奮性と沈静性」、「陽性と陰性」の軸にわけると、印象により喚起する情動が異なることがわかった。更に、嗜好性の別に分けると、“嫌い"な曲は否定的感情を大きく喚起することもわかった。これらの結果を字幕に取り込む予定である2.音声信号から非言語情報(高さ、強弱など)を抽出し、この非言語情報から得られる興奮や感情などに対する正常者の受け方について検討した。昨年度の3文節4感情の音声について、相対的に良い推定正解率が得られた。今年度では字幕の表現でも良い結果が得られ、さらに現在は文章についての推定、聴覚障害者にとっての見やすい字幕の表示法についても検討している。