音声の情動判断に及ぼす視覚情報の影響と文化間の比較

点击翻译按钮获取中文摘要

話者の情動を認知する場合、表情だけではなく音声情報や視覚と聴覚の相互作用も重要な役割を果たしていると考えられる。この点を調べるために、音声のみ条件、視覚のみ条件、視聴覚条件の3つの提示条件のもとで、日本人評定者が日本人話者とアメリカ人話者の情動をどのように認知するか(話者条件)、表情が音声の情動と一致する場合と矛盾する場合に音声の情動判断はどのような影響を受けるか(視覚情報の影響)について、実験を行った。実験結果から、特に情動が幸福、驚き、恐れの場合は聴覚に比べて視覚の情動の選択率が非常に高いことが認められた。これに対して、情動が怒り、嫌悪、悲しみの場合には、音声の情動の選択率は上がり、視覚の情動の選択率も他の情動に比べると低い傾向にある。この傾向は話者条件の間で比較するとアメリカ人話者よりも日本人話者の方に強く認められた。怒り、嫌悪、悲しみのいずれも日本においてはコミュニケーション行動の際に偽ったり隠そうとしたりすることの多い情動と考えられ、音声の情動が選択されやすくなるのではないかと考えられる。このように、情動認知に及ぼす視覚情報の影響についても聞き手の属する文化の影響少なからず関与することが示唆された。