音声の情動判断に及ぼす視覚情報の影響と文化間の比較

コミュニケーションの送り手の属する文化的背景の条件と、受け手の属する文化的背景について、それぞれ話者条件、聞き手条件として、日本人とアメリカ人の場合を比較した。さらに、受け手と聞き手の間の文化的一致・不一致が、情動認知の成績にどのような影響を及ぼすのかについても調べた。今年度は、ダビングの手法を用いて、音声と顔面表情の間で情動が矛盾する刺激に対して、日本人とアメリカ人をそれぞれ話者とした場合(話者条件)について、日本人とアメリカ人の被験者(聞き手条件)の認知成績にどのような差異があるのかについて実験的に検討した。有意味ではあるが特定の感情を表さない5つの語および単文を日本語及び英語それぞれについて選び、「幸福」「驚き」「怒り」「嫌悪」「恐れ」「悲しみ」の6つの基本的な感情を表すように、日本人とアメリカ人のプロの俳優各一名が発話した。被験者は、日本人大学生7名とアメリカ人大学生5名であった。提示条件は、「聴覚(音声)のみ」「視覚(顔面表情)のみ」「視聴覚(音声+顔面表情)」の3条件とした。結果は、音声による情動認知は被験者と同じ文化に属する話者の方が高く、顔面表情運動による情動認知はアメリカ人話者の方が高いことが認められた。これは情動を表す表情がオーバーなアメリカ人話者の場合には積極的に表情を利用するが、音声の情動を判断する場合には、話者が日本人であるかアメリカ人であるかの違いよりも、聞き手(被験者)と同じ文化に属する話者に対する情動判断の方がより正確になることを示していると考えられる。視聴覚条件では、音声と映像の情動が一致している場合の平均同定率はほぼ等しく、視聴覚間で情動が矛盾してる場合には全体的に音声への同定率よりも映像への同定率の方がずっと高かった。音声への同定率は、同じ文化に属する話者の認知成績の方が良かった。しかし、映像への同定率ではこの傾向が逆転し、異文化の話者の方が高い傾向にあった。これは、異文化の話者の場合、音声と映像が矛盾すると、もともと認知成績の高い認知の容易な映像情報を優先して用いようとするためではないかと考えられる。それに対して、同文化の話者の場合には、矛盾した視聴覚刺激の中から、音声情報へも注意を払って視聴覚情報の統合が行われ、映像への同定率が低下するのではないかと考えられる。以上の傾向はあまり大きくはないが、日本人被験者もアメリカ人被験者もともに認められた。

コミュニケーションの送り手の属する文化的背景の条件と、受け手の属する文化的背景について、それぞれ話者条件、聞き手条件として、日本人とアメリカ人の場合を比較した。さらに、受け手と聞き手の間の文化的一致・不一致が、情動認知の成績にどのような影響を及ぼすのかについても調べた。今年度は、ダビングの手法を用いて、音声と顔面表情の間で情動が矛盾する刺激に対して、日本人とアメリカ人をそれぞれ話者とした場合(話者条件)について、日本人とアメリカ人の被験者(聞き手条件)の認知成績にどのような差異があるのかについて実験的に検討した。有意味ではあるが特定の感情を表さない5つの語および単文を日本語及び英語それぞれについて選び、「幸福」「驚き」「怒り」「嫌悪」「恐れ」「悲しみ」の6つの基本的な感情を表すように、日本人とアメリカ人のプロの俳優各一名が発話した。被験者は、日本人大学生7名とアメリカ人大学生5名であった。提示条件は、「聴覚(音声)のみ」「視覚(顔面表情)のみ」「視聴覚(音声+顔面表情)」の3条件とした。結果は、音声による情動認知は被験者と同じ文化に属する話者の方が高く、顔面表情運動による情動認知はアメリカ人話者の方が高いことが認められた。これは情動を表す表情がオーバーなアメリカ人話者の場合には積極的に表情を利用するが、音声の情動を判断する場合には、話者が日本人であるかアメリカ人であるかの違いよりも、聞き手(被験者)と同じ文化に属する話者に対する情動判断の方がより正確になることを示していると考えられる。視聴覚条件では、音声と映像の情動が一致している場合の平均同定率はほぼ等しく、視聴覚間で情動が矛盾してる場合には全体的に音声への同定率よりも映像への同定率の方がずっと高かった。音声への同定率は、同じ文化に属する話者の認知成績の方が良かった。しかし、映像への同定率ではこの傾向が逆転し、異文化の話者の方が高い傾向にあった。これは、異文化の話者の場合、音声と映像が矛盾すると、もともと認知成績の高い認知の容易な映像情報を優先して用いようとするためではないかと考えられる。それに対して、同文化の話者の場合には、矛盾した視聴覚刺激の中から、音声情報へも注意を払って視聴覚情報の統合が行われ、映像への同定率が低下するのではないかと考えられる。以上の傾向はあまり大きくはないが、日本人被験者もアメリカ人被験者もともに認められた。