視覚経験に基づく顔の親近性がマルチモーダルな顔処理に与える影響の検討

顔の視覚処理には、親近性の高い顔を効率的に処理するという特徴がある。これは視覚経験により特定の顔集団に対して親近性が形成されることで生じる。一方、現実場面において、人が周囲の環境を通して受容するのは、視覚刺激としての顔ではなく、声、接触などを伴うマルチモーダルな顔である。顔と音声の統合などのマルチモーダルな顔処理にも、顔の親近性が影響すると想定されているが、実証的な検討はこれまでほとんどない。そこで本研究では、複数の行動実験により、視覚経験に基づく顔の親近性が、マルチモーダルな顔処理に影響するかを明らかにすることを目的とする。令和4年度は、顔が関わる視聴覚の錯覚であるマガーク効果を用いて、日本とフィンランドの成人を対象に、日本人刺激、フィンランド人刺激を用いてマガーク効果を測定したデータを比較し、マガーク効果における顔の親近性（話者の民族性の違い）の影響の交差検証を進めた。日本の成人を対象とした実験は所属機関において、フィンランドの成人を対象とした実験は共同研究先であるヘルシンキ大において、それぞれデータ取得を行った。現在データ解析を進めており、主な結果として、話者の民族性の違いは存在するものの効果は微小であり、刺激間で音声明瞭度や読唇難易度の違いが大きい場合には、話者の民族性の違いが消失することが示された。これらの研究結果については、国際学会での発表や国際誌への投稿を含め、成果公表を進めている。

顔の視覚処理には、親近性の高い顔を効率的に処理するという特徴がある。これは視覚経験により特定の顔集団に対して親近性が形成されることで生じる。一方、現実場面において、人が周囲の環境を通して受容するのは、視覚刺激としての顔ではなく、声、接触などを伴うマルチモーダルな顔である。顔と音声の統合などのマルチモーダルな顔処理にも、顔の親近性が影響すると想定されているが、実証的な検討はこれまでほとんどない。そこで本研究では、複数の行動実験により、視覚経験に基づく顔の親近性が、マルチモーダルな顔処理に影響するかを明らかにすることを目的とする。令和4年度は、顔が関わる視聴覚の錯覚であるマガーク効果を用いて、日本とフィンランドの成人を対象に、日本人刺激、フィンランド人刺激を用いてマガーク効果を測定したデータを比較し、マガーク効果における顔の親近性（話者の民族性の違い）の影響の交差検証を進めた。日本の成人を対象とした実験は所属機関において、フィンランドの成人を対象とした実験は共同研究先であるヘルシンキ大において、それぞれデータ取得を行った。現在データ解析を進めており、主な結果として、話者の民族性の違いは存在するものの効果は微小であり、刺激間で音声明瞭度や読唇難易度の違いが大きい場合には、話者の民族性の違いが消失することが示された。これらの研究結果については、国際学会での発表や国際誌への投稿を含め、成果公表を進めている。