身体表現と声色からのマルチモーダル感情知覚プロセス　文化と発達的視点からの検討

点击翻译按钮获取中文摘要

我々は相手の顔を見たり声を聞いたりと、感情をマルチモーダルに読み取っている。従来の検討は顔と声の組み合わせからの読み取りに焦点が当てたものが多かったが、本研究では、身体表現と声色からのマルチモーダル感情知覚に焦点を当て、そのプロセスを文化差と発達的変化の視点から検討する。そして、マルチモーダル感情知覚モデルの構築を目指す。この実現にあたって、日本人による身体表現を用いたマルチモーダルデータベースの作成、マルチモーダル感情知覚様式の比較文化的検討、マルチモーダル感情知覚様式の発達的変化の検討の3つの側面から研究を行うものである。令和4年度は、データベース作成に向けての計画および撮影の準備と、マルチモーダル感情知覚様式の発達的変化にかかわる検討とデータの解析を行った。その結果、身体表現と声色の組み合わせからのマルチモーダル感情知覚は、顔と声の組み合わせのときには視覚情報から聴覚情報の方向に重視する手がかりがシフトするのに対して、身体表現と声の組み合わせではその逆に、聴覚情報から視覚情報に重視する手がかりがシフトすることが明らかとなった。また、身体表現を行うアクターの文化による影響も大きく、アクターが内集団であるほうが身体表現が伝わりやすいことも示唆された。さらに、身体表現を静止画にすると年齢を問わず一貫して声の影響が強まるが、身体表現が動画のときには静止画よりも声の影響が弱まるというように、感情知覚における時間的情報の重要性も示された。