視聴覚コンテンツにおける映像と音楽の適合性の効果の実験心理学的検討

点击翻译按钮获取中文摘要

本研究の目的は，短い映画のような視聴覚コンテンツにおいて映像と音楽が「適合している（適合していない）」と感じられる条件を特定し，そのように感じられる際の認知処理を実験心理学的手法により明らかにすることである。一般的な視聴覚統合では視覚と聴覚のタイミングや意味が不一致だと統合が促進されないが，映像と音楽の場合は，視聴覚情報の印象の不適合により，元の視覚情報や聴覚情報にはない印象（皮肉等）が創発される可能性が指摘されており，特殊な視聴覚統合として位置づけることができる。この着想に基づき，映像と音楽の適合性に寄与する情報の処理レベル（低次の知覚，中間的な感覚間協応，感情・意味等の高次処理）と，そのレベルが感性的な効果の生起のしかたに影響する可能性について，実験心理学的手法により明らかにする。1年目である2022年度は，短い視聴覚コンテンツにおける映像と音楽の感情（感情価（ポジティブ，ネガティブ）や覚醒度の高低）における適合性が，視聴覚コンテンツへの没入感の強さに与える影響を心理学実験により検討した。その結果，感情価と覚醒度が共に不適合であるときに没入感が最も低く，その条件に比べて，いずれか片方が適合でもう片方が不適合であるときのほうが有意に高まることが示された。しかし，そのような感情価や覚醒度における適合性の効果は，教示によって映像と音楽の関係に注目するように誘導するなどの操作の影響を受けやすいことを示唆する結果も得られた。映像と音楽の主観的調和感についても調べた。これらの研究成果の一部について，国内学会および国際学会で発表した。また，上記の実験的検討と並行して，映画など視聴覚コンテンツの鑑賞や読書における没入やその関連概念についての理論研究および実証研究の文献調査を行い，2年目以降の研究の理論的基盤を強化した。