沈黙のジャック・タチ：視線・GSR計測を用いた映像における音の役割の実験的検討

点击翻译按钮获取中文摘要

本研究では、映画等の映像表現の物語認知・理解に対して音が果たしている役割(説話機能)について、質的研究手法(観察等)と生理(視線)計測を含む実験的手法の両面から包括的な理解を目指すことを目的としている。研究期間2年目にあたる令和4年度では、初年度令和3年の成果を受けて、半実験的アプローチによる検討をさらに深めるとともに、それらをもとにした実験的検討を開始する。具体的には、実験刺激となる映画作品をさらに広げながら、それらのシーンを実験参加者が視聴する際にサウンドトラックを再生した場合としない場合(無音)の時で、そのシーンに対する参加者の物語理解がどのように変化するかを、参加者が受け止めたストーリーや登場人物の心情等を言語報告させ、質的データ分析アプリケーションを用いて分析を行った。さらに、音が実験参加者（視聴者）の最終的な映像の物語理解（映像体験）にもたらす影響を媒介するひとつの変数として視線を仮定し、先述の半実験的手法で明らかになった音の説話機能の定性的理解をもとに、実際に音が映像視聴時の視線のあり方に影響し、さらにはそのことが物語理解に影響するような因果的な影響関係が認められるかを実験的に検討した。その結果、作品を広げた場合にも音の映像の物語理解への影響が一定の傾向を持つことがさらに確認された。また、それらの音の影響の定性的理解をもとにAOI（Area of Interest：視線計測の際のターゲット領域）を動的に設計して計測したところ、音の有無によってAOIに対する固視量が有意に異なる（音の有無によってどこをどの程度見るかが変わる）ことが明らかになり、映画の音がその物語理解に影響するとき、視線がなんらかの媒介項として機能していることが実験的に示唆された。これらの成果は査読付き論文として公表された。