沈黙のジャック・タチ：視線・GSR計測を用いた映像における音の役割の実験的検討

Silent Jacques Tati：使用凝视和 GSR 测量对声音在图像中的作用进行实验研究

• 批准号: 21K12565
• 负责人: 茅原 拓朗
• 金额: $ 2.75万
• 依托单位: Miyagi University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12565/
• 关键词: 物語認知; 映画; サウンドトラック; 説話機能; 視線計測; 質的研究法; 作品分析; 音響デザイン; マルチモーダル知覚; GSR

本研究では、映画等の映像表現の物語認知・理解に対して音が果たしている役割(説話機能)について、質的研究手法(観察等)と生理(視線)計測を含む実験的手法の両面から包括的な理解を目指すことを目的としている。研究期間2年目にあたる令和4年度では、初年度令和3年の成果を受けて、半実験的アプローチによる検討をさらに深めるとともに、それらをもとにした実験的検討を開始する。具体的には、実験刺激となる映画作品をさらに広げながら、それらのシーンを実験参加者が視聴する際にサウンドトラックを再生した場合としない場合(無音)の時で、そのシーンに対する参加者の物語理解がどのように変化するかを、参加者が受け止めたストーリーや登場人物の心情等を言語報告させ、質的データ分析アプリケーションを用いて分析を行った。さらに、音が実験参加者（視聴者）の最終的な映像の物語理解（映像体験）にもたらす影響を媒介するひとつの変数として視線を仮定し、先述の半実験的手法で明らかになった音の説話機能の定性的理解をもとに、実際に音が映像視聴時の視線のあり方に影響し、さらにはそのことが物語理解に影響するような因果的な影響関係が認められるかを実験的に検討した。その結果、作品を広げた場合にも音の映像の物語理解への影響が一定の傾向を持つことがさらに確認された。また、それらの音の影響の定性的理解をもとにAOI（Area of Interest：視線計測の際のターゲット領域）を動的に設計して計測したところ、音の有無によってAOIに対する固視量が有意に異なる（音の有無によってどこをどの程度見るかが変わる）ことが明らかになり、映画の音がその物語理解に影響するとき、視線がなんらかの媒介項として機能していることが実験的に示唆された。これらの成果は査読付き論文として公表された。

This study で は, used の image performance の monogatari, cognitive understanding, に し seaborne て sound が fruit た し て い cut る service function of (talk) に つ い て, qualitative research methods (観 examine, etc.) と physiological (line of sight) measuring を containing む be 験 gimmick の struck surface か ら including な understand を refers す こ と を purpose と し て い る. During the study period 2 years に あ た る make and 4 year で は を の achievements, at the beginning of year and 3 years by け て, half be 験 of ア プ ロ ー チ に よ る beg を 検 さ ら に deep め る と と も に, そ れ ら を も と に し た be 験 beg を 検 began to す る. Specific に は, be 験 stimulus と な る used works を さ ら に hiroo げ な が ら, そ れ ら の シ ー ン を be 験 participants が apparent 聴 す る interstate に サ ウ ン ド ト ラ ッ ク を regeneration し た occasions と し な い occasions (no sound) when の で and そ の シ ー ン に す seaborne る participants の monogatari understand が ど の よ う に variations change す る か を, participants が け check め た ス ト ー リ ー や dramatic personae の mood を words such as report さ せ, qualitative デ ー タ analysis ア プ リ ケ ー シ ョ ン を with い を line っ て analysis た. さ ら に, sound が be 験 participants (see 聴) の eventually な image の language understanding (image 験) に も た ら す media influence を す る ひ と つ の - several と し て sight を 仮 し, first described の half be 験 gimmick で Ming ら か に な っ た sound の speak function の qualitative understanding を も と に, the event be に が image visual 聴 の sight の あ り に influence し, さ ら に は そ の こ と が monogatari understand に affects す る よ う な causal な affect masato is が recognize め ら れ る か を be 験 of に beg し 検 た. そ の results, work を hiroo げ た occasions に も sound の image の monogatari understand へ の influence が の tendency を hold つ こ と が さ ら に confirm さ れ た. Youdaoplaceholder0, それら the sound of また affects the understanding of the nature of また を とにAOI (Area of Interest:) Vision measuring の interstate の タ ー ゲ ッ ト field) を に design し て measuring し た と こ ろ, sound の presence of に よ っ て AOI に す seaborne る fixation quantity が intentionally に different な る (の whether に よ っ て ど こ を ど の degree see る か が - わ る) こ と が Ming ら か に な り, used の sound が そ の monogatari understand に affects す る と き, the line of sight が な ん ら か の media items Youdaoplaceholder0 て functional <s:1> て る る る とが とが experimental に indication された. Youdaoplaceholder2 れら <s:1> results 読 check 読 submit <s:1> paper と て て public table された.

项目成果

映像の物語認知における音の役割の探索的検討

声音在视觉叙事感知中的作用的探索性研究

• 发表时间: 2022
• 期刊: 宮城大学研究ジャーナル
• 作者: 加藤彩;茅原拓朗
• 通讯作者: 茅原拓朗