違和感の判断と同時性判断の乖離に注目した多感覚情報処理メカニズムの解明

点击翻译按钮获取中文摘要

現在、日常生活の中にオンラインが入り込み、ビデオ会議や動画視聴などにおける映像と音声の時間ずれに対する「違和感」がこれまで以上に重要な問題となっている。「違和感」は視聴者が映像と音声のずれに気付いている場合にも生じるが、ずれがあってもそのことに気付いていない場合にも生じる。本研究では、視覚、聴覚、触覚というように感覚をまたがった時間ずれが「同時である」と知覚されているにもかかわらず「違和感」を生じさせる場合に、そのような「違和感」がどのような手がかりに基づいて、どのように符号化され、多感覚情報処理のどの階層において処理されるのかを解明することを目指す。今年度はまず、日常生活で視聴する様々なタイプの動画（例：「料理」、「楽器演奏」など）について、映像と音声のタイミングをさまざまに変化させて、「違和感評価」、「同時性判断」、「時間順序判断」、「質感評価」行った。詳細については現在分析中であるが、全体の傾向として、同じ時間ずれ刺激に対する「違和感評価」、「同時性判断」、「時間順序判断」、「質感評価」には乖離が見られることが示された。　特に「料理」の動画において、映像と音声のずれを直接問われても気づかないにも関わらず、「違和感」や「質感」として問われると気づくといった例がみられた。今年度、日常で経験する様々なタイプの動画について探索的にデータを取得したことによって、今後より精緻でシステマティックな実験を実施していくにあたっての貴重な示唆を得ることができた。