違和感の判断と同時性判断の乖離に注目した多感覚情報処理メカニズムの解明

以不适判断与同时性判断差异为重点的多感官信息处理机制的阐释

• 批准号: 22K03198
• 负责人: 藤崎 和香
• 金额: $ 2.66万
• 依托单位: Japan Women's University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K03198/
• 关键词: 多感覚知覚; 時間知覚; 質感知覚; マルチモダリティ; 映像と音声; 同時性判断; 感覚フィードバック; 時間ずれ; 多感覚情報処理; 違和感判断; マルチモーダル

現在、日常生活の中にオンラインが入り込み、ビデオ会議や動画視聴などにおける映像と音声の時間ずれに対する「違和感」がこれまで以上に重要な問題となっている。「違和感」は視聴者が映像と音声のずれに気付いている場合にも生じるが、ずれがあってもそのことに気付いていない場合にも生じる。本研究では、視覚、聴覚、触覚というように感覚をまたがった時間ずれが「同時である」と知覚されているにもかかわらず「違和感」を生じさせる場合に、そのような「違和感」がどのような手がかりに基づいて、どのように符号化され、多感覚情報処理のどの階層において処理されるのかを解明することを目指す。今年度はまず、日常生活で視聴する様々なタイプの動画（例：「料理」、「楽器演奏」など）について、映像と音声のタイミングをさまざまに変化させて、「違和感評価」、「同時性判断」、「時間順序判断」、「質感評価」行った。詳細については現在分析中であるが、全体の傾向として、同じ時間ずれ刺激に対する「違和感評価」、「同時性判断」、「時間順序判断」、「質感評価」には乖離が見られることが示された。　特に「料理」の動画において、映像と音声のずれを直接問われても気づかないにも関わらず、「違和感」や「質感」として問われると気づくといった例がみられた。今年度、日常で経験する様々なタイプの動画について探索的にデータを取得したことによって、今後より精緻でシステマティックな実験を実施していくにあたっての貴重な示唆を得ることができた。

目前，在线变得比以往任何时候都变得越来越重要，视频会议和视频观看期间视频和音频之间的时间差异的“不适”正成为一个更加重要的问题。当观众注意到视频和音频之间的差异时，也会发生“不适”，但是当观众存在差异时，也不会注意到它。在这项研究中，当视觉，听力和触摸等感觉之间存在时间差异，被认为是“同时”，但仍然会引起“不适感”时，目的是阐明什么提示，这种“不适感”如何编码，以及在多感觉信息处理的哪一层。今年，我们首先为我们在日常生活中观看的各种视频（例如，烹饪，演奏乐器等）进行了各种视频和音频时间，并评估了不适，同时，同时性，时间顺序和纹理。目前正在分析详细信息，但表明总体趋势包括“不适评估”，“同时判断”，“时间顺序评估”和“纹理评估”之间的差异。特别是，在“烹饪”的视频中，在某些情况下，人们注意到他们并不直接意识到视频和音频之间的区别，而是被质疑为“不适”或“纹理”。今年，通过获取有关我们在日常生活中经历的各种视频的探索数据，我们能够获得有价值的建议，以便将来进行更精致和系统的实验。