視聴覚音声情報の時空間相互作用に関する認知科学的研究

点击翻译按钮获取中文摘要

本研究課題は,音声における視聴覚情報処理の時空間相互作用の解明を目的としており,時間的・空間的要因を操作した場合に,人の話す映像と音声を視聴する際の人間の知覚がどのような影響を受けるかを検討するものである。この目的のために前年度は,単純化した聴覚音声刺激と顔画像を用いて,視聴覚間の時間的なずれへの感度を明らかにした。それに対し本年度は,空間的要因の操作として視覚刺激を単純化し,元画像の口唇部分と同様に時間変化する幾何学図形を作成した。これと自然音声を同時に提示し,図形が音声の聞き取り成績に与える影響を検討した。人間が音声を知覚する際,特に音声が不明瞭な場合には,話者の顔画像を見ることによって音声の聞き取り成績が向上する。しかし,顔画像に含まれるどのような情報によって聞き取りの向上が起こっているのかという問題については不明な点が多い。本研究では,視覚情報のなかでも顔としての知覚されやすさに着目し,音声が不明瞭な場合に顔として知覚されやすい画像を提示されると聞き取り成績が向上するかを検討した。実験刺激として,前述のような元の顔画像の口唇部分の面積や縦横長と同様に変化する幾何学図形(楕円)を作成し,それを単独で提示する場合と,それに目や輪郭に相当する円や線分が付加された場合の音声聴取成績を比較した。その結果,どちらの条件においても画像を提示したことによる音声聴取成績の向上は確認されなかった。この結果は,少なくとも今回用いた図形刺激の場合には,音声聴取成績の向上に顔としての知覚されやすさは大きな影響を与えないということを示唆する。