Integration of auditory and visual information in human communication

人类交流中听觉和视觉信息的整合

• 批准号: 20300080
• 负责人: MOCHIZUKI Kaname
• 金额: $ 7.82万
• 依托单位: Teikyo University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-20300080/
• 关键词: 感性認知科学; 視聴覚統合; 対人コミュニケーション; 映像音声の同期; 実験心理学; 通信品質; テレコミュニケーション; リップシンク; 知覚音量の変化

We examined the interactions between audio and visual information in human oral communications using the asynchrony detection tasks. We found some cultural factors in asynchrony detection such as native language of speakers and listeners, facial features, and so on. The understandability of the meaning of sentences are also seemed to be important for asynchrony detection. We also found the phenomenon in which the percepted volume of sound decrease when the audio and visual information is no synchronized. Our experiments on the contributions of the visual information to speech understandings shows there is large individual differences in utilization of visual information to speech cognition.

本研究采用语音检测任务考察了人类口头交流中听觉和视觉信息的相互作用。我们发现，在歧义检测中存在一些文化因素，如说话人和听话人的母语、面部特征等，句子意义的可理解性对歧义检测也很重要。我们还发现了当视听信息不同步时，感知音量降低的现象。通过对视觉信息对言语理解贡献的实验，我们发现视觉信息在言语认知中的利用存在很大的个体差异。

项目成果

発話者の顔映像による音声聞き取りへの効果

说话人面部图像对语音可听度的影响

• 发表时间: 2010
• 作者: Hamido Fujita;Jun Hakura;Masaki Kurematsu;伊東和廣・望月要・大西仁・中村直人
• 通讯作者: 伊東和廣・望月要・大西仁・中村直人

使用言語が視聴覚相互作用に与える影響:同時性判断および音量知覚への影響

语言对视听交互的影响：对同时性判断和响度感知的影响

• 发表时间: 2011
• 作者: 浜崎真一;矢向高弘;大西仁・望月要
• 通讯作者: 大西仁・望月要

音声・映像の非同期が与える心理的効果:使用言語の影響(4)

音视频异步的心理影响：所用语言的影响 (4)

• 发表时间: 2010
• 作者: S.Hamasaki;Takahiro Yakoh;小林哲則;井口時男;大西仁・望月要
• 通讯作者: 大西仁・望月要

音声・映像の非同期が与える心理的効果:使用言語の影響(2)

音视频异步的心理影响：所用语言的影响（2）

• 发表时间: 2009
• 作者: Jun Hakura;Masaki Kurematsu;Hamido Fujita;大西仁・望月要
• 通讯作者: 大西仁・望月要

視聴覚情報の非同期が音量知覚に与える影響(2)

视听信息异步对响度感知的影响（2）

• 发表时间: 2012
• 作者: K.Koyama;T.Yakoh;佐々木浩,中野鐵兵,藤江真也,小林哲則;村井源;天沼沙織・榑松理樹・羽倉淳・藤田ハミド;大西仁・望月要
• 通讯作者: 大西仁・望月要