Development of advanced audio-visual speech communication system for transfer Kanseiinformation

开发用于传输感性信息的先进视听语音通信系统

• 批准号: 20700193
• 负责人: SAKAMOTO Shuichi
• 金额: $ 2.75万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2009
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-20700193/
• 关键词: 感性インタフェース; マルチモーダル情報処理; 視聴覚統合; ユニバーサルデザイン; 感性情報処理; 音声知覚; 読唇; 単語了解度

The aim of this study is to develop next generation audio-visual communication system. For this purpose, I investigated how people integrate speech sound and moving image of talker's face not only for understanding speech signal but also for perceiving a kind of sensational and emotional (Kansei) information. I focused on the effect of speech-rate for audio-visual speech understanding, because "speaking slowly" is very good way to talk to older adults, especially hearing impaired listeners. I used speech-rate conversion technique to slow down speech-rate and synthesized signal was combined with original movie. The results of experiment suggested that older adults are tolerant of audio-visual asynchrony. This fact implies the possibility of new audio-visual communication system, which enhance speech understanding by slowing down auditory information.

本研究的目的是开发下一代视听通信系统。为此，我调查了人们如何将语音和说话者面部的运动图像结合在一起，不仅是为了理解语音信号，也是为了感知一种耸人听闻的、情绪化的(感性)信息。我把重点放在语速对视听语音理解的影响上，因为说慢点是与老年人交谈的非常好的方式，特别是听力障碍的听众。我使用了语速转换技术来降低语速，并将合成的信号与原始电影结合起来。实验结果表明，老年人对视听不同步有一定的耐受性。这一事实暗示了新的视听通信系统的可能性，它通过减缓听觉信息来增强语音理解。

项目成果

高齢者を対象とした7, 8モーラ単語了解度における音声伸長量と話者映像の影響

语音扩展量和演讲者视频对老年人7、8节单词清晰度的影响

• 发表时间: 2009
• 作者: 石川智治;陳怡君;白川俊之;江田哲也;小黒久史;郭素梅;佐藤美恵;春日正男;阿山みよし;坂本修一
• 通讯作者: 坂本修一

Aging effect on audio-visual speech asynchrony perception: comparison of time-expanded speech and a moving image of a talker's face

老化对视听语音异步感知的影响：时间扩展语音与说话者面部运动图像的比较

• 发表时间: 2009
• 作者: 塚中諭;中間匠;木下雄一朗;S. Sakamoto
• 通讯作者: S. Sakamoto

高齢者を対象とした7,8モーラ単語了解度における音声伸長量と話者映像の影響

语音扩展量和演讲者视频对老年人7、8节单词清晰度的影响

• 发表时间: 2009
• 作者: 川西亮輔;山下淳;金子透;坂本修一
• 通讯作者: 坂本修一

Effect of seech-rate and a moving image of a speaker's face on 7 and 8-mora recognition in older adults

搜索率和说话者脸部的移动图像对老年人 7 和 8-mora 识别的影响

• 发表时间: 2009
• 作者: A. Tanaka;A. Koizumi;H. Imai;S. Hiramatsu;E. Hiramoto and B. de Gelder;高橋和利;Yukio Iwaya;大石敏之;沖田圭介;Shuichi Sakamoto
• 通讯作者: Shuichi Sakamoto