权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Development of high-definition audio-visual speech communication systems based on the knowledge of /kansei/ information processing

基于感性/信息处理知识的高清视听语音通信系统的开发

基本信息

批准号：
23500252
负责人：
SAKAMOTO Shuichi
金额：
$ 3.33万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2011
资助国家：
日本
起止时间：
2011 至 2013
项目状态：
已结题

项目摘要

It is important to transmit talker's mind including emotion for developing advanced communication system. Because not only speech signal itself but also moving image of talkers face includes rich information to understand what talker wants to tell, these information should be transmit accurately to the listeners. However, the relationship between the physical parameter extracted from audio-visual speech signal and /kansei/ information is unclear.The final goal of this study is to develop high-definition audio-visual speech communication systems. To do this, the effect of moving image of talker's face to speech understanding was investigated. The results of psychophysical experiments indicate that around the lips area is crucial to understand what talker says. Moreover, /kansei/ impression from audio-visual speech signal is also important for speech understanding.

传递说话者的思想和情感对于开发先进的通信系统是非常重要的。由于不仅语音信号本身，说话人面部的运动图像也包含着丰富的信息，以便理解说话人想说什么，所以这些信息必须准确地传递给听话人。然而，从视听语音信号中提取的物理参数与/感性/信息之间的关系尚不清楚，本研究的最终目标是开发高清晰度的视听语音通信系统。为此，研究了说话者人脸运动图像对语音理解的影响。心理物理实验结果表明，嘴唇周围区域对于理解说话者所说的话是至关重要的。此外，来自视听语音信号的/感性/印象对于语音理解也很重要。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

無意味 3連音節を用いた音素別明瞭度における視覚情報の寄与の分析

使用无意义的三音节分析视觉信息对音素特定可懂度的贡献

DOI：
发表时间：
2013
期刊：
日本音響学会聴覚研究会資料
影响因子：
0
作者：
長谷川玄;坂本修一;阿部亨;大谷智子;鈴木陽一;川瀬哲明
通讯作者：
川瀬哲明

The contribution of the detailed parts around talker's mouth for speech intelligibility

说话者嘴部周围细节部分对语音清晰度的贡献

DOI：
发表时间：
2014
期刊：
Proc. The 21st International Congress on Sound and Vibration (ICSV21)
影响因子：
0
作者：
S. Sakamoto;G. Hasegawa;T. Abe;T. Ohtani;Y. Suzuki and K. Kawase
通讯作者：
Y. Suzuki and K. Kawase

The contribution of the detailed parts around talker's mouth for speech intelligibili

说话者嘴部周围的细节部分对语音清晰度的贡献

DOI：
发表时间：
2014
期刊：
Proc. the 21st International Congress on Sound and Vibration (ICSV21)
影响因子：
0
作者：
Shuichi Sakamoto;Gen Hasegawa;Toru Abe;Tomoko Ohtani;Yo-iti Suzuki and Tetsuaki Kawase
通讯作者：
Yo-iti Suzuki and Tetsuaki Kawase

無意味 3連音節を用いた音素別明瞭度における話者映像の寄与の分析

使用无意义的三音节分析说话者图像对每个音素清晰度的贡献