話者の映像及び話声の性質が高精度高感性音声提示システムに与える影響

演讲者视频和说话声音特征对高精度、高灵敏度音频演示系统的影响

基本信息

批准号：
17700223
负责人：
坂本修一
金额：
$ 2.11万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2005
资助国家：
日本
起止时间：
2005 至 2006
项目状态：
已结题

项目摘要

本研究の目的は,話者映像の有無や,ピッチ,話速といった話声の性質,話者映像と話声の同期,話者の口の動きといったパラメータが,音韻知覚及び視聴者の感性情報にどのような影響を及ぼすか定量的に明らかにし,得られた知見に基づいて,高感性音声提示システムの構築法を検討することである.今年度は昨年度と同様に音声の話速に注目し,話速を遅らせることで時間長を伸長した音声と通常速度の話者映像との組み合わせが,文章了解度にどのような影響を及ぼすかを検討した.あわせて,単語刺激を用いて話者映像と伸長音声を組み合わせた際の映像と音声のズレの検知限,許容限を心理実験により求め,両者の関係を分析した.まず,文章了解度試験を行ったところ,音声伸長量が200ms以内であれば,話者映像と音声の間にズレが生じていても,話者映像を付加することによる文章了解度の向上が見込めるという結果が得られた.この結果は,昨年度単語を用いて得られた結果と同様であり,音声伸長量を200ms以内に設定すれば,話者映像が音韻知覚を促進するということを示している.一方,伸長音声と通常速度の話者映像を用いて話者映像と音声とのズレの検知限を求めたところ,約230msが検知限となることが示された.また,ズレの許容限は約340msであった.これらの結果と,昨年度得られた単語了解度の結果を総合すると,話者映像と音声のズレが検知できない範囲であれば,話者映像が音韻知覚の向上に寄与するということが示唆される.逆に言うと,話者映像と音声のズレの検知といった感性情報が音声知覚に負の影響を及ぼしているといえよう.これらの知見は,高感性音声提示システムを構築する上での指針となり得る極めて重要な知見であると思われる.

这项研究的目的是定量阐明诸如说话者素材，音调，语音速度，扬声器视频和声音之间的同步以及说话者嘴的移动影响语音感知和观众敏感性信息等参数如何，并考虑如何根据获得的知识来构建高度敏感的语音体系。今年，与去年一样，我们专注于语音速度，我们能够通过慢慢的语音速度来增加语音和正常速度的持续时间。我们调查了说话者视频的组合如何影响对句子的理解。此外，我们确定了使用单词刺激的扬声器视频和扩展音频时，确定了视频和音频之间差异的检测极限和公差，并分析了两者之间的关系。首先，我们进行了文本可理解性测试，并发现，即使扬声器视频和音频之间存在差异，即使扬声器视频和音频之间存在差异，两者之间的关系也是通过添加扬声器视频来确定的，即使扬声器视频和音频之间存在差异。结果表明，结果可以提高。结果与使用去年单词获得的结果相似，表明，如果语音扩展量设置为200 ms，扬声器视频会促进语音感知。另一方面，当检测限制限制扬声器视频和使用音频之间的限制时，请在正常的情况下确定扬声器视频，并在正常情况下显示了允许的限制。差异极限约为340毫秒。这些结果以及去年获得的单词清晰度的结果表明，如果无法检测到扬声器视频和音频之间的差异，说话者图像有助于提高语音感知。相反，可以说，敏感信息，例如检测说话者视频和音频之间的差异对语音感知产生负面影响。这些发现是极其重要的见解，可以作为构建高度敏感语音演示系统的指南。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

単語音声と話者映像のずれが視聴覚統合に及ぼす影響

文字音频和演讲者视频之间的差异对视听整合的影响

DOI：
发表时间：
2006
期刊：
日本音響学会講演論文集 3-P-9
影响因子：
0
作者：
平野良季;傳田遊亀;中山雅人;西浦敬信;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiii Tatsumi;Keiji Tatsumi;巽啓司;由上隆士;永尾浩之;永尾治之;田中章浩;津村光美
通讯作者：
津村光美

視聴覚の提示タイミングおよび提示速度の違いが単語音声認知に及ぼす影響

视听呈现时间和呈现速度差异对单词语音识别的影响

DOI：
发表时间：
2006
期刊：
日本音響学会聴覚研究会資料 H-2006-67
影响因子：
0
作者：
平野良季;傳田遊亀;中山雅人;西浦敬信;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiii Tatsumi;Keiji Tatsumi;巽啓司;由上隆士;永尾浩之;永尾治之;田中章浩
通讯作者：
田中章浩