話者の映像及び話声の性質が高精度高感性音声提示システムに与える影響

演讲者视频和说话声音特征对高精度、高灵敏度音频演示系统的影响

• 批准号: 17700223
• 负责人: 坂本 修一
• 金额: $ 2.11万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17700223/
• 关键词: マルチモーダル情報処理; 視聴覚統合; 音声知覚; 話速変換音声; 音声伸長; 単語了解度; 読唇; 高齢者

本研究の目的は,話者映像の有無や,ピッチ,話速といった話声の性質,話者映像と話声の同期,話者の口の動きといったパラメータが,音韻知覚及び視聴者の感性情報にどのような影響を及ぼすか定量的に明らかにし,得られた知見に基づいて,高感性音声提示システムの構築法を検討することである.今年度は昨年度と同様に音声の話速に注目し,話速を遅らせることで時間長を伸長した音声と通常速度の話者映像との組み合わせが,文章了解度にどのような影響を及ぼすかを検討した.あわせて,単語刺激を用いて話者映像と伸長音声を組み合わせた際の映像と音声のズレの検知限,許容限を心理実験により求め,両者の関係を分析した.まず,文章了解度試験を行ったところ,音声伸長量が200ms以内であれば,話者映像と音声の間にズレが生じていても,話者映像を付加することによる文章了解度の向上が見込めるという結果が得られた.この結果は,昨年度単語を用いて得られた結果と同様であり,音声伸長量を200ms以内に設定すれば,話者映像が音韻知覚を促進するということを示している.一方,伸長音声と通常速度の話者映像を用いて話者映像と音声とのズレの検知限を求めたところ,約230msが検知限となることが示された.また,ズレの許容限は約340msであった.これらの結果と,昨年度得られた単語了解度の結果を総合すると,話者映像と音声のズレが検知できない範囲であれば,話者映像が音韻知覚の向上に寄与するということが示唆される.逆に言うと,話者映像と音声のズレの検知といった感性情報が音声知覚に負の影響を及ぼしているといえよう.これらの知見は,高感性音声提示システムを構築する上での指針となり得る極めて重要な知見であると思われる.

は の purpose, this study image の presence of や, the speaker's words ピ ッ チ, words speed と い っ た words sound の properties, image と words sound の the speaker's words in the same period, the callee の mouth の dynamic き と い っ た パ ラ メ ー タ が, phonological know 覚 and び regard 聴 の emotional intelligence に ど の よ う な influence を and ぼ す quantitative に Ming か ら か に し, too ら れ た knowledge に base づ い て, high perceptual voice prompt シ ス Youdaoplaceholder0 <s:1> construction method を検 for する とである とである. Our annual と は yesterday with others に sounds speed に attention し の words, words speed を 遅 ら せ る こ と で long を elongation し た sounds と の words usually speed image と の group み close わ せ が, article for degrees に ど の よ う な influence を and ぼ す か を beg し 検 た. あ わ せ て, stimulate を 単 language use い て image と elongation sounds of the speaker's words を group み close わ せ た interstate の image と sounds の ズ レ の 検 limit, allowable limit を psychological be 験 に よ り め, who struck の masato analysis を し た. ま ず, article for degree of test line を っ た と こ ろ, sounds elongation が within 200 ms で あ れ ば, image と sounds of the speaker's words between の に ズ レ が raw じ て い て も, image is the speaker's words を plus す る こ と に よ る の article for degrees upward が see 込 め る と い う knot Fruit が have ら れ た. こ は の results, yesterday's annual を 単 language use い て must ら れ と た results with others in で あ り, sounds elongation を に set within 200 ms す れ ば, image is the speaker's words が phonological knowledge 覚 を promote す る と い う こ と を shown し て い る. Side, elongation sounds と の words usually speed image を with い て image と sounds of the speaker's words と の ズ レ の 検 known limit を o め た と こ ろ, about 230 ms が 検 known limit と な る こ と が shown さ れ た. ま た, ズ レ の allowable limit は about 340 ms で あ っ た. こ れ ら の と result, last year have ら れ た 単 language understanding degree の results を 総 close す る と, image is the speaker's words と sounds の ズ レ が 検 know で き な い van 囲 で あ れ ば, image is the speaker's words が phonological knowledge 覚 の に send upward す る と い う こ と が in stopping さ れ る. Inverse に said う と, image と sounds of the speaker's words の ズ レ の 検 know と い っ た emotional intelligence が sounds know 覚 に negative の を and ぼ し て い る と い え よ う. こ れ ら の knowledge は, high perceptual voice prompt シ ス テ ム を build す る on で の pointer と な り must る extremely め て important な knowledge で あ る と think わ れ る.

项目成果

単語音声と話者映像のずれが視聴覚統合に及ぼす影響

文字音频和演讲者视频之间的差异对视听整合的影响

• 发表时间: 2006
• 期刊: 日本音響学会講演論文集 3-P-9
• 作者: 平野 良季;傳田 遊亀;中山 雅人;西浦 敬信;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiii Tatsumi;Keiji Tatsumi;巽 啓司;由上 隆士;永尾浩之;永尾 治之;田中章浩;津村光美
• 通讯作者: 津村光美

視聴覚の提示タイミングおよび提示速度の違いが単語音声認知に及ぼす影響

视听呈现时间和呈现速度差异对单词语音识别的影响

• 发表时间: 2006
• 期刊: 日本音響学会聴覚研究会資料 H-2006-67
• 作者: 平野 良季;傳田 遊亀;中山 雅人;西浦 敬信;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiii Tatsumi;Keiji Tatsumi;巽 啓司;由上 隆士;永尾浩之;永尾 治之;田中章浩
• 通讯作者: 田中章浩