話者の映像及び話声の性質が高精度高感性音声提示システムに与える影響

演讲者视频和说话声音特征对高精度、高灵敏度音频演示系统的影响

• 批准号: 17700223
• 负责人: 坂本 修一
• 金额: $ 2.11万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17700223/
• 关键词: マルチモーダル情報処理; 視聴覚統合; 音声知覚; 話速変換音声; 音声伸長; 単語了解度; 読唇; 高齢者

本研究の目的は,話者映像の有無や,ピッチ,話速といった話声の性質,話者映像と話声の同期,話者の口の動きといったパラメータが,音韻知覚及び視聴者の感性情報にどのような影響を及ぼすか定量的に明らかにし,得られた知見に基づいて,高感性音声提示システムの構築法を検討することである.今年度は昨年度と同様に音声の話速に注目し,話速を遅らせることで時間長を伸長した音声と通常速度の話者映像との組み合わせが,文章了解度にどのような影響を及ぼすかを検討した.あわせて,単語刺激を用いて話者映像と伸長音声を組み合わせた際の映像と音声のズレの検知限,許容限を心理実験により求め,両者の関係を分析した.まず,文章了解度試験を行ったところ,音声伸長量が200ms以内であれば,話者映像と音声の間にズレが生じていても,話者映像を付加することによる文章了解度の向上が見込めるという結果が得られた.この結果は,昨年度単語を用いて得られた結果と同様であり,音声伸長量を200ms以内に設定すれば,話者映像が音韻知覚を促進するということを示している.一方,伸長音声と通常速度の話者映像を用いて話者映像と音声とのズレの検知限を求めたところ,約230msが検知限となることが示された.また,ズレの許容限は約340msであった.これらの結果と,昨年度得られた単語了解度の結果を総合すると,話者映像と音声のズレが検知できない範囲であれば,話者映像が音韻知覚の向上に寄与するということが示唆される.逆に言うと,話者映像と音声のズレの検知といった感性情報が音声知覚に負の影響を及ぼしているといえよう.これらの知見は,高感性音声提示システムを構築する上での指針となり得る極めて重要な知見であると思われる.

The purpose of this study, the presence or absence of the speaker's image, the nature of the speaker's image, the nature of the speaker's voice, the speaker's image and the voice, the speech人口の动きといったパラメータが, phonological knowledge and visual knowledge of the person's perceptual information にどのような Impact を and ぼすかThe に明らかにし, the られた知见にbased づいて, the highly sensitive sound prompts the システムのconstruction method を検问することである.This year's and last year's are the same as last year's voice. The voice is fast and the voice is fast. The speed is fast. The speed is long. The voice is long. The speaker's image of the degree is the combination of the group, and the article understands the influence of the degree and the influence of the degree. Language stimulation is used to stimulate the speaker's image and stretch the sound. The image is combined with the sound and the sound is limited.によりquest め, 両人の Relationship を Analysis した.まず, article understanding test 験を行 ったところ, sound elongation が 200m s within であれば, the speaker’s image and sound の间 にズレが生じていても, the speaker’s image をpay加することによる article understanding Degreeの上が见込めるというRESULTSがGETられた.このRESULTSは, last year's 単语を用いてGetられたRESULTSと同様であり, sound elongation is set within 200ms, すれば, speaker image がphonology knows てを promotion するということをshow している. One side, extend the voice と normal speed の speaker image を use い て speaker image と と の ズ レ の検 know limit を ask め た と ころ, about 230ms, が検knowledge limit, となることがshow, された.また, ズレのallowance limit, は, about 340ms, であった.これらのRESULTと, the result of last year's られた単language understanding degree を総合すると, the speaker's image と声声のズレが検知できないFan囲であれば, the speaker's image がphonology knows 覚の上に Send and するということがshows the instigation される. reverse に言うと, the speaker's imageと音声のズレの検知といったPerceptual informationが声声知覚にnegativeの Impactを和ぼしているといえよう.これらの知见は, the highly sensitive sound prompts the システムをconstruct the する上でのPointer and the となりgets the most important な知见であると思われる.

项目成果

単語音声と話者映像のずれが視聴覚統合に及ぼす影響

文字音频和演讲者视频之间的差异对视听整合的影响

• 发表时间: 2006
• 期刊: 日本音響学会講演論文集 3-P-9
• 作者: 平野 良季;傳田 遊亀;中山 雅人;西浦 敬信;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiii Tatsumi;Keiji Tatsumi;巽 啓司;由上 隆士;永尾浩之;永尾 治之;田中章浩;津村光美
• 通讯作者: 津村光美

視聴覚の提示タイミングおよび提示速度の違いが単語音声認知に及ぼす影響

视听呈现时间和呈现速度差异对单词语音识别的影响

• 发表时间: 2006
• 期刊: 日本音響学会聴覚研究会資料 H-2006-67
• 作者: 平野 良季;傳田 遊亀;中山 雅人;西浦 敬信;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiji Tatsumi;Keiii Tatsumi;Keiji Tatsumi;巽 啓司;由上 隆士;永尾浩之;永尾 治之;田中章浩
• 通讯作者: 田中章浩