Transfer characteristics of emotional speech information toward elderly persons with hearing loss and development of novel speech morphing methods

情感语音信息向听力损失老年人的传递特性及新型语音变形方法的开发

• 批准号: 21K19794
• 负责人: 入野 俊夫
• 金额: $ 3.99万
• 依托单位: Wakayama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-07-09 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K19794/
• 关键词: 感情伝達; 高齢難聴; 模擬難聴; 音声モーフィング; 心理物理実験; 音声分析合成系WORLD; 対人コミュニケーション; 認知症リスク; 音声信号処理

超高齢社会において認知症リスクの大きな要因である対人コミュニケーション能力の低下を防ぎ、さらに活性化するために、お年寄りに「気持ち」 (感情)を伝 える際の音声の特徴や知覚特性の解明を試み、理論として定式化する難問に挑戦する。今年度は以下の2つの実績をあげることができた。【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化: 模擬難聴システムWHISの音声を健聴者が聴取した場合の感情知覚特性に関して実験を行った。一人の話者の「はい」の感情音声のうち、喜びと悲しみのラベルがついているものに関し、声道長を変化させ複数人の声に変換したのち、モーフィングで中間的な音声を合成した。一対比較法で実施し、丁度弁別閾(JND)と主観的等価点(PSE)を算出した。その結果、模擬難聴の有無にかかわらずPSEに変化がなく、JNDも想定した以上に良かった。JNDの値を検討したところ、感情知覚よりもピッチ知覚で判別されていることが推察された。つまり目論んでいた実験とはなっていないことが結果的にわかった。この知見に基づき、次年度の実験計画案を策定した。また、バリエーションを増やすため複数話者の感情音声を集めた。ただし、発話者は感情表現ができる役者ではなく素人であったので、第３者による感情評定や、台本の影響について調査した。【2】 音声モーフィングの自動化:　WORLD音声分析合成系で音声モーフィングを高品質で実行できるようにソフトを整備した。品質を高く保ったまま、中間的な音声を合成できることを確認した。これを受けて【1】の刺激音作成に使用した。自動化に関しては、まだ検討段階ではあるが着実に知見を蓄えつつある。特徴の対応点の数と品質に関する検討を行った。

The main causes of cognitive disorders in ultra-high society include prevention, activation, and challenge to the characteristics and cognitive characteristics of inter-vocal sounds. This year, the following two achievements have been made. [1] Sound and Sound Simulation Difficulties Processing, Emotional Communication/Cognitive Characteristics Resolution and Formulation: Simulation Difficulties WHIS Sound and Sound Health, Emotional Communication and Cognitive Characteristics Related to the Situation One person's voice "" emotional sound, happy, sad, happy, sad, sad A comparison method is used to calculate the difference threshold (JND) and the equivalent point (PSE) of the main line. The result of simulation is difficult to determine. JND's value is discussed in detail, and feelings are recognized.つまり目论んでいた実験とはなっていないことが结果的にわかった。This information is based on the implementation plan for the next year. The voice of the speaker is collected. The third is emotional evaluation, and the third is investigation. [2] Automation of sound analysis and synthesis: WORLD sound analysis and synthesis system High quality, middle tone, sound synthesis, confirmation This is the first time that a stimulus sound has been created. Automation is related to the level of knowledge and knowledge. The number and quality of features are discussed.

项目成果

基本周波数適応型聴覚表現による声道長推定

使用基频自适应听觉表示估计声道长度

• 发表时间: 2023
• 作者: 入野俊夫;土庵晋太郎
• 通讯作者: 土庵晋太郎

和歌山大 入野ホームページ

和歌山大学入野主页

Intelligibility Prediction of Enhanced Speech Using Recognition Accuracy of End-To-End ASR System

利用端到端 ASR 系统的识别精度进行增强语音的清晰度预测

• 发表时间: 2022
• 作者: Kenichi Arai;Atsunori Ogawa;Shoko Araki;Keisuke Kinoshita;Tomohiro Nakatani;Naoyuki Kamo;and Toshio Irino
• 通讯作者: and Toshio Irino

Modelling speaker-size discrimination with voiced and unvoiced speech sounds based on the effect of spectral lift

• DOI: 10.1016/j.specom.2021.10.006
• 发表时间: 2021-11
• 期刊: Speech Commun.
• 作者: T. Matsui;T. Irino;R. Uemura;Kodai Yamamoto;Hideki Kawahara;R. Patterson

モーフィング音声を用いた話者類似性判断と話者同定判断の比較: 発話単語の同異と鼻音の有無による影響

使用变形语音进行说话人相似度判断和说话人识别判断的比较：口语相似度和鼻音有无的影响

• 发表时间: 2023
• 作者: 宮﨑芙紀;山本絢子;土庵晋太郎;入野俊夫;河原 英紀，榊原 健一，程島 奈緒，坂野 秀樹，北村 達也，天野 成昭;堀部貴紀，森勢将雅，河原英紀;内堀颯太，河原英紀，松井淑恵
• 通讯作者: 内堀颯太，河原英紀，松井淑恵