Utterance training method for maintaining throat function -Evaluation and training program using speech recognition and deep learning -

维护喉咙功能的言语训练方法 -利用语音识别和深度学习的评估和训练计划 -

• 批准号: 20K11894
• 负责人: 松浦 博
• 金额: $ 2.75万
• 依托单位: University of Shizuoka
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11894/
• 关键词: 発話評価; 咽喉; 高齢化; 音声認識; 音声セグメントラベル; 基本周波数; オーラル・ディアドコキネシス; 発話訓練; 音声セグメント; 深層学習; 発話; 超高齢化社会

加齢等による咽喉の衰えを発話評価によって早期に検知し，自身の状態を自覚させ適切な対応がなされれば健康維持につながると考えられる．本研究では基本周波数F0や独自開発の音声セグメントラベルから導出したF0変化幅，妥当ラベル，ラベル安定性，F0分散，音声区間長，無音区間長，かすれラベル，濁音ラベルを発話評価パラメータとして用いた．本年度は73歳以上の高齢者について9か月の期間をおいてATR音素バランス503文のうちの2文とオーラルディアドコキネシス用の「パ」「タ」「カ」の発話を昨年度の45名分収集に続き、55名分を収集した．発話評価パラメータとオーラルディアドコキネシス（以下OD)の関係では，taの回数と音声区間長との相関係数は0.4，taの回数と妥当ラベルとの相関係数は0.32となった．年齢との関係を調べたところ，妥当ラベルとの相関係数が-0.44と，最も負の相関があった．このことから，F0や発話速度よりもラベルの情報を調べることが重要であることが分かった．一方，ODでは年齢とtaの回数との相関係数が-0.37と，最も負の相関があった．このことから，taの発話が加齢に伴って悪化しやすいことが推察された．また，9か月間経過した時の発話評価パラメータが0.5以上向上したのは，評価「あらゆる・・」「冬が・・」のそれぞれで38名中7名と6名，0.5以上低下したのは3名と0名であった．9か月間経過した時のODの変化量について，1以上向上したのが，paで8名，taで8名，kaで6名であった．一方，1以上低下したのはpaで5名で，taとkaではいずれも1名であった．さらに，1名が4年間にわたり，ほとんど毎日8種類の発話トレーニングを行った後，「あらゆる・・」の発話データを収集した．半年毎の平均値を比較したところ，徐々に発話評価パラメータが向上，あるいは維持できていることが示唆された．

In addition, the growth rate of the throat and the growth rate of the throat can be evaluated. In addition, the early detection can be used to detect the state of the body. In this study, the basic frequency F0 is used to independently develop the sound field. The frequency F0 is varied in amplitude, appropriate in shape, stable in shape, dispersed in F0, long in sound field, long in silence field, long in pitch, and low in pitch. This year, 45 points were collected in the past year and 55 points were collected in the past year. The correlation coefficient between the number of loops of ta and the length of sound interval is 0.4, and the correlation coefficient between the number of loops of ta and the length of sound interval is 0.32. The correlation coefficient of the year is-0.44. F0 A square, OD This is the first time I've ever heard of this, and I've never heard of it. 9 One side, more than 1 low 5, ta ka 1. In the past four years, the number of " The average of half a year is higher than the average of half a year.

项目成果

「音声で“のどの衰え”を早期に把握！」（みんなの認知症情報学会 オンライン学び交流会の動画）

“通过音频尽早发现喉咙无力！”（来自大家痴呆症信息学会在线学习交流会的视频）

加齢等による発話への影響の深層学習とデータ拡張を用いた評価

使用深度学习和数据扩展评估衰老对语音的影响

• 发表时间: 2021
• 作者: 井川将太;片山貴文;宋天;島本隆;松浦 博 山下拓巳 井本智明 和田淳一郎 秀島雅之
• 通讯作者: 松浦 博 山下拓巳 井本智明 和田淳一郎 秀島雅之

オンライン学び交流会シリーズ版①（松浦博） ・事前公開映像「音声について学ぼう」

在线学习交流系列第1版（松浦博）・预发布视频“让我们来学习音频吧”

「音声について学ぼう」（みんなの認知症情報学会 オンライン学び交流会の事前映像の動画）

《一起来学习音频吧》（全民痴呆信息学会线上学习交流会预告视频视频）

音声セグメントと基本周波数から導出した発話評価パラメータとオーラルディアドコキネシスとの比較

从语音片段和基频导出的语音评估参数与口腔介电运动的比较

• 发表时间: 2023
• 作者: 青木宏曉;片山貴文;宋天;島本隆;松浦 博，井本智明，湯瀬裕昭，和田淳一郎，秀島雅之
• 通讯作者: 松浦 博，井本智明，湯瀬裕昭，和田淳一郎，秀島雅之