Utterance training method for maintaining throat function -Evaluation and training program using speech recognition and deep learning -

维护喉咙功能的言语训练方法 -利用语音识别和深度学习的评估和训练计划 -

• 批准号: 20K11894
• 负责人: 松浦 博
• 金额: $ 2.75万
• 依托单位: University of Shizuoka
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11894/
• 关键词: 発話評価; 咽喉; 高齢化; 音声認識; 音声セグメントラベル; 基本周波数; オーラル・ディアドコキネシス; 発話訓練; 音声セグメント; 深層学習; 発話; 超高齢化社会

加齢等による咽喉の衰えを発話評価によって早期に検知し，自身の状態を自覚させ適切な対応がなされれば健康維持につながると考えられる．本研究では基本周波数F0や独自開発の音声セグメントラベルから導出したF0変化幅，妥当ラベル，ラベル安定性，F0分散，音声区間長，無音区間長，かすれラベル，濁音ラベルを発話評価パラメータとして用いた．本年度は73歳以上の高齢者について9か月の期間をおいてATR音素バランス503文のうちの2文とオーラルディアドコキネシス用の「パ」「タ」「カ」の発話を昨年度の45名分収集に続き、55名分を収集した．発話評価パラメータとオーラルディアドコキネシス（以下OD)の関係では，taの回数と音声区間長との相関係数は0.4，taの回数と妥当ラベルとの相関係数は0.32となった．年齢との関係を調べたところ，妥当ラベルとの相関係数が-0.44と，最も負の相関があった．このことから，F0や発話速度よりもラベルの情報を調べることが重要であることが分かった．一方，ODでは年齢とtaの回数との相関係数が-0.37と，最も負の相関があった．このことから，taの発話が加齢に伴って悪化しやすいことが推察された．また，9か月間経過した時の発話評価パラメータが0.5以上向上したのは，評価「あらゆる・・」「冬が・・」のそれぞれで38名中7名と6名，0.5以上低下したのは3名と0名であった．9か月間経過した時のODの変化量について，1以上向上したのが，paで8名，taで8名，kaで6名であった．一方，1以上低下したのはpaで5名で，taとkaではいずれも1名であった．さらに，1名が4年間にわたり，ほとんど毎日8種類の発話トレーニングを行った後，「あらゆる・・」の発話データを収集した．半年毎の平均値を比較したところ，徐々に発話評価パラメータが向上，あるいは維持できていることが示唆された．

In this study, the basic cycle number of sound waves opened alone, the sound waves were opened alone, and the sound waves were recorded at F0 amplitude, proper tone, sound stability, F0 dispersion, sound zone length, sound zone length, sound zone I don't know what to do. This year, those who are over 73 years old are not allowed to buy ATR phonemes during the 9-month period. During the 9-month period, there are 45 participants in the annual telephone collection of 45 people in the year of last year. Fifty-five members of the collection group. Please do not know how to do it. (the following OD) The number of people in the ta sound zone is 0. 4. The number of people in the sound area is 0. 4. The number of people in the sound area is 0. 32. The number of people in the sound area is 0. 32 years old. The number of people in the sound area is-0. 44 years old. On the one hand, the number of ta responses per year is-0.37, and the most significant is the speed of the OD. The speed of the ta is very high, while the speed of the ta is much higher than that of the other two. In 9 months, 6 out of 38 out of 38 low-income customers, 6 out of 38 in winter, 3 out of 0 in low-level ones, 9 months in OD, 8 in pa, 8 in ta, 8 in upwards, 7 in 6, 3 in low, 0 in 9 months. On one side, there are 6 people in ka, 5 in pa, 1 in Takea, 1 in 4 years, and 8 on Sunday. After the run-up, the average of six months is over half a year. Xu Yun said that he was going up, and that he was instigated by him.

项目成果

「音声で“のどの衰え”を早期に把握！」（みんなの認知症情報学会 オンライン学び交流会の動画）

“通过音频尽早发现喉咙无力！”（来自大家痴呆症信息学会在线学习交流会的视频）

加齢等による発話への影響の深層学習とデータ拡張を用いた評価

使用深度学习和数据扩展评估衰老对语音的影响

• 发表时间: 2021
• 作者: 井川将太;片山貴文;宋天;島本隆;松浦 博 山下拓巳 井本智明 和田淳一郎 秀島雅之
• 通讯作者: 松浦 博 山下拓巳 井本智明 和田淳一郎 秀島雅之

オンライン学び交流会シリーズ版①（松浦博） ・事前公開映像「音声について学ぼう」

在线学习交流系列第1版（松浦博）・预发布视频“让我们来学习音频吧”

「音声について学ぼう」（みんなの認知症情報学会 オンライン学び交流会の事前映像の動画）

《一起来学习音频吧》（全民痴呆信息学会线上学习交流会预告视频视频）

音声セグメントと基本周波数から導出した発話評価パラメータとオーラルディアドコキネシスとの比較

从语音片段和基频导出的语音评估参数与口腔介电运动的比较

• 发表时间: 2023
• 作者: 青木宏曉;片山貴文;宋天;島本隆;松浦 博，井本智明，湯瀬裕昭，和田淳一郎，秀島雅之
• 通讯作者: 松浦 博，井本智明，湯瀬裕昭，和田淳一郎，秀島雅之