Development and evaluation of age-dependent degradation detection system using conversation comprehension estimation

使用对话理解估计的年龄相关退化检测系统的开发和评估

• 批准号: 22K04626
• 负责人: 脇田 由実
• 金额: $ 2.16万
• 依托单位: Osaka Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04626/
• 关键词: オンライン会話音声; サービス付き高齢者住宅; 重なり発声除去; 音声認識誤り特性; ピッチ抽出; 発声速度; 衰え度察知システム; オンライン会話; 高齢者サービス住宅

1.オンライン会話収録システムを開発し会話収録を実施。(1)会話者側で収録は行わず、遠隔から録音者がオンラインツールに参加する、(2)画面に会話マスコット画面を提示しマイクロホンをオフにしておくことで、会話しない参加者者であることを会話者に通知する、この２点により高齢者が自然に日常会話を行える状況を実現。サービス付き高齢者住宅施設にて６名による６会話分を収録（３～４分／会話）。会話後アンケートにて自然に会話できたことを確認したため、次年度からの評価用会話データベース開発の仕様に決定。2.オンライン会話音声の分析結果から、対面会話に比べ、相手の会話から自分の会話に切り替えるタイミングを図るのが困難で、複数話者の発声の重なりが多いことがわかった。重なり発声部分でのピッチ値の不安定さが課題。発声ごとのピッチ標準偏差値とピッチのフレーム間差分値とを用い、重なり発声部分を特定する手法を提案。現時点で重なり発声特定率80％。重なり発声部分の除去による、ピッチ値の精度向上を検討中。3.衰え推定に用いる応答発声部分を特定するために、音声認識機能を導入し、認識結果から応答発声部分を抽出するシステムを構築。日常会話の発声曖昧さによる誤認識が課題。誤認識の分析を行い、日常会話における従来音声理解処理の課題を明確にした。成果を国際学会１件発表。（The effect of Topic-Shift Characteristics in Daily Conversation on Identification of Recognition Errors,IHIET2022)

1. Open the session record and perform the session record. (1)The status of the conversation is displayed on the conversation side, the recording side, the recording side. 6 sessions recorded (3~4 minutes/session) After the session, the natural session will be confirmed, and the next year, the evaluation session will be opened. 2. The analysis result of the voice of the first session is different from that of the second session. The conversation of the first session is different from that of the second session. The conversation of the second session is different from that of the third session. The voice of the third session is different from that of the fourth session. The problem of instability in the sound part of the heavy noise is discussed. The standard deviation value of sound transmission is proposed. At present, the specific rate of voice transmission is 80%. The accuracy of the removal of the heavy sound part is discussed. 3. The function of sound recognition is introduced and the result of recognition is extracted. Misunderstanding is a problem in everyday conversation. The analysis of misunderstanding and the problem of understanding and processing of incoming sound in daily conversation are clearly defined. The results of the international society 1 report.（The effect of Topic-Shift Characteristics in Daily Conversation on Identification of Recognition Errors,IHIET2022)

项目成果

The effect of topic-shift characteristics in daily conversation on identification of recognition errors

日常会话话题转移特征对识别错误的影响

• 发表时间: 2022
• 期刊: AHFE Interrnational
• 作者: Yotaro Iida;Hikaru Nishida;Yumi Wakita
• 通讯作者: Yumi Wakita