Development and evaluation of age-dependent degradation detection system using conversation comprehension estimation

使用对话理解估计的年龄相关退化检测系统的开发和评估

• 批准号: 22K04626
• 负责人: 脇田 由実
• 金额: $ 2.16万
• 依托单位: Osaka Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04626/
• 关键词: オンライン会話音声; サービス付き高齢者住宅; 重なり発声除去; 音声認識誤り特性; ピッチ抽出; 発声速度; 衰え度察知システム; オンライン会話; 高齢者サービス住宅

1.オンライン会話収録システムを開発し会話収録を実施。(1)会話者側で収録は行わず、遠隔から録音者がオンラインツールに参加する、(2)画面に会話マスコット画面を提示しマイクロホンをオフにしておくことで、会話しない参加者者であることを会話者に通知する、この２点により高齢者が自然に日常会話を行える状況を実現。サービス付き高齢者住宅施設にて６名による６会話分を収録（３～４分／会話）。会話後アンケートにて自然に会話できたことを確認したため、次年度からの評価用会話データベース開発の仕様に決定。2.オンライン会話音声の分析結果から、対面会話に比べ、相手の会話から自分の会話に切り替えるタイミングを図るのが困難で、複数話者の発声の重なりが多いことがわかった。重なり発声部分でのピッチ値の不安定さが課題。発声ごとのピッチ標準偏差値とピッチのフレーム間差分値とを用い、重なり発声部分を特定する手法を提案。現時点で重なり発声特定率80％。重なり発声部分の除去による、ピッチ値の精度向上を検討中。3.衰え推定に用いる応答発声部分を特定するために、音声認識機能を導入し、認識結果から応答発声部分を抽出するシステムを構築。日常会話の発声曖昧さによる誤認識が課題。誤認識の分析を行い、日常会話における従来音声理解処理の課題を明確にした。成果を国際学会１件発表。（The effect of Topic-Shift Characteristics in Daily Conversation on Identification of Recognition Errors,IHIET2022)

1. Youdaoplaceholder0 ラ ラ <s:1> session recording システムを development session recording を implementation. (1) session side で 収 record line は わ ず, far か ら recorders が オ ン ラ イ ン ツ ー ル に attend す る, (2) the picture に session マ ス コ ッ ト picture を prompt し マ イ ク ロ ホ ン を オ フ に し て お く こ と で, session し な い participants who で あ る こ と を conversationalist に inform す る, こ の 2 に よ り high 齢 が natural に line everyday dialogue を え る The situation を occurs. Youdaoplaceholder0 サ ビス ビス set up にて6 による6 session points を records (3 to 4 points per session) for the construction of 齢 high 齢 residential units. Session after ア ン ケ ー ト に て natural に session で き た こ と を confirm し た た め, annual か ら の review 価 in conversational デ ー タ ベ ー ス open 発 の shi others に decision. 2. オ ン ラ イ ン will voice sound の analysis results か ら, polices session に than べ, hand の session か ら allotted の session for え に cut り る タ イ ミ ン グ を 図 る の が difficult で, plural words の 発 sound の heavy な り が more い こ と が わ か っ た. Focus on the issue of な で sound emission part で ピッチ value <s:1> instability さが. Sound 発 ご と の ピ ッ チ standard deviation numerical と ピ ッ チ の フ レ ー ム difference between numerical と を い, heavy な り 発 part を specific す る gimmick を proposal. At present, で is heavy and な で has a sound specific rate of 80%. The sound emission part of な な, after removing による and ピッチ, the precision of the value <s:1> should be adjusted upwards to を検. 3. The failure え presumption に with い る 応 answer 発 part を specific す る た め に, voice function を import し, know the results か ら 応 answer 発 part を drew す る シ ス テ ム を constructs. In daily conversations, there are ambiguous voices さによる and misunderstandings about が topics. Misunderstanding を analysis of を lines を and daily conversation における従 sound understanding and processing <s:1> topics を clarify に た た た. Achievements: を one publication by an international society. (The effect of Topic-Shift Characteristics in Daily Conversation on Identification of Recognition Errors,IHIET2022)

项目成果

The effect of topic-shift characteristics in daily conversation on identification of recognition errors

日常会话话题转移特征对识别错误的影响

• 发表时间: 2022
• 期刊: AHFE Interrnational
• 作者: Yotaro Iida;Hikaru Nishida;Yumi Wakita
• 通讯作者: Yumi Wakita