权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

日常生活音を活用した構音障害者のための音響監視および音声認識システムの研究

使用日常声音对构音障碍患者进行声学监测和语音识别系统的研究

基本信息

批准号：
22K12168
负责人：
高島遼一
金额：
$ 2.58万
依托单位：
Kobe University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究では、構音障害者のコミュニケーション支援のための障害者音声認識技術、および安全監視のための音響イベント検出技術の開発を目的とし、障害者の学習音声データおよび検出すべき異常イベントの学習データの収集が困難であるという課題を解決するコア技術として「自己教師有り学習と日常会話収録音声を用いた障害者音声認識モデル学習」と「学習データに存在しない音響イベントを検出するゼロショット学習」を開発している。障害者音声認識モデルの学習においては、収録が比較的容易だが教師ラベルの付与が困難な日常会話収録音を自己教師あり学習の一つであるwav2vec2.0の枠組みを用いて音声認識モデルの学習に活用する手法を検討した。wav2vec2.0は健常者音声認識の分野では高い認識性能を示す技術であるが、データ量の少ない構音障害者音声認識においてはまだ十分に検証がされていなかった。本研究では、660時間という比較的大規模の日本語健常者音声を用いてwav2vec2.0を初期学習し、さらに複数の構音障害者音声を用いて追加学習することで、wav2vec2.0による音声認識性能を向上できることを明らかとした。音響イベント検出においては、音声を入力してイベント名を出力するという従来の教師あり学習に対して、本研究ではイベント名の代わりにそのイベントを説明する属性（例えば「ドアをノックする音」というイベントの属性は「木の音」、「打撃音」、「同じ音が繰り返される」）を出力するように学習することで、未知のイベントを認識可能とする「属性情報に基づく音のゼロショット学習技術」を新たに開発した。さらに画像分野で提案されたAttribute prototype networkを用いることで、前述のゼロショット学習の性能を向上させることができた。

This study aims to develop sound detection techniques for sound barrier detection, safety monitoring and sound recognition techniques for sound barrier detection. The problem of learning the voice of the victim is difficult to solve. It is easy to record and compare the voice recognition of the victim. It is difficult to record the daily conversation. It is difficult for the teacher to learn and use the voice recognition of the victim. wav2vec2.0 is the sound recognition of the healthy person, and the recognition performance of the sound recognition of the sound impaired person. This study compares the acoustic performance of Japanese speakers on a large scale over a period of 660 hours. The study focuses on initial learning and additional learning of acoustic performance of Japanese speakers. The study was conducted on the basis of a description of the attributes of the study. The study was conducted on the basis of a description of the attributes of the study.(For example, the attribute of the attribute is "wood sound","strike sound","same sound"). The attribute information is "basic sound learning technology". This is the first time I've seen a prototype network.