权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Infrastructural spoken language technology to support smooth communication with hearing-impaired people in education

基础口语技术支持教育中听力障碍人士的顺利沟通

基本信息

批准号：
20H01716
负责人：
小林彰夫
金额：
$ 11.56万
依托单位：
Tsukuba University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2023-03-31
项目状态：
已结题

项目摘要

本研究では，聴覚障害者の音声認識性能改善が主たる目的である．したがって，障害者からの音声データの収集およびコーパス作成が重要となる．しかしながら，前年度より引き続くCOVID-19による緊急事態宣言の影響により，対面による学生の音声収録は予定よりも遅れることとなった（当初予定40名のところ15名）．ただし，収録内容はATR音素バランス文503文を中心として，話者一人当たりおおむね600から700文章を収集した．年度後半より，収録参加者（学生）および実施責任者がオンラインコミュニケーションに習熟したことにより，数名に対してオンライン下での音声収録を試みた．圧縮音声およびPCM音声の両者を収録するシステムを構築し，次年度以降の効率的なデータ収集への対応を可能とした．一方，聴覚障害者の音声データの蓄積が進んだことにより，前年度に引き続きend-to-end音声認識による実験を通して，聴覚障害者に共通する音素レベルでの音声認識の誤り傾向の調査を行った．分析の結果，子音/z/, /ts/, /ch/等の一部の誤りについては，他の聴覚障害者の音声データを学習データに追加することにより，おおむね10%程度の誤り削減が可能であることがわかった．このことから，聴覚障害者の調音運動の特徴には一定の共通因子が存在し，十分な量のデータが集積されれば頑健な音声認識が可能だとの結論を得た．聴覚障害者の音声データ量は本年度の研究においても不十分であったことから，健聴者の音声を利用して，聴覚障害者向け音声認識で用いる際のニューラルネットワークの基本構造の検討を行った．本研究の開始以来，視覚・聴覚障害である盲ろう者に対する情報保障のニーズの高まりを受けたことから，対象を音声点訳としたうえでend-to-endアプローチ（conformer/transformer）による性能の調査を行った．

This study aims to improve the acoustic performance of the victims. It's important to create a sound system that's harmful to the environment. In the previous year, there were 15 students who were originally scheduled to attend the COVID-19 Emergency Declaration. The content of the recording is ATR phoneme 503 articles, the center of the recording is ATR phoneme 600 articles, and the speaker is ATR phoneme 700 articles. In the second half of the year, the participants (students) and the responsible persons of the recording will be familiar with the sound recording. The next year, we will reduce the efficiency of the PCM audio system. On the other hand, the accumulation of sound quality of the victims has been improved. In the previous year, the end-to-end sound recognition was introduced. The investigation of the common sound quality of the victims was carried out. The analysis results show that some errors in the sub-sound/z/, /ts/, /ch/, etc. are added to the learning error, and the error is reduced to a degree of 10%. A conclusion is drawn that there are certain common factors in the characteristics of the tuning motion of the impaired. This year's research on the sound quality of the impaired is conducted in the context of the sound utilization of the impaired. Since the beginning of this study, the investigation of end-to-end performance has been carried out in the field of visual and acoustic protection.

项目成果

期刊论文数量（22）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

ExKaldi-RT: A Real-Time Automatic Speech Recognition Extension Toolkit of Kaldi

DOI：
10.1109/gcce53005.2021.9621992
发表时间：
2021-04
期刊：
2021 IEEE 10th Global Conference on Consumer Electronics (GCCE)
影响因子：
0
作者：
Yu Wang;Chee Siang Leow;A. Kobayashi;T. Utsuro;H. Nishizaki
通讯作者：
Yu Wang;Chee Siang Leow;A. Kobayashi;T. Utsuro;H. Nishizaki

Advanced language model fusion method for encoder-decoder model in Japanese speech

日语语音编码器-解码器模型的高级语言模型融合方法

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
Daiki Mori;Kengo Ohta;Ryota Nishimura;Atsunori Ogawa;Norihide Kitaoka
通讯作者：
Norihide Kitaoka

End-To-End Speech to Braille Translation in Japanese

日语盲文翻译的端到端语音翻译

DOI：
10.1109/icce53296.2022.9730468
发表时间：
2022
期刊：
Conference Proceedings of 2022 IEEE International Conference on Consumer Electronics (ICCE)
影响因子：
0
作者：
Akio Kobayashi ; Junji Onishi ; Hiromitsu Nishizaki ; Norihide Kitaoka
通讯作者：
Norihide Kitaoka

言い淀みを考慮した自由発話のEnd-to-End音声認識

考虑犹豫的自由言论的端到端语音识别

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
Koharu Horii;Meiko Fukuda;Kengo Ohta;Ryota Nishimura;Atsunori Ogawa;Norihide Kitaoka;森大輝，太田健吾，西村良太，小川厚徳，北岡教英;堀井こはる，福田芽衣子，太田健吾，西村良太，北岡教英
通讯作者：
堀井こはる，福田芽衣子，太田健吾，西村良太，北岡教英

加齢性難聴に伴うポピュラーソングの印象変化の検討～模擬難聴を用いて

检查由于年龄相关的听力损失而导致的流行歌曲印象的变化 - 使用模拟听力损失