Infrastructural spoken language technology to support smooth communication with hearing-impaired people in education

点击翻译按钮获取中文摘要

本研究では，聴覚障害者の音声認識性能改善が主たる目的である．したがって，障害者からの音声データの収集およびコーパス作成が重要となる．しかしながら，前年度より引き続くCOVID-19による緊急事態宣言の影響により，対面による学生の音声収録は予定よりも遅れることとなった（当初予定40名のところ15名）．ただし，収録内容はATR音素バランス文503文を中心として，話者一人当たりおおむね600から700文章を収集した．年度後半より，収録参加者（学生）および実施責任者がオンラインコミュニケーションに習熟したことにより，数名に対してオンライン下での音声収録を試みた．圧縮音声およびPCM音声の両者を収録するシステムを構築し，次年度以降の効率的なデータ収集への対応を可能とした．一方，聴覚障害者の音声データの蓄積が進んだことにより，前年度に引き続きend-to-end音声認識による実験を通して，聴覚障害者に共通する音素レベルでの音声認識の誤り傾向の調査を行った．分析の結果，子音/z/, /ts/, /ch/等の一部の誤りについては，他の聴覚障害者の音声データを学習データに追加することにより，おおむね10%程度の誤り削減が可能であることがわかった．このことから，聴覚障害者の調音運動の特徴には一定の共通因子が存在し，十分な量のデータが集積されれば頑健な音声認識が可能だとの結論を得た．聴覚障害者の音声データ量は本年度の研究においても不十分であったことから，健聴者の音声を利用して，聴覚障害者向け音声認識で用いる際のニューラルネットワークの基本構造の検討を行った．本研究の開始以来，視覚・聴覚障害である盲ろう者に対する情報保障のニーズの高まりを受けたことから，対象を音声点訳としたうえでend-to-endアプローチ（conformer/transformer）による性能の調査を行った．