Auditory Enrichment based on perception of amplitude modulation: Study on speech signal processing for Cochlear Implant

点击翻译按钮获取中文摘要

本研究では，人工内耳用音声信号処理（雑音駆動型音声合成）技術に非言語情報を獲得・付与・強調する仕組み，ならびに騒音抑圧機能を持たせることで，聴覚エンリッチメントを実現する．そのため，次のような四つのワークプランに沿って研究を実施する．まず，①聴覚特性を考慮した雑音駆動音声合成系を構築し，②この処理体系で，音声言語の知覚に影響を与えないような騒音抑圧法を提案する．次に，③この処理体系で，音声の非言語情報が時間的な振幅包絡線にどのように含まれているか，さらにはどのように強調できるかを変調スペクトル分析と聴取実験により検討する．最後に，④人工内耳用音声信号処理技術に転化する「補償処理」について総合的に検討する．本年度（2022年度）は，課題②と課題③に取り組んだ．まず，課題②では，騒音が音声の振幅包絡線情報でどのように表現されるか調べ，その抑圧法を検討した．特に，ここではスペクトル変調・時間変調（STM）分析を利用して様々な種類の雑音を分析し，そのSTM情報表現における雑音除去法を検討した．その結果，聴感上，抑圧効果の高い雑音除去を実現できた．次に課題③では，音声の非言語情報，特に感情と緊迫感が時間的な振幅包絡線にどのように含まれているか，あるいはどのような変調周波数成分に含まれているかを，変調フィルタバンクから得られる変調スペクトログラムならびにSTM分析を利用して調査した．その結果，変調スペクトル歪度と変調スペクトル傾斜が感情認識において共通で重要な特徴であることと，雑音・残響に頑健な特徴であることを明らかにした．これらが個人性ならびに緊迫感に関して重要であるかは未検討であり，今後の課題として検討する．最後に，変調スペクトルに現れる特徴が緊迫感にどのようにかかわるかを再調査した．その結果，音声の振幅包絡線情報に含まれる４～16 Hzの変調情報が重要であることを確認した．