Mathematical Deepening of Audio Source Separation Based on Independence and Amplitude/Phase Modeling and Development of Multimodal Hearing-Aid system

基于独立性和幅度/相位建模的音频源分离的数学深化及多模助听系统的开发

• 批准号: 22H03652
• 负责人: 北村 大地
• 金额: $ 11.07万
• 依托单位: Kagawa National College of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03652/
• 关键词: 音源分離; 補聴器; 深層学習; アレイ信号処理

本研究は，音響信号を対象とした音源分離技術の数理的深化と高性能化を目的とする．音源分離とは，複数の音源が混合した観測信号から混合前の個々の音源信号を推定する課題である．特に，マイクの配置や音源位置，部屋の残響や形状等の事前情報等を必要としない「ブラインド音源分離（BSS）」と呼ばれる技術は，実用化と多くの応用が期待されている．しかし，BSSは事前情報が与えられない問題であり，現在でも実用化困難なレベルの性能である．本研究では，申請者が過去に提案したBSSフレームワークを大きく拡張することを目的としている．具体的には，これまで無視されてきた音の位相を表現する代数的・統計的数理モデルの構築と応用（数理的深化），深層学習に基づく様々な音の位相の教師有りモデリング（データ的拡張），ユーザと協働するインタラクティブ音源分離システムを搭載した補聴器の開発（応用的実装）の3つを主軸にした理論拡充に取り組む．課題遂行1年目の令和4年度では，時間周波数領域における位相情報（位相スペクトログラム）の新しい表現形として提案されている「修正位相スペクトログラム」をBSSに活用することについて検討した．修正位相スペクトログラムは振幅スペクトログラムと同様に音源の時間周波数構造が（通常の位相スペクトログラムよりも）はっきりと現れるものであり，位相情報をBSSの音源モデルに組み込む直接的な方法と考えている．しかしながら，修正位相スペクトログラム領域のBSSは信号の復元に分離音の位相スペクトログラムが必要となるため，これに対する解決策を考える必要がある．そこで令和4年度では，修正位相スペクトログラムの検討の前段階として，「時間微分複素スペクトログラム」を用いたBSSについて実験的な調査を実施した．調査結果として，時間微分複素スペクトログラムでも通常のBSSと同程度の性能が得られることを確認した．

This study aims to deepen the mathematical separation of acoustic signals. Sound source separation and estimation of sound source signals before mixing. In particular, prior information such as the configuration and sound source position, the residual sound of the house, and the shape of the house is necessary. BSS has a lot of problems with this information, but now it's difficult to use it. This study is based on past proposals by applicants. Specifically, this is regardless of the algebraic, statistical, mathematical, construction and application (mathematical deepening) of the phase of the sound in deep learning. The teacher of the phase of the sound has a set of parameters (the expansion of the data), and the three axes of the sound source separation system are equipped with the development of the compensator (the practical installation). The project was carried out in the first year and the fourth year, and the phase information (phase selection) in the field of time cycle number was used in the new expression form of BSS. The phase information of the BSS sound source can be obtained directly from the phase information. It is necessary to correct the phase shift of the BSS signal in the complex phase shift of the BSS signal in the complex phase shift of the BSS signal. In 2010 and 2014, the first stage of the investigation of the correction phase was carried out by using the BSS in the investigation of the "time differential element selection". The results of the investigation confirmed that the time differential factor was higher than that of the normal BSS.

项目成果

Deficient-basis-complementary rank-constrained spatial covariance matrix estimation based on multivariate generalized Gaussian distribution for blind speech extraction

基于多元广义高斯分布的盲语音提取缺基补秩约束空间协方差矩阵估计

• DOI: 10.1186/s13634-022-00905-z
• 发表时间: 2022
• 期刊: EURASIP Journal on Advances in Signal Processing
• 影响因子: 1.9
• 作者: Yuto Kondo;Yuki Kubo;Norihiro Takamune ;Daichi Kitamura;and Hiroshi Saruwatari
• 通讯作者: and Hiroshi Saruwatari

DNN-based frequency-domain permutation solver for multichannel audio source separation

基于 DNN 的频域排列求解器，用于多通道音频源分离

• 发表时间: 2022
• 作者: Fumiya Hasuike;Daichi Kitamura;and Rui Watanabe
• 通讯作者: and Rui Watanabe

深層パーミュテーション解決法の汎化性能に関する実験的評価

深度排列求解方法泛化性能实验评估

• 发表时间: 2022
• 作者: 蓮池郁也;北村大地;渡辺瑠伊
• 通讯作者: 渡辺瑠伊

周波数双方向再帰に基づく深層パーミュテーション解決法

基于频率双向递归的深度排列求解

• 发表时间: 2022
• 作者: 蓮池郁也;北村大地;渡辺瑠伊;川口翔也
• 通讯作者: 川口翔也

双方向LSTMによるラウドネス及びMFCCからの振幅スペクトログラム予測と評価

双向 LSTM 响度和 MFCC 幅度谱图预测和评估

• 发表时间: 2022
• 作者: 川口翔也;北村大地
• 通讯作者: 北村大地