位相差のモデルを活用したアドホックマイクロホンアレイ信号処理

使用相位差模型的特设麦克风阵列信号处理

• 批准号: 22KJ2545
• 负责人: 升山 義紀
• 金额: $ 1.98万
• 依托单位: Tokyo Metropolitan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ2545/
• 关键词: 音響信号処理; アレイ信号処理; 最適化; 分散デバイス; ビームフォーミング

本研究課題では，分散配置されたスマートフォンやタブレットPCなどの録音機能をもつデバイスを連携させアレイ信号処理を行う，アドホックアレイ信号処理に取り組んでいる．アドホックアレイ信号処理では，各デバイスでのサンプリング周波数のずれにより，通常のアレイでは定常になるマイク間の位相差が非定常になり，これまでのアレイ信号処理がそのままでは適用できなくなるという課題がある．本年度は昨年度に引き続き，位相差の非定常性の原因であるサンプリング周波数のずれの推定・補償に取り組んだ．従来手法はあるマイクロホンのサンプリング周波数を基準とし，各非参照マイクロホンのサンプリング周波数の基準からのずれを個別に推定する．一方，提案手法では，アドホックアレイにおける多チャネル信号全体の確率モデルに基づきすべての非参照マイクロホンのサンプリング周波数を同時推定する．これにより，従来手法では考慮されていなかった非参照マイクロホン間の整合性を最適化の基準に取り入れることができ，推定精度が改善することを確認した．そして，サンプリング周波数の補償を行わないと音源分離の性能が低下する条件においても，提案手法によって音源分離性能を維持できることを確認した．また，アドホックアレイ信号処理の主要な応用先の一つである会議などの議事録作成を見据えて，音声強調・分離と音声認識の統合学習にも取り組んだ．特に，音声認識では近年注目されている自己教師あり学習表現 (SSLR) モデルを活用することで高い性能を実現した．多チャネル音声強調では様々なビームフォーマを比較検討し，WPDビームフォーマとSSLRモデルと組み合わせることで雑音・残響のある様々な環境において特に低い単語誤り率を実現した．

This research topic is divided into two parts: distributed configuration, PC recording function and signal processing. The phase difference between the two signals is usually not constant, and the problem of signal processing is not applicable. This year, compared with last year, the reasons for the non-stationarity of phase difference are discussed. The reference frequency of each non-reference signal is estimated individually. On the other hand, the proposed method is to estimate the frequency of all the multi-channel signals simultaneously. The method of optimization takes into account the fact that the accuracy of the estimation is improved. The compensation of the frequency of sound source separation is confirmed by the proposed method. The main purpose of signal processing is to create a record of the proceedings of the conference, to emphasize and separate the sound and to integrate the sound recognition. In particular, in recent years, voice recognition has been highlighted by teachers 'learning performance (SSLR). WPD, WPD

项目成果

End-to-End Integration of Speech Recognition, Dereverberation, Beamforming, and Self-Supervised Learning Representation

• DOI: 10.1109/slt54892.2023.10023199
• 发表时间: 2022-10
• 期刊: 2022 IEEE Spoken Language Technology Workshop (SLT)
• 作者: Yoshiki Masuyama;Xuankai Chang;Samuele Cornell;Shinji Watanabe;Nobutaka Ono

Joint Optimization of Sampling Rate Offsets Based on Entire Signal Relationship Among Distributed Microphones

• DOI: 10.48550/arxiv.2206.13014
• 发表时间: 2022-06
• 作者: Yoshiki Masuyama;K. Yamaoka;Nobutaka Ono