位相差のモデルを活用したアドホックマイクロホンアレイ信号処理

本研究課題では，分散配置されたスマートフォンやタブレットPCなどの録音機能をもつデバイスを連携させアレイ信号処理を行う，アドホックアレイ信号処理に取り組んでいる．アドホックアレイ信号処理では，各デバイスでのサンプリング周波数のずれにより，通常のアレイでは定常になるマイク間の位相差が非定常になり，これまでのアレイ信号処理がそのままでは適用できなくなるという課題がある．本年度は昨年度に引き続き，位相差の非定常性の原因であるサンプリング周波数のずれの推定・補償に取り組んだ．従来手法はあるマイクロホンのサンプリング周波数を基準とし，各非参照マイクロホンのサンプリング周波数の基準からのずれを個別に推定する．一方，提案手法では，アドホックアレイにおける多チャネル信号全体の確率モデルに基づきすべての非参照マイクロホンのサンプリング周波数を同時推定する．これにより，従来手法では考慮されていなかった非参照マイクロホン間の整合性を最適化の基準に取り入れることができ，推定精度が改善することを確認した．そして，サンプリング周波数の補償を行わないと音源分離の性能が低下する条件においても，提案手法によって音源分離性能を維持できることを確認した．また，アドホックアレイ信号処理の主要な応用先の一つである会議などの議事録作成を見据えて，音声強調・分離と音声認識の統合学習にも取り組んだ．特に，音声認識では近年注目されている自己教師あり学習表現 (SSLR) モデルを活用することで高い性能を実現した．多チャネル音声強調では様々なビームフォーマを比較検討し，WPDビームフォーマとSSLRモデルと組み合わせることで雑音・残響のある様々な環境において特に低い単語誤り率を実現した．

本研究課題では，分散配置されたスマートフォンやタブレットPCなどの録音機能をもつデバイスを連携させアレイ信号処理を行う，アドホックアレイ信号処理に取り組んでいる．アドホックアレイ信号処理では，各デバイスでのサンプリング周波数のずれにより，通常のアレイでは定常になるマイク間の位相差が非定常になり，これまでのアレイ信号処理がそのままでは適用できなくなるという課題がある．本年度は昨年度に引き続き，位相差の非定常性の原因であるサンプリング周波数のずれの推定・補償に取り組んだ．従来手法はあるマイクロホンのサンプリング周波数を基準とし，各非参照マイクロホンのサンプリング周波数の基準からのずれを個別に推定する．一方，提案手法では，アドホックアレイにおける多チャネル信号全体の確率モデルに基づきすべての非参照マイクロホンのサンプリング周波数を同時推定する．これにより，従来手法では考慮されていなかった非参照マイクロホン間の整合性を最適化の基準に取り入れることができ，推定精度が改善することを確認した．そして，サンプリング周波数の補償を行わないと音源分離の性能が低下する条件においても，提案手法によって音源分離性能を維持できることを確認した．また，アドホックアレイ信号処理の主要な応用先の一つである会議などの議事録作成を見据えて，音声強調・分離と音声認識の統合学習にも取り組んだ．特に，音声認識では近年注目されている自己教師あり学習表現 (SSLR) モデルを活用することで高い性能を実現した．多チャネル音声強調では様々なビームフォーマを比較検討し，WPDビームフォーマとSSLRモデルと組み合わせることで雑音・残響のある様々な環境において特に低い単語誤り率を実現した．