Multi-channel Audio Signal Processing Based on Sound-to-Light Conversion and Video Camera

点击翻译按钮获取中文摘要

本研究において我々は、短時間毎の音強度によってLEDを駆動し光強度に変換する「ブリンキー」というセンサノードを開発した。本研究の目的は「ブリンキー」を多数、空間中に配置し、通常のフレームレートのカメラでこれを映像として取得し、カメラを一種の多チャンネル音響デバイスとして用ることで、従来は困難であった広範囲からの音響情報の取得を容易にし、音響シーン認識、音源定位、音源強調などをカメラによって行う新しい音響応用システムを実現することを目指している。2019年度成果は以下の通りである。1) マルチモーダル音源強調：通常のマイクロホンアレイとブリンキーを組み合わせたマルチモーダルな音源強調法として、1-a) ブリンキーにより得られる音強度信号をNMFにより分離し、得られたVAD情報を用いてSN比最大化ビームフォーマを設計する手法、1-b) ブリンキー、マイクロホンアレイにより得られるマルチモーダルな信号を同じ確率モデルで同時最適化し，音源分離を行う手法，の2つのアプローチで定式化した。2) ブリンキーに基づく複数音源定位：ブリンキーにより得られる音強度信号をNMFにより分離し、単一音源に対するブリンキーの空間強度パターンをあらかじめ学習させたDNNにより複数音源定位を行う手法を提案した。3) ブラインド音源分離の高速アルゴリズム：1)の展開として、3-a) 分離行列のrank-1更新による音源分離 (ISS)、3-b) 過決定条件での効率的な音源分離 (FIVE)という2つの新たなブラインド音源分離アルゴリズムを提案した。4) 音高のリアルタイム可視化：従来のブリンキーでは観測された音信号全体の強度によりLEDを駆動していたが、特定の音にのみ反応するブリンキーの第一段階として、クロマベクトルに基づきブリンキー内で音高を検出し、特定音高の音対してのみ反応するブリンキーを実現した。