マルチモーダル情報統合型知的音響サーベランスシステムの構築

本研究課題は，ビデオカメラやマイクロホンなどの様々なセンサを用いて収集した信号を統合することで，危機状況やその発生位置を実時間で正確に検知するマルチモーダル情報統合型知的音響サーベランスシステムの実現を目的としている．本年度は本目的を達成するため，まず音響信号により危険発生位置を実時間で高精度に検知するための要素技術として，単一のマイクロホンを用いて観測した音響信号から近くにいる人間と遠くにいる人間とを実時間で判別する方法を検討した．次に音響信号により危機状況の内容を高精度に検知するための要素技術として，椅子の落下音やガラスが割れる音などの多重衝突音や，手をたたく音やカップを置く音，ビンが床に叩きつけられる音などの単発音に含まれる危険音を正確に検出する新しい音響特徴量を検討した．そして，音響情報と画像情報を統合することで，更に高精度に危機発生位置を検知する方法を検討した．マイクロホンにより計測した音響信号は，部屋の壁・天井やその環境に存在する物体からの残響の影響で歪むために危機状況の検出や位置推定の精度が低下する問題がある．そこで本年度は，画像信号により得られた位置情報を元に，音源位置の推定に使用する周波数の信頼度を推定する方法と，観測音響信号を用いて残響の影響を推定する方法の2つの方法を検討した．実環境計測した信号を用いた評価実験の結果，音源位置の推定精度が向上することを確認した．

本研究課題は，ビデオカメラやマイクロホンなどの様々なセンサを用いて収集した信号を統合することで，危機状況やその発生位置を実時間で正確に検知するマルチモーダル情報統合型知的音響サーベランスシステムの実現を目的としている．本年度は本目的を達成するため，まず音響信号により危険発生位置を実時間で高精度に検知するための要素技術として，単一のマイクロホンを用いて観測した音響信号から近くにいる人間と遠くにいる人間とを実時間で判別する方法を検討した．次に音響信号により危機状況の内容を高精度に検知するための要素技術として，椅子の落下音やガラスが割れる音などの多重衝突音や，手をたたく音やカップを置く音，ビンが床に叩きつけられる音などの単発音に含まれる危険音を正確に検出する新しい音響特徴量を検討した．そして，音響情報と画像情報を統合することで，更に高精度に危機発生位置を検知する方法を検討した．マイクロホンにより計測した音響信号は，部屋の壁・天井やその環境に存在する物体からの残響の影響で歪むために危機状況の検出や位置推定の精度が低下する問題がある．そこで本年度は，画像信号により得られた位置情報を元に，音源位置の推定に使用する周波数の信頼度を推定する方法と，観測音響信号を用いて残響の影響を推定する方法の2つの方法を検討した．実環境計測した信号を用いた評価実験の結果，音源位置の推定精度が向上することを確認した．