マルチモーダル情報統合型知的音響サーベランスシステムの構築

多模态信息综合智能声音监控系统构建

• 批准号: 14J09165
• 负责人: 林田 亘平
• 金额: $ 0.64万
• 依托单位: Ritsumeikan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2014
• 资助国家: 日本
• 起止时间: 2014-04-25 至 2015-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14J09165/
• 关键词: マルチモーダル情報統合; 音源位置推定; 危険音検出

本研究課題は，ビデオカメラやマイクロホンなどの様々なセンサを用いて収集した信号を統合することで，危機状況やその発生位置を実時間で正確に検知するマルチモーダル情報統合型知的音響サーベランスシステムの実現を目的としている．本年度は本目的を達成するため，まず音響信号により危険発生位置を実時間で高精度に検知するための要素技術として，単一のマイクロホンを用いて観測した音響信号から近くにいる人間と遠くにいる人間とを実時間で判別する方法を検討した．次に音響信号により危機状況の内容を高精度に検知するための要素技術として，椅子の落下音やガラスが割れる音などの多重衝突音や，手をたたく音やカップを置く音，ビンが床に叩きつけられる音などの単発音に含まれる危険音を正確に検出する新しい音響特徴量を検討した．そして，音響情報と画像情報を統合することで，更に高精度に危機発生位置を検知する方法を検討した．マイクロホンにより計測した音響信号は，部屋の壁・天井やその環境に存在する物体からの残響の影響で歪むために危機状況の検出や位置推定の精度が低下する問題がある．そこで本年度は，画像信号により得られた位置情報を元に，音源位置の推定に使用する周波数の信頼度を推定する方法と，観測音響信号を用いて残響の影響を推定する方法の2つの方法を検討した．実環境計測した信号を用いた評価実験の結果，音源位置の推定精度が向上することを確認した．

The purpose of this research is to integrate the signal of crisis situation and the time of crisis occurrence. This year, we will discuss the method of detecting the sound signal from near to far. Second, the sound signal is used to detect the content of the crisis situation with high precision. The key elements of the sound signal are technology and technology. The sound of the chair falls. The sound of the chair falls. This paper discusses the integration of audio information and image information, and the method of detecting the position of crisis occurrence with high precision. The problem of measuring the acoustic signal is that the accuracy of the position estimation is low due to the presence of objects in the environment of the house wall and ceiling. This year, we will discuss two methods for estimating the frequency and the reliability of the sound source position estimation using the position information obtained from the image signal and the residual sound influence of the sound signal. The accuracy of the estimation of the sound source position is improved.

项目成果

パワー包絡とスペクトル帯域比を用いたマルチステージ危険音検出

使用功率包络和谱带比的多级危险声音检测

• 发表时间: 2015
• 作者: 林田亘平，中山雅人，西浦敬信，山下洋一，堀内俊治，加藤恒夫;岡本亜紗子，林田亘平，中山雅人，西浦敬信;岡本亜紗子，林田亘平，中山雅人，西浦敬信
• 通讯作者: 岡本亜紗子，林田亘平，中山雅人，西浦敬信

Gaussian Mixture Model Learning for Desired Speech Discrimination Based on Kurtosis of Linear Prediction Residual Signals

基于线性预测残差信号峰度的期望语音识别的高斯混合模型学习

• 发表时间: 2014
• 作者: K. Hayashida;M. Nakayama;T. Nishiura and Y. Yamashita
• 通讯作者: T. Nishiura and Y. Yamashita

音声の線形予測残差の尖度に基づく近接/遠隔話者の判別

基于语音线性预测残差峰度区分近/远说话者

• 发表时间: 2015
• 期刊: 電子情報通信学会論文誌(A)
• 作者: 林田亘平，中山雅人，西浦敬信，山下洋一，堀内俊治，加藤恒夫

日常生活におけるスペクトル帯域比を用いた危険音検出の検討

利用谱带比检测日常生活中危险声音的研究

• 发表时间: 2014
• 作者: 林田亘平，中山雅人，西浦敬信，山下洋一，堀内俊治，加藤恒夫;岡本亜紗子，林田亘平，中山雅人，西浦敬信;岡本亜紗子，林田亘平，中山雅人，西浦敬信;岡本亜紗子，林田亘平，中山雅人，西浦敬信
• 通讯作者: 岡本亜紗子，林田亘平，中山雅人，西浦敬信

Close/distant talker discrimination based on kurtosis of linear prediction residual signals

• DOI: 10.1109/icassp.2014.6854015
• 发表时间: 2014-05
• 期刊: 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
• 作者: Kohei Hayashida;M. Nakayama;T. Nishiura;Y. Yamashita;T. Horiuchi;T. Kato