权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Multi-channel Audio Signal Processing Based on Sound-to-Light Conversion and Video Camera

基于声光转换和摄像机的多通道音频信号处理

基本信息

批准号：
17F17049
负责人：
小野順貴
金额：
$ 1.41万
依托单位：
Tokyo Metropolitan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2017
资助国家：
日本
起止时间：
2017-11-10 至 2020-03-31
项目状态：
已结题

项目摘要

本研究において我々は、短時間毎の音強度によってLEDを駆動し光強度に変換する「ブリンキー」というセンサノードを開発した。本研究の目的は「ブリンキー」を多数、空間中に配置し、通常のフレームレートのカメラでこれを映像として取得し、カメラを一種の多チャンネル音響デバイスとして用ることで、従来は困難であった広範囲からの音響情報の取得を容易にし、音響シーン認識、音源定位、音源強調などをカメラによって行う新しい音響応用システムを実現することを目指している。2019年度成果は以下の通りである。1) マルチモーダル音源強調：通常のマイクロホンアレイとブリンキーを組み合わせたマルチモーダルな音源強調法として、1-a) ブリンキーにより得られる音強度信号をNMFにより分離し、得られたVAD情報を用いてSN比最大化ビームフォーマを設計する手法、1-b) ブリンキー、マイクロホンアレイにより得られるマルチモーダルな信号を同じ確率モデルで同時最適化し，音源分離を行う手法，の2つのアプローチで定式化した。2) ブリンキーに基づく複数音源定位：ブリンキーにより得られる音強度信号をNMFにより分離し、単一音源に対するブリンキーの空間強度パターンをあらかじめ学習させたDNNにより複数音源定位を行う手法を提案した。3) ブラインド音源分離の高速アルゴリズム：1)の展開として、3-a) 分離行列のrank-1更新による音源分離 (ISS)、3-b) 過決定条件での効率的な音源分離 (FIVE)という2つの新たなブラインド音源分離アルゴリズムを提案した。4) 音高のリアルタイム可視化：従来のブリンキーでは観測された音信号全体の強度によりLEDを駆動していたが、特定の音にのみ反応するブリンキーの第一段階として、クロマベクトルに基づきブリンキー内で音高を検出し、特定音高の音対してのみ反応するブリンキーを実現した。

In this study, the intensity of each sound and the intensity of each light are changed in a short time. The purpose of this study is to make it easy to acquire audio information, recognize audio information, locate audio sources, and make it easier to acquire audio information. The sound source emphasizes the sound source and the sound source. The results of 2019 are as follows: 1)Sound source: 1-a) To obtain the sound intensity signal NMF; to obtain the VAD information; to use SN ratio maximization; and The signal is identical in accuracy, simultaneous optimization, and sound source separation. 2)The sound intensity signal is separated from the sound intensity signal. The sound intensity signal is separated from the sound intensity signal. The sound intensity signal is separated from the sound intensity signal. 3)High speed separation of sound source: 1) Unfolding, 3-a) Rank of separation-1 Update of sound source separation (ISS), 3-b) Efficient sound source separation (FIVE) over decision conditions, 2) New sound source separation, 3-a) Proposal of separation. 4)Pitch visualization: the first level of pitch detection in the range of pitch detection.