权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Innovation of speech / acoustic scene recognition based on distributed acoustic sensing and asynchronous sequence modeling

基于分布式声学传感和异步序列建模的语音/声学场景识别创新

基本信息

批准号：
20H00613
负责人：
小野順貴
金额：
$ 28.95万
依托单位：
Tokyo Metropolitan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (A)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

2021年度は以下の成果を得た。1) 音響シーン認識：分散マイクロホンによる観測の一部に欠損がある場合，欠損を模擬したモデル学習やAutoEncoderによる欠損の補完により，シーン分類性能低下を防ぐ手法を提案した。また，音響イベント検出と音響シーン認識を同時にモデル化し，音響イベントの弱ラベルを用いて相互に性能を高めあう学習法を提案した。ブリンキーを用いることを想定した end-to-end学習に基づく音響シーン認識についても検討を進めた。2) ブリンキーに基づく分散音響センシング：小規模DNNをブリンキー内で動作させることに成功した。また，光信号飽和時に伝達係数と信号を推定する手法を提案した。新たな展開として，音響信号から複数ブリンキーの光信号への変換を圧縮センシングと捉え，スパースなスペクトルを復元する手法を提案した。3) 非同期信号の同期技術：補助関数法を用いた複数時間差推定のオンライン化について検討した。また，この手法をサンプリング周波数ミスマッチの同時推定に拡張した。4) 微弱周期信号への動的同期加算：サンプリング周波数が微小に時間変動する環境下で微弱周期信号を強調する手法を，インパルス応答推定に応用した。さらに前年度収録したデータベースを用いて実環境での評価も行った。5) アレイ信号処理の発展：リアルタイム応用を想定し，因果性制約下近接分離最適化によりビームフォーマーを設計する手法を提案した。時間周波数線形結合ビームフォーマーについても最適なフィルタ数について検討を進めた。音場補間に基づく，マイクロホンアレイの回転に頑健なビームフォーミングを提案した。6) 実世界応用：自閉スペクトラム症診断のための対話音声の分散録音と分析について検討を進めた他，国立国語研究所が公開している日常会話コーパスに対して，ブラインド同期と音源分離による重畳音声の分離を試みた。

The following results were achieved in 2021. 1)Audio recognition: Dispersion of audio and video data, partial loss of audio and video data, simulation of audio and video data, AutoEncoder of audio and video data, loss of audio and video data, and improvement of audio and video data. For example, if you want to learn from the sound system, you can use it to improve your performance. In the middle of the game, I want to set the end-to-end learning, and I want to learn the basics. 2)Small Scale DNN: Small Scale DNN: Small Scale DNN: A method for estimating the saturation coefficient of an optical signal is proposed The new method of sound signal conversion and compression is proposed. 3)Synchronization techniques for asynchronous signals: estimation of complex time differences using the auxiliary correlation method The number of cycles is estimated simultaneously. 4)The method of adding weak periodic signals to the same period of time is used to estimate the frequency of weak periodic signals under the condition that the frequency of weak periodic signals varies with time. The previous year's record was published in the Journal of Environmental Studies. 5)The development of signal processing: the design of proximity separation optimization under causal constraints Time cycle number linear combination is optimal for the number of cycles The sound field fills in the gap, and the sound field fills in the gap. 6)The National Institute of Mandarin Studies has opened up daily conversations to the public, and the separation of heavy sounds has been tried.

项目成果

期刊论文数量（42）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

非同期分散マイクロフォンを活用する音響信号処理

利用异步分布式麦克风进行声学信号处理

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
Ryo Furukawa1 ;Shiro Oka2 ;Takahiro Kotachi2 ;Yuki Okamoto2 ;Shinji Tanaka2 ;Ryusuke Sagawa3 ;and Hiroshi Kawasaki4;小野順貴
通讯作者：
小野順貴

音光変換デバイス「ブリンキー」の信号伝搬過程を考慮したEnd-to-End音響シーン分析

考虑声光转换装置“Blinky”信号传播过程的端到端声学场景分析