权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

多チャネル音源分離のための独立非全結合型深層学習行列分析の提案

多通道声源分离的独立非全连接深度学习矩阵分析的提出

基本信息

批准号：
20K11886
负责人：
吉村宏紀
金额：
$ 2.16万
依托单位：
Tottori University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2023-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11886/
关键词：
IDLMA U-net 深層学習 U-Net ボーカル音源の抽出 DNN 音源分離 Deep Neural Networks 独立深層学習行列分析 IDLMA SDR ディープニューラルネットワークプロジェクションバック法

项目摘要

従来の IDLMA は音源モデル推定ネットワークに全結合型 NN を用いている．IDLMA の音源モデル推定ネットワークには分離対象音源の振幅スペクトログラムを利用する必要がある．本研究では IDLMA の音源モデル推定ネットワークに，振幅スペクトログラムを出力可能な U-Net を用いることによって IDLMAの音源分離精度の向上を確認した．また U-Net に整数次倍音の振幅 (ピーク) を抽出するフィルタを組み込むことによって，U-Net 自身の精度向上も確認し，そのフィルタ付き U-Net を IDLMA に組み込むことで更に精度向上を図った．U-Net は元来，医科学分野の画像セグメンテーションのために開発された手法である．音声や楽器音は倍音というものを含んでいる．例えば楽器で A4 の音を出したと仮定する．A4 の周波数は一般的に 440Hz とされている．実際に楽器から発せられる音は，440Hzの他に整数倍の周波数付近の音が出ている．これらの波のことは整数次倍音と呼ばれている．またその他の周波数帯に発せられている音より大きな振幅になる特徴を持つ．この特徴を U-Net に取り入れた．IDLMA の音源モデル推定に U-Net を用いることで，精度向上が可能なことを確認した．また U-Net に整数次倍音による振幅のピークを抽出するフィルタを取り入れることで U-Net 自身の精度向上に寄与できることを確認した．今後の課題としてU-Net+IDLMA のパーミュテーション問題解決を行うこと，音源種類ごとに倍音を学習するネットワークの構築などが考えられる．

The IDLMA is used to estimate the amplitude of the sound source, and the IDLMA is used to estimate the amplitude of the sound source. In this study, the accuracy of IDLMA sound source separation was confirmed. U-Net is an integral multiple of the amplitude of the tone (s) extracted, the accuracy of the U-Net itself is confirmed upward, and the accuracy of the U-Net IDLMA group is confirmed upward.U-Net is an element of the medical science division of the picture. The sound of the sound is not the sound of the sound. For example, the frequency of A4 is constant. The frequency of A4 is normal at 440Hz. In the meantime, the sound of the generator is transmitted, and the sound of the 440Hz and other integer multiples of the number of cycles is transmitted. The whole number of times the sound is repeated. The frequency band of the other frequencies is transmitted to the sound, the amplitude and the characteristic. This feature is extracted from U-Net.IDLMA's sound source is estimated from U-Net. The accuracy is up. U-Net integer tone extraction The future problems of U-Net+IDLMA are: how to solve the problem, how to learn the sound source type, how to construct the sound source structure, how to solve the problem.