スパース信号分解に基づく多次元音響メディア情報処理及びその音拡張現実感への応用

基于稀疏信号分解的多维音频媒体信息处理及其在音频增强现实中的应用

• 批准号: 14J10796
• 负责人: 北村 大地
• 金额: $ 1.79万
• 依托单位: The Graduate University for Advanced Studies
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2014
• 资助国家: 日本
• 起止时间: 2014-04-25 至 2017-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14J10796/
• 关键词: 音源分離; 音メディア信号処理; 非負値行列因子分解; 多チャネル; 音響信号処理; 独立成分分析; 多チャネル信号処理; アレー信号処理

本研究は，音メディアを対象とした拡張現実感システム（音ARシステム）の構築を最終的な目標としており，頑健に動作する教師無し及び教師あり音源分離技術の基礎的な理論構築及びマルチチャネル信号への拡張を行う．このような音源分離技術は，補聴器等の人支援デバイスや高臨場感音場再現技術，既存の音楽の能動的な鑑賞（ユーザによるリマスタリング）など多岐にわたる応用が可能である他，混合信号の中の潜在的な因子を解析する技術として，学術的にも極めて重要である．研究実施1年目では，マルチチャネル信号を対象とした極めて効率的な教師無し音源分離アルゴリズムを新たに提案しており，トップ国際会議への採択や当該成果に関する受賞等から，その学術的な価値が認められつつある．2年目では，2年目で提案したマルチチャネル音源分離手法の数理的なメカニズム（音源の周波数構造を捉える機構及び空間的な伝達系を捉える機構）を詳しく解析し，トイモデルを用いて従来のstate-of-the-artな手法（独立ベクトル分析）からの数理的な拡張である事実を明確に示した．この成果は1年目の成果とまとめて国際論文誌に掲載されている．また，異なるアプローチである教師ありの音源分離手法として，分離対象音源固有の周波数構造を捉えられるように教師情報（音源固有のスペクトル構造）を変形・適応することで，より高精度なモノラル音源分離を実現する手法を新たに提案している．3年目では，2年目の教師あり音源分離手法の成果を国際会議へ投稿し，発表している．また，1年目の成果であるマルチチャネル音源分離に対しても活用できるアルゴリズムとして，基盤技術となる非負値行列因子分解の効率的な変数初期値決定法を新たに提案し，国際会議で発表している．

は this study, the sound メ デ ィ ア を like と seaborne し た company, zhang is now be feeling シ ス テ ム (AR シ ス テ ム) の build を eventually な target と し て お り, robust に action す る teachers し and び あ り audio source separation technology based の な theory building and び マ ル チ チ ャ ネ ル signal へ の company, zhang う を line. は こ の よ う な audio source separation technology, 聴 device etc の people support デ バ イ ス や high immersive sound reproduction technology, existing の sound joy の motile な appreciation (ユ ー ザ に よ る リ マ ス タ リ ン グ) な ど many gaps に わ た る 応 may use が で あ る him, in the mixed signal の potential な の を parsing す る technology と し て, academic に も extremely め て important で あ る. Research be 1 year of mesh で は, マ ル チ チ ャ ネ ル signal を like と seaborne し た extremely め て な teachers working rate without し audio source separation ア ル ゴ リ ズ ム を new た に proposal し て お り, ト ッ プ international conference へ の mining 択 や when the results に masato す る who such as か ら, そ の academic な 価 numerical が recognize め ら れ つ つ あ る. 2 years で は, 2 years で proposal し た マ ル チ チ ャ ネ ル audio source separation technique of の mathematical な メ カ ニ ズ ム (audio の cycle for tectonic を catch え る institutions and び space な 伝 da を expose え る) を detailed し く parsing し, ト イ モ デ ル を with い て 従 to の state - of - the - art な technique (independent ベ ク ト ル analysis) か ら の of mathematical な company, zhang で あ る things be を に clearly shown し た. <s:1> <s:1> achievements 1-year achievements とまとめて published in the International Journal of Papers に されて る る. ま た, different な る ア プ ロ ー チ で あ る teachers あ り の audio source separation technique と し て, separation inherent の like audio cycle for seaborne tectonic を catch え ら れ る よ う に teachers intelligence (audio inherent の ス ペ ク ト ル structure) を - shape, optimum 応 す る こ と で, よ り high-precision な モ ノ ラ ル audio source separation を be presently す る gimmick を new た に proposal し て い る. For the 3rd grade, で で, and for the 2nd grade, あ teachers, あ, あ achievements in audio source separation techniques, を, international conference へ submission, て, and publication, て, る, る. ま た, 1 years の results で あ る マ ル チ チ ャ ネ ル audio source separation に し seaborne て も use で き る ア ル ゴ リ ズ ム と し て, base plate technology と な る nonnegative nt ranks factorization の な sharper rates - several numerical decision method of the early new た を に proposal し, international conference で 発 table し て い る.

项目成果

独立低ランク行列分析と統計的音声強調を用いた柔軟索状ロボットにおけるブラインド音源分離システムの開発

使用独立低秩矩阵分析和统计语音增强开发软线机器人中的盲声源分离系统

• 发表时间: 2017
• 作者: 三井祥幹;溝口聡;猿渡洋;越智景子;北村大地;小野順貴;石村大;前成美;高草木萌;松井裕太郎;山岡洸瑛;牧野昭二
• 通讯作者: 牧野昭二

スパース時系列正則化に基づく独立低ランク行列分析を用いたブラインド音源分離

基于稀疏时间序列正则化的独立低秩矩阵分析盲源分离

• 发表时间: 2016
• 作者: 三井祥幹;北村大地;高道慎之介;猿渡洋
• 通讯作者: 猿渡洋

Determined Blind Source Separation Unifying Independent Vector Analysis and Nonnegative Matrix Factorization

• DOI: 10.1109/taslp.2016.2577880
• 发表时间: 2016-09-01
• 期刊: IEEE-ACM TRANSACTIONS ON AUDIO SPEECH AND LANGUAGE PROCESSING
• 影响因子: 5.4
• 作者: Kitamura, Daichi;Ono, Nobutaka;Saruwatari, Hiroshi
• 通讯作者: Saruwatari, Hiroshi

Music signal separation using supervised NMF with all-pole-model-based discriminative basis deformation

使用基于全极模型判别基础变形的监督 NMF 进行音乐信号分离

• 发表时间: 2016
• 作者: Hiroaki Nakajima;Daichi Kitamura;Norihiro Takamune;Shoichi Koyama;Hiroshi Saruwatari;Nobutaka Ono;Yu Takahashi;and Kazunobu Kondo
• 通讯作者: and Kazunobu Kondo

時変な全極モデルを用いた基底変形型教師ありNMFによる音楽信号分離

使用时变全极点模型的基础变形类型监督 NMF 的音乐信号分离

• 发表时间: 2016
• 作者: 中嶋広明;北村大地;高宗典玄;小山翔一;猿渡洋;小野順貴;高橋祐;近藤多伸
• 通讯作者: 近藤多伸