認識・生成過程の統合に基づく深層ベイズ音楽理解

基于识别和生成过程集成的深度贝叶斯音乐理解

• 批准号: 21J15604
• 负责人: 呉 益明
• 金额: $ 0.96万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J15604/
• 关键词: Automatic music analysis; Multi-task learning; Variational Autoencoder

本研究は、複数の音楽要素を含む楽譜全体を統一的に取り扱う学習機構を確立させるために、明確な相互依存関係が存在するコードとキーの同時推定タスクに取り組んだ。具体的には、コードとキーを潜在変数とする生成モデルを構築する際、一般的な作曲過程に基づく階層的な深層生成モデルを構築した。また、コードとキーの間の言語構造をあらわす言語モデルも、潜在変数の事前分布として定義した。これをマルチタスク学習の手法を用いて複数音楽要素を一挙に推定する認識モデルと統合し、言語モデルと深層生成モデルの正則化による学習機構を構築した。評価実験では、提案した学習機構と、従来的な「認識過程」のみに着目した音楽分析モデルの性能を比較した。また、提案した学習機構においても、認識モデル・言語モデルを実装する際に異なるモデル構造を考え、それらの異なる組み合わせを比較した。具体的には、同じデータセットを用いて学習したモデルの、音楽音響信号に対するコード・キー認識精度を比較した。その結果、提案した正則化手法は認識精度を顕著に向上させたことが示された。この研究は、提案された認識・生成モデルを統一的に扱う手法が、従来的な音楽分析モデルに代わる、音楽理解の新たな数理モデル構築のアプローチになりうることを示している。研究期間中に、一部研究成果は国際会議APSIPA ASC 2020に掲載された。最終的な研究成果は申請者の博士卒業論文の一章として発表されており、また関連分野の学術ジャーナルであるAPSIPA Transactions on Signal and Information Processingに投稿し、現在査読中である。

This study は, plural の を joy elements containing む joy spectrum all を unified に take り Cha う learning institutions を establish さ せ る た め に, clear な exist interdependence masato is が す る コ ー ド と キ ー の presumption and タ ス ク に group take り ん だ. Specific に は, コ ー ド と キ ー を potential - several と す る generated モ デ ル を build す る interstate, general な composing process に づ く class な deep generated モ デ ル を build し た. Youdaoplaceholder0, コ ドとキ ドとキ ドとキ <s:1> inter<s:1> <s:1> speech structure をあらわす speech モデ <s:1> <s:1>, potential variable <s:1> prior distribution と て て definition た. こ れ を マ ル チ タ ス ク learn の を with い て を plural sound joy elements 挙 に presumption す る know モ デ ル と integration し, speech モ デ ル と deep generated モ デ ル の regularization に よ る learning institutions を build し た. Review 価 be 験 で は, proposal し た learning institutions と, 従 な "process" の み に with mesh し た sound joy analysis モ デ ル の を performance comparison し た. ま た, proposal し た learning institutions に お い て も, understanding モ デ ル · words モ デ ル を be loaded す る interstate に different な る モ デ ル tectonic え を test, そ れ ら の different な る group み close わ せ を compare し た. Specific に は, with じ デ ー タ セ ッ ト を with い て learning し た モ デ ル の, joy sound signal に す seaborne る コ ー ド · キ を ー meet precision comparison し た. The そ results, the proposal of the た regularization technique, the <s:1> recognition accuracy を顕 is shown by に upward させた とが とが とが された された. こ の research は, proposal さ れ た know, generate モ デ ル を unified に Cha う が, 従 joy な phonetic analysis モ デ ル に generation わ る, sound joy understanding の new た な mathematical モ デ ル build の ア プ ロ ー チ に な り う る こ と を shown し て い る. During the research period, に and one of the research results に were presented at the international conference APSIPA ASC 2020に された. Final な research Dr は applicants の の school thesis chapter と し て 発 table さ れ て お り, ま た masato even eset の academic ジ ャ ー ナ ル で あ る APSIPA the Transactions on Signal and Information Processing contribute に し, now check 読 で あ る.