A study on automatic orchestration from piano score

钢琴乐谱自动配器研究

基本信息

批准号：
22K00217
负责人：
小坂直敏
金额：
$ 2.66万
依托单位：
Tokyo Denki University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K00217/
关键词：
自動作曲自動変奏編曲オーケストレーション深層学習 LSTM transformer

项目摘要

本テーマはオーケストラ楽曲を制作するため、問1. AV空間上の情動を指定する方法，問2. 個別楽器の特徴的な演奏を生かす条件，問3. 意図する音色を環境音で表現する条件　を満たす自動オーケストレーション技術を個別に検討する研究である。問1,2は深層学習を用いた手法で、データベース収集も大きな課題となる。また、問3はこれまで別テーマで進めてきたサウンドエフェクトの研究の枠組みで、NMF,CNMFを用いてサウンドコラージュを検討する問題である。さらに、上記計画とは別に、これらの技術を組み込んだ創作（オーケストラ作品と非オーケストラ作品）とその作品発表を行うことを計画したが、公演を計画していたオーケストラが先方の都合により、実施時期が前倒しになった。すなわち、2024年度に予定していた公演が2022年秋となった。そのため、本来は編曲技術を取り入れた作品の発表となるはずであったが、自作のオーケストラ作品を入力データとして寄与する、との目的に変更せざるをえなかった。具体的には、ピアノ協奏曲を制作発表したが、同作品でのピアニズムの追求が問2の個別楽器の楽器らしさとして、学習用データとなる。この他、問3の実作例として、公文太一作品、西川日菜乃作品で、前者はRaveを用い、後者はNMFを用いたサウンドコラージュを主要テーマとした音楽作品をMedia Project Vol. 16で発表した。問1,2の深層学習を用いた自動作曲のアルゴリズムについては、実作創作、および公演の予定が繰り上がったため、検討はあまり進まなかった。

该主题是一项研究，该研究单独检查自动编排技术，以满足以环境声音表达预期音调的条件，问题1。另外，问题3是在我们一直在研究不同主题的声音效果的框架内考虑使用NMF和CNMF考虑声音拼贴的问题。此外，除了上述计划外，我们计划创作结合这些技术（管弦乐队作品和非司法作品）的作品并介绍他们的作品，但是由于另一方的便利性，计划执行表演的乐团得到了提出。换句话说，计划于2024年的表演是2022年秋天。因此，尽管最初应该是包含安排技术的作品的介绍，但他们必须改变为自己乐团作品的投入数据做出贡献的目的。具体来说，他制作并宣布了钢琴协奏曲的生产和呈现，但是在这项工作中对钢琴主义的追求是一个学习数据，作为问题2的单个仪器的工具。此外，问题3的实际示例已在媒体项目卷中发表。 16，这是一部音乐作品，以声音拼贴的主题为前者，而NMF为后者。关于在问题1和2中使用深度学习自动组成的算法，随着实际创建和绩效时间表的提高，讨论几乎没有进展。