音の三要素に基づく生成過程を考慮した深層ベイズ自動採譜

基于声音三要素考虑生成过程的深度贝叶斯自动转录

基本信息

批准号：
22KJ2959
负责人：
田中啓太郎
金额：
$ 1.6万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ2959/
关键词：
音楽情報処理自動採譜多楽器採譜音高音色分離

项目摘要

本研究では，音楽音響信号を構成する全ての楽器に対して各楽譜を推定する，多楽器自動採譜技術を扱う．現代音楽では多種多様な楽器が使用されるため，多楽器自動採譜は楽曲の保存と再現の観点から重要な技術である．従来は，採譜対象の楽器を事前に複数種類指定し，各楽器に依存した個別の採譜モデルを作成することで，各楽譜の推定が行われていた．そのため，使用する訓練データに含まれない楽器をはじめとする多くの楽器は楽譜推定の対象外となり，一般の楽曲に対しては採譜できないという問題があった．そこで本年度は，汎用性の高い採譜手法開発への第一歩として，1) 音高と音色の分離に基づく広範な楽器音の解析，2) 楽器音の分離表現学習における奏法の考慮，という観点から以下の研究を行った．(1) 認識と生成の双方向性を同時に扱う深層ベイズモデルを用いて，対象楽器に制限を設けることなく，楽器音の音高と音色を分析する手法を開発した．時変特徴と時不変特徴を備えた変分自己符号化器を用いて，楽器音から音高と音色を認識し，また生成および編集も可能にした．入力楽器音に与える音高と音色に関する摂動と各潜在表現の不変性に着目することで，ラベル情報に起因する対象楽器の制約を撤廃した．しかし，同一の楽器でも奏法（ビブラートやピッチカート等）の違いによって，異なる楽器として認識されてしまう問題も残った．(2) 楽器音認識のための分離表現学習において，従来主流であった二要素分離を発展させ，奏法の違いを陽に考慮する三要素分離手法を開発した．これにより，一つの楽器に対し複数の奏法を割り当てることを可能にした．さらに，異なる楽器音の間で各要素を置換することで，楽器や音高，奏法の変換を行う手法も開発した．

这项研究涉及自动多仪器翻译技术，该技术估计了构成音乐声音的所有乐器的每个乐曲。由于在现代音乐中使用了各种各样的乐器，因此从保存和复制音乐的角度来看，自动多动抄写是一项重要技术。过去，预先指定要转录的多种类型的仪器，并创建了依赖每种仪器的单个转录模型，从而估计每个分数。因此，许多乐器，包括所使用的训练数据中未包含的乐器，不受乐谱估算的约束，并且存在一个问题，即无法转录普通歌曲的音乐。因此，今年，作为开发高度通用的翻译技术的第一步，我们从1）基于音高和音调的分离来分析各种乐器声音的角度进行了以下研究，以及2）考虑到学习的播放方法，以分离和表达乐器声音的表达方式。（1）使用同时处理识别和生成的双向的深贝叶斯模型，我们开发了一种分析仪器声音音调和音调的方法，而无需限制目标仪器。可以从仪器的声音中识别出差异自我编码器，并具有时间变化和时间不变的功能，也可以从仪器的声音中识别出来，也可以生成和编辑。通过关注有关在输入仪器声音上应用的音高和音调的扰动以及每个潜在表达式的不变性，就废除了标签信息引起的目标仪器的约束。但是，由于演奏技术的差异（颤音，俯仰推车等），也存在一个问题，即即使是同一仪器也可以被识别为不同的乐器。（2）在学习仪器声音识别的分离表达式时，我们开发了一种以前是主流的三元素分离技术，并以明确考虑的方式考虑了播放方法的差异。这使得可以为一种乐器分配多种弹奏技术。此外，我们还开发了一种通过在不同仪器声音之间替换每个元素来转换仪器，音高和演奏技术的方法。

项目成果

期刊论文数量（11）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Patch-based Memory Efficient Diffusion Probabilistic Models

基于补丁的内存有效扩散概率模型

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Aida Kazuhiro;Hirao Marina;Funabashi Aiko;Sugimura Natsuhiko;Ota Eisuke;Yamaguchi Junichiro;Shinei Arakawa
通讯作者：
Shinei Arakawa

覚醒度と感情価に基づく音楽による画像スタイル変換

基于唤醒水平和情绪效价使用音乐进行图像风格转换