FM Tone Transfer with Envelope Learning
FM Tone Transfer with Envelope Learning
复制标题
带包络学习的 FM 音调传输
DOI：
10.1145/3616195.3616196
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Caspe F
中科院分区：
文献类型：
--
作者：
Caspe F
Tone Transfer是一种新型的深度学习技术，用于将声源与合成器连接，转换音频摘录的音色，同时保持其音乐形式内容。由于其良好的音频质量结果和连续的可控性，它最近已被应用于几个音频处理工具。然而，它仍然存在一些缺点，涉及到穷人的声音多样性，有限的瞬态和动态渲染，我们认为这阻碍了它的可能性的清晰度和措辞在实时性能context.In这项工作中，我们提出了一个讨论当前的音调传输架构的任务，控制合成音频与乐器，并讨论他们的挑战，让表现力的表现。接下来，我们将介绍包络学习，这是一种用于设计音调转移架构的新方法，该架构使用合成参数级别的训练目标来映射音乐事件。我们的技术可以准确地呈现音符的开头和结尾，并适用于各种声音;这些都是通过音调转移改善音乐清晰度，乐句和声音多样性的重要步骤。最后，我们实现了一个VST插件的实时现场使用，并讨论改进的可能性。
Tone Transfer is a novel deep-learning technique for interfacing a sound source with a synthesizer, transforming the timbre of audio excerpts while keeping their musical form content. Due to its good audio quality results and continuous controllability, it has been recently applied in several audio processing tools. Nevertheless, it still presents several shortcomings related to poor sound diversity, and limited transient and dynamic rendering, which we believe hinder its possibilities of articulation and phrasing in a real-time performance context.In this work, we present a discussion on current Tone Transfer architectures for the task of controlling synthetic audio with musical instruments and discuss their challenges in allowing expressive performances. Next, we introduce Envelope Learning, a novel method for designing Tone Transfer architectures that map musical events using a training objective at the synthesis parameter level. Our technique can render note beginnings and endings accurately and for a variety of sounds; these are essential steps for improving musical articulation, phrasing, and sound diversity with Tone Transfer. Finally, we implement a VST plugin for real-time live use and discuss possibilities for improvement.
登录
查看更多内容
具有重构乐句建模的音乐合成
影响因子：
14.9
作者：
E. Lindemann
通讯作者：
E. Lindemann
AI-terity 2.0：采用 GANSpaceSynth 深度学习模型的自主 NIME
DOI：
--
发表时间：
2021
期刊：
New Interfaces for Musical Expression
影响因子：
--
作者：
Koray Tahiroglu;Miranda Kastemaa;Oskar Koli
通讯作者：
Oskar Koli
自适应数字音频效果 (a-DAFx)：新型声音转换
DOI：
--
发表时间：
2006
期刊：
IEEE Transactions on Audio, Speech, and Language Processing
影响因子：
--
作者：
V. Verfaille;U. Zölzer;D. Arfib
通讯作者：
D. Arfib
DOI：
10.5281/zenodo.1179585
发表时间：
2008
期刊：
Proceedings of the Audio Mostly 2016
影响因子：
--
作者：
Otso Lähdeoja
通讯作者：
Otso Lähdeoja
DOI：
10.23919/dafx51585.2021.9768246
发表时间：
2021-04
期刊：
2021 24th International Conference on Digital Audio Effects (DAFx)
影响因子：
--
作者：
Joseph P. Turian;Jordie Shier;G. Tzanetakis;K. McNally;Max Henry
通讯作者：
Joseph P. Turian;Jordie Shier;G. Tzanetakis;K. McNally;Max Henry