Embodying Spatial Sound Synthesis with AI in Two Compositions for Instruments and 3-D Electronics
Embodying Spatial Sound Synthesis with AI in Two Compositions for Instruments and 3-D Electronics
复制标题
将空间声音合成与人工智能体现在乐器和 3D 电子的两种组合中
DOI：
10.1162/comj_a_00664
复制
发表时间：
2024
影响因子：
--
通讯作者：
Einbond A
中科院分区：
文献类型：
--
作者：
Einbond A
乐器的位置空间存在在声学和音乐感知研究领域已经得到了很好的研究，但到目前为止，它还不是人类与人工智能交互的重点。我们通过使用来自自然声学现象的数据来寻求重新体现交互式电子学来批判地回应这一趋势。两首由人类独奏家和计算机生成的现场电子设备组成的音乐作品，旨在将听众置于一个身临其境的声音环境中，在这个环境中，真实和虚拟的资源无缝融合。为此，我们实验了两种对比鲜明的再现设置：一个周围的双声扬声器圆顶和一个用于辐射合成的紧凑型球形扬声器阵列。一个测量管弦乐乐器辐射模式的大型数据库作为机器学习模型的训练集，以控制电子声音的空间丰富的3d模式。这些在表演过程中被利用，以响应球形麦克风阵列捕获的现场声音，并用于训练即兴创作的计算机模型，并触发基于语料库的空间合成。我们展示了人工智能技术如何在计算机辅助作曲和人机交互即兴创作的背景下利用复杂的、多维的空间数据。
The situated spatial presence of musical instruments has been well studied in the fields of acoustics and music perception research, but so far it has not been the focus of human–AI interaction. We respond critically to this trend by seeking to reembody interactive electronics using data derived from natural acoustic phenomena. Two musical works, composed for human soloist and computer-generated live electronics, are intended to situate the listener in an immersive sonic environment in which real and virtual sources blend seamlessly. To do so, we experimented with two contrasting reproduction setups: a surrounding Ambisonic loudspeaker dome and a compact spherical loudspeaker array for radiation synthesis. A large database of measured radiation patterns of orchestral instruments served as a training set for machine learning models to control spatially rich 3-D patterns for electronic sounds. These are exploited during performance in response to live sounds captured with a spherical microphone array and used to train computer models of improvisation and to trigger corpus-based spatial synthesis. We show how AI techniques are useful to utilize complex, multidimensional, spatial data in the context of computer-assisted composition and human–computer interactive improvisation.
登录
查看更多内容
与现代音乐自动机互动
影响因子：
0.4
作者：
George E. Lewis
通讯作者：
George E. Lewis
iOSCahedron：开发混合空间化工具
DOI：
10.1145/3561212.3561232
发表时间：
2022
期刊：
Proceedings of the 17th International Audio Mostly Conference
影响因子：
--
作者：
Florian Goeschke
通讯作者：
Florian Goeschke
作为乐器的声音空间：演奏基于语料库的串联合成
DOI：
10.5281/zenodo.1180593
发表时间：
2012
期刊：
Proceedings of the 17th International Audio Mostly Conference
影响因子：
--
作者：
Diemo Schwarz
通讯作者：
Diemo Schwarz
用于增强 Ambisonic 录音的空间变换
DOI：
--
发表时间：
2014
期刊：
影响因子：
--
作者：
M. Kronlachner;F. Zotter
通讯作者：
F. Zotter
用于设计运动和声音关系的概率模型
DOI：
--
发表时间：
2014
期刊：
New Interfaces for Musical Expression
影响因子：
--
作者：
Jules Françoise;Norbert Schnell;Riccardo Borghesi;Frédéric Bevilacqua
通讯作者：
Frédéric Bevilacqua