楽器の空間配置制御に基づく楽曲の聴覚印象を多様に変化させる音響空間再生システム

一种声学空间播放系统，可基于乐器的空间布置控制来对歌曲的听觉印象进行各种改变。

基本信息

批准号：
16J11472
负责人：
大谷健登
金额：
$ 0.83万
依托单位：
Nagoya University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2016
资助国家：
日本
起止时间：
2016-04-22 至 2018-03-31
项目状态：
已结题

项目摘要

スマートホンや携帯型音楽プレーヤの普及により、様々な場所・好きな時間に音楽を楽しむことが可能となっている。一方で、多くの場合音楽プレーヤを利用してユーザができることは、プロの作曲家により提供された楽曲を再生する事であり、これまでの楽曲鑑賞は受動的なものであると考えることができる。そこで、本研究ではユーザがインタラクティブに楽曲を編集しながら鑑賞を行う能動的楽曲鑑賞の枠組みに着目し、楽曲中の楽器音の空間配置の操作により、手軽に楽曲の聴覚印象を操作することのできるシステムの構築を目指し研究を行った。目標とするシステムでは、楽曲中の各楽器音の配置を個別に操作するために楽曲信号から各楽器音信号を分離する技術、及びユーザが複数の音源の配置を手軽に操作することを可能とするインタラクション手法が必要があるため、この２点についての研究を進めた。楽曲音源分離手法については、深層学習を利用した手法を提案した。深層学習を利用した音源分離手法は従来からも存在しているが、深層学習器の構造に着目した研究は少なかった。本研究では、楽器音スペクトルの特徴から学習器に畳み込み構造を反映させること、入力特徴量として対数周波数領域のスペクトルを利用することを提案し、従来よりも高精度に音源分離を行うことができることを示した。また、楽器音スペクトルの生成モデルとも関連があることを確認した。音源配置の操作に当たっては、音源数の増加に伴い操作すべき対象が増加するため、操作が困難になることが問題であった。本研究では、事前に互いの空間的印象の異なる音源配置を複数選択しておき、それらをスライドバーなどの連続的に変化する一次元の操作軸で操作する事で、ユーザに多様な空間印象を提示する手法を提案した。実際に被験者実験を通して、各音源を個別に操作するよりも、提案法を利用することで多様な空間的印象を提示・比較できることを示した。

随着智能手机和便携式音乐播放器的传播，现在可以在您喜欢的任何时候欣赏音乐。另一方面，在许多情况下，使用音乐播放器可以做的是播放专业作曲家提供的音乐，到目前为止，音乐的观看可以被视为被动。因此，在这项研究中，我们专注于主动音乐观看的框架，用户在其中交互作用编辑和查看音乐，并进行了研究，旨在创建一个系统，使用户可以通过操纵音乐中乐器声音的空间布置来轻松地操纵歌曲的听觉印象。在目标系统中，我们需要一项技术来将每个仪器的声音信号与音乐信号分开，以便单独操纵音乐歌曲中每个仪器声音的布置，以及一种允许用户轻松操纵多个声音源的布置的交互技术，因此我们对这两点进行了研究。至于音乐声源分离方法，我们提出了一种利用深度学习的方法。尽管有使用深度学习将声源分开的方法，但很少有研究重点关注深度学习设备的结构。在这项研究中，我们建议根据仪器声谱的特征反映学习者上的卷积结构，并将对数频域频谱作为输入特征量，这表明可以比以前更高的精度执行声音源分离。还可以证实它与仪器声频谱的生成模型有关。操作声源布置时，随着声源数量的增加，要操作的对象数量会增加，从而使操作变得困难。在这项研究中，我们提出了一种方法，其中提前选择了具有不同空间印象的多种声音源排列，然后在连续的一维操作轴（例如幻灯片）上对其进行操纵，以向用户呈现各种空间印象。实际上，我们证明了可以使用所提出的方法来呈现和比较各种空间印象，而不是单独操纵每个声音源。