楽器の空間配置制御に基づく楽曲の聴覚印象を多様に変化させる音響空間再生システム

スマートホンや携帯型音楽プレーヤの普及により、様々な場所・好きな時間に音楽を楽しむことが可能となっている。一方で、多くの場合音楽プレーヤを利用してユーザができることは、プロの作曲家により提供された楽曲を再生する事であり、これまでの楽曲鑑賞は受動的なものであると考えることができる。そこで、本研究ではユーザがインタラクティブに楽曲を編集しながら鑑賞を行う能動的楽曲鑑賞の枠組みに着目し、楽曲中の楽器音の空間配置の操作により、手軽に楽曲の聴覚印象を操作することのできるシステムの構築を目指し研究を行った。目標とするシステムでは、楽曲中の各楽器音の配置を個別に操作するために楽曲信号から各楽器音信号を分離する技術、及びユーザが複数の音源の配置を手軽に操作することを可能とするインタラクション手法が必要があるため、この２点についての研究を進めた。楽曲音源分離手法については、深層学習を利用した手法を提案した。深層学習を利用した音源分離手法は従来からも存在しているが、深層学習器の構造に着目した研究は少なかった。本研究では、楽器音スペクトルの特徴から学習器に畳み込み構造を反映させること、入力特徴量として対数周波数領域のスペクトルを利用することを提案し、従来よりも高精度に音源分離を行うことができることを示した。また、楽器音スペクトルの生成モデルとも関連があることを確認した。音源配置の操作に当たっては、音源数の増加に伴い操作すべき対象が増加するため、操作が困難になることが問題であった。本研究では、事前に互いの空間的印象の異なる音源配置を複数選択しておき、それらをスライドバーなどの連続的に変化する一次元の操作軸で操作する事で、ユーザに多様な空間印象を提示する手法を提案した。実際に被験者実験を通して、各音源を個別に操作するよりも、提案法を利用することで多様な空間的印象を提示・比較できることを示した。

スマートホンや携帯型音楽プレーヤの普及により、様々な場所・好きな時間に音楽を楽しむことが可能となっている。一方で、多くの場合音楽プレーヤを利用してユーザができることは、プロの作曲家により提供された楽曲を再生する事であり、これまでの楽曲鑑賞は受動的なものであると考えることができる。そこで、本研究ではユーザがインタラクティブに楽曲を編集しながら鑑賞を行う能動的楽曲鑑賞の枠組みに着目し、楽曲中の楽器音の空間配置の操作により、手軽に楽曲の聴覚印象を操作することのできるシステムの構築を目指し研究を行った。目標とするシステムでは、楽曲中の各楽器音の配置を個別に操作するために楽曲信号から各楽器音信号を分離する技術、及びユーザが複数の音源の配置を手軽に操作することを可能とするインタラクション手法が必要があるため、この２点についての研究を進めた。楽曲音源分離手法については、深層学習を利用した手法を提案した。深層学習を利用した音源分離手法は従来からも存在しているが、深層学習器の構造に着目した研究は少なかった。本研究では、楽器音スペクトルの特徴から学習器に畳み込み構造を反映させること、入力特徴量として対数周波数領域のスペクトルを利用することを提案し、従来よりも高精度に音源分離を行うことができることを示した。また、楽器音スペクトルの生成モデルとも関連があることを確認した。音源配置の操作に当たっては、音源数の増加に伴い操作すべき対象が増加するため、操作が困難になることが問題であった。本研究では、事前に互いの空間的印象の異なる音源配置を複数選択しておき、それらをスライドバーなどの連続的に変化する一次元の操作軸で操作する事で、ユーザに多様な空間印象を提示する手法を提案した。実際に被験者実験を通して、各音源を個別に操作するよりも、提案法を利用することで多様な空間的印象を提示・比較できることを示した。