楽器の空間配置制御に基づく楽曲の聴覚印象を多様に変化させる音響空間再生システム

一种声学空间播放系统，可基于乐器的空间布置控制来对歌曲的听觉印象进行各种改变。

• 批准号: 16J11472
• 负责人: 大谷 健登
• 金额: $ 0.83万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2016
• 资助国家: 日本
• 起止时间: 2016-04-22 至 2018-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16J11472/
• 关键词: Music Staging AI; 音源分離; 音源配置操作; 頭部伝達関数; 能動的楽曲鑑賞; 音源再合成; ビームフォーミング

スマートホンや携帯型音楽プレーヤの普及により、様々な場所・好きな時間に音楽を楽しむことが可能となっている。一方で、多くの場合音楽プレーヤを利用してユーザができることは、プロの作曲家により提供された楽曲を再生する事であり、これまでの楽曲鑑賞は受動的なものであると考えることができる。そこで、本研究ではユーザがインタラクティブに楽曲を編集しながら鑑賞を行う能動的楽曲鑑賞の枠組みに着目し、楽曲中の楽器音の空間配置の操作により、手軽に楽曲の聴覚印象を操作することのできるシステムの構築を目指し研究を行った。目標とするシステムでは、楽曲中の各楽器音の配置を個別に操作するために楽曲信号から各楽器音信号を分離する技術、及びユーザが複数の音源の配置を手軽に操作することを可能とするインタラクション手法が必要があるため、この２点についての研究を進めた。楽曲音源分離手法については、深層学習を利用した手法を提案した。深層学習を利用した音源分離手法は従来からも存在しているが、深層学習器の構造に着目した研究は少なかった。本研究では、楽器音スペクトルの特徴から学習器に畳み込み構造を反映させること、入力特徴量として対数周波数領域のスペクトルを利用することを提案し、従来よりも高精度に音源分離を行うことができることを示した。また、楽器音スペクトルの生成モデルとも関連があることを確認した。音源配置の操作に当たっては、音源数の増加に伴い操作すべき対象が増加するため、操作が困難になることが問題であった。本研究では、事前に互いの空間的印象の異なる音源配置を複数選択しておき、それらをスライドバーなどの連続的に変化する一次元の操作軸で操作する事で、ユーザに多様な空間印象を提示する手法を提案した。実際に被験者実験を通して、各音源を個別に操作するよりも、提案法を利用することで多様な空間的印象を提示・比較できることを示した。

ス マ ー ト ホ ン や type with 帯 sound joy プ レ ー ヤ の popularization に よ り, others 々 な place, good き な time に sound joy を joy し む こ と が may と な っ て い る. Party で, multiple く の occasions sound joy プ レ ー ヤ を using し て ユ ー ザ が で き る こ と は, プ ロ の composer に よ り provide さ れ た joy song を regeneration す る matter で あ り, こ れ ま で の joy song appreciation は by moving な も の で あ る と exam え る こ と が で き る. そ こ で, this study で は ユ ー ザ が イ ン タ ラ ク テ ィ ブ に joy song, compilation を し な が ら appreciation を line う move the joy of music appreciation の 枠 group み に の in the mesh し, joy joy implement sound の space configuration の に よ り, hand 軽 に joy song の hearing impression を operation す る こ と の で き る シ ス テ ム の build を refers し を line っ た. Target と す る シ ス テ ム で は, の the joy in the joy song sounds の configuration を individual に operation す る た め に joy song signal か ら all joy sound signal separation を す る technology, and び ユ ー ザ が plural の audio の configuration を hand 軽 に operation す る こ と を may と す る イ ン タ ラ ク シ ョ ン gimmick が necessary が あ る た め, こ の 2 に つ い て を の research into め た. The method of separating musical sound sources is に, に て, て,, and deep learning is を. The proposal of using the <s:1> た method を is た. Deep learning を using し た audio source separation technique は 従 to か ら も exist し て い る が, deep learning の tectonic に on mesh し た research は less な か っ た. This study で は, joy sound ス ペ ク ト ル の, 徴 か ら learning に 畳 み 込 み tectonic を reflect さ せ る こ と amount, into force 徴 と し て number frequency domain seaborne の ス ペ ク ト ル を using す る こ と を proposal し, 従 よ り も high-precision に line sound source separation を う こ と が で き る こ と を shown し た. Youdaoplaceholder0, the sound of the musical instrument スペ スペ ト ト ト また <s:1> generate モデ と と ト correlation がある がある とを confirm た. Audio configuration の に operation when た っ て は, audio Numbers is の raised に with い operation す べ き like が raised seaborne plus す る た め, operation difficulty が に な る こ と が problem で あ っ た. This study で に は, advance mutual い の space impression の different な る audio configuration を plural sentaku し て お き, そ れ ら を ス ラ イ ド バ ー な ど の even 続 に variations change す る yuan の operating shaft で す operation at a で る, ユ ー ザ に others more な space impression を prompt す る technique proposed を し た. Be interstate に by 験 be 験 を tong し て, each sound source を individual に operation す る よ り も, proposal を using す る こ と で many others な space impression を tips, compare で き る こ と を shown し た.

项目成果

音源強調装置、その方法、及びプログラム

声源增强装置、方法和程序

• 发表时间: 2017

楽器音生成過程を考慮した畳み込みニューラルネットワークに基づく楽曲音源強調

考虑乐器声音生成过程的基于卷积神经网络的音乐声源增强

• 发表时间: 2017
• 作者: 大谷健登;丹羽健太;西野隆典;武田一哉
• 通讯作者: 武田一哉

深層学習に基づく楽器音信号強調のための死角形成型線形ビームフォーマの選択

基于深度学习的乐器声音信号增强盲点形成线性波束形成器的选择

• 发表时间: 2017
• 作者: Kento Ohtani;Kenta Niwa;Kazuya Takeda;大谷健登，丹羽健太，武田一哉
• 通讯作者: 大谷健登，丹羽健太，武田一哉

Music Staging AI

音乐舞台人工智能

• 发表时间: 2017
• 作者: Kenta Niwa;Kento Ohtani;Kazuya Takeda
• 通讯作者: Kazuya Takeda

発表文献 - Takeda Laboratory at Nagoya University

出版物 - 名古屋大学武田实验室