楽器の空間配置制御に基づく楽曲の聴覚印象を多様に変化させる音響空間再生システム
一种声学空间播放系统,可基于乐器的空间布置控制来对歌曲的听觉印象进行各种改变。
基本信息
- 批准号:16J11472
- 负责人:
- 金额:$ 0.83万
- 依托单位:
- 依托单位国家:日本
- 项目类别:Grant-in-Aid for JSPS Fellows
- 财政年份:2016
- 资助国家:日本
- 起止时间:2016-04-22 至 2018-03-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
スマートホンや携帯型音楽プレーヤの普及により、様々な場所・好きな時間に音楽を楽しむことが可能となっている。一方で、多くの場合音楽プレーヤを利用してユーザができることは、プロの作曲家により提供された楽曲を再生する事であり、これまでの楽曲鑑賞は受動的なものであると考えることができる。そこで、本研究ではユーザがインタラクティブに楽曲を編集しながら鑑賞を行う能動的楽曲鑑賞の枠組みに着目し、楽曲中の楽器音の空間配置の操作により、手軽に楽曲の聴覚印象を操作することのできるシステムの構築を目指し研究を行った。目標とするシステムでは、楽曲中の各楽器音の配置を個別に操作するために楽曲信号から各楽器音信号を分離する技術、及びユーザが複数の音源の配置を手軽に操作することを可能とするインタラクション手法が必要があるため、この2点についての研究を進めた。楽曲音源分離手法については、深層学習を利用した手法を提案した。深層学習を利用した音源分離手法は従来からも存在しているが、深層学習器の構造に着目した研究は少なかった。本研究では、楽器音スペクトルの特徴から学習器に畳み込み構造を反映させること、入力特徴量として対数周波数領域のスペクトルを利用することを提案し、従来よりも高精度に音源分離を行うことができることを示した。また、楽器音スペクトルの生成モデルとも関連があることを確認した。音源配置の操作に当たっては、音源数の増加に伴い操作すべき対象が増加するため、操作が困難になることが問題であった。本研究では、事前に互いの空間的印象の異なる音源配置を複数選択しておき、それらをスライドバーなどの連続的に変化する一次元の操作軸で操作する事で、ユーザに多様な空間印象を提示する手法を提案した。実際に被験者実験を通して、各音源を個別に操作するよりも、提案法を利用することで多様な空間的印象を提示・比較できることを示した。
随着智能手机和便携式音乐播放器的传播,现在可以在您喜欢的任何时候欣赏音乐。另一方面,在许多情况下,使用音乐播放器可以做的是播放专业作曲家提供的音乐,到目前为止,音乐的观看可以被视为被动。因此,在这项研究中,我们专注于主动音乐观看的框架,用户在其中交互作用编辑和查看音乐,并进行了研究,旨在创建一个系统,使用户可以通过操纵音乐中乐器声音的空间布置来轻松地操纵歌曲的听觉印象。在目标系统中,我们需要一项技术来将每个仪器的声音信号与音乐信号分开,以便单独操纵音乐歌曲中每个仪器声音的布置,以及一种允许用户轻松操纵多个声音源的布置的交互技术,因此我们对这两点进行了研究。至于音乐声源分离方法,我们提出了一种利用深度学习的方法。尽管有使用深度学习将声源分开的方法,但很少有研究重点关注深度学习设备的结构。在这项研究中,我们建议根据仪器声谱的特征反映学习者上的卷积结构,并将对数频域频谱作为输入特征量,这表明可以比以前更高的精度执行声音源分离。还可以证实它与仪器声频谱的生成模型有关。操作声源布置时,随着声源数量的增加,要操作的对象数量会增加,从而使操作变得困难。在这项研究中,我们提出了一种方法,其中提前选择了具有不同空间印象的多种声音源排列,然后在连续的一维操作轴(例如幻灯片)上对其进行操纵,以向用户呈现各种空间印象。实际上,我们证明了可以使用所提出的方法来呈现和比较各种空间印象,而不是单独操纵每个声音源。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
楽器音生成過程を考慮した畳み込みニューラルネットワークに基づく楽曲音源強調
考虑乐器声音生成过程的基于卷积神经网络的音乐声源增强
- DOI:
- 发表时间:2017
- 期刊:
- 影响因子:0
- 作者:大谷健登;丹羽健太;西野隆典;武田一哉
- 通讯作者:武田一哉
深層学習に基づく楽器音信号強調のための死角形成型線形ビームフォーマの選択
基于深度学习的乐器声音信号增强盲点形成线性波束形成器的选择
- DOI:
- 发表时间:2017
- 期刊:
- 影响因子:0
- 作者:Kento Ohtani;Kenta Niwa;Kazuya Takeda;大谷健登,丹羽健太,武田一哉
- 通讯作者:大谷健登,丹羽健太,武田一哉
Music Staging AI
音乐舞台人工智能
- DOI:
- 发表时间:2017
- 期刊:
- 影响因子:0
- 作者:Kenta Niwa;Kento Ohtani;Kazuya Takeda
- 通讯作者:Kazuya Takeda
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
大谷 健登其他文献
大谷 健登的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('大谷 健登', 18)}}的其他基金
車両走行シナリオを考慮した周辺状況特徴空間表現の獲得
考虑车辆驾驶场景的周围情境特征空间表示的获取
- 批准号:
24K20837 - 财政年份:2024
- 资助金额:
$ 0.83万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
相似海外基金
機械学習による音源分離に立脚したAUVの物体検知の高精度化の研究
利用机器学习提高基于声源分离的AUV目标检测精度研究
- 批准号:
24K07923 - 财政年份:2024
- 资助金额:
$ 0.83万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
独立性と振幅位相モデルに基づく音源分離の数理的深化及びマルチモーダル補聴器開発
基于独立性和幅相模型的声源分离数学深化及多模态助听器开发
- 批准号:
23K24908 - 财政年份:2024
- 资助金额:
$ 0.83万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
統計的音源分離を用いた音響センシングでの非侵襲胎児心音計測の研究
基于统计声源分离的声学传感无创胎心音测量研究
- 批准号:
23K28111 - 财政年份:2024
- 资助金额:
$ 0.83万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
オンデマンドな音環境理解のための教師なしモノラル音源分離に関する研究
用于按需声环境理解的无监督单声道声源分离研究
- 批准号:
24KJ2096 - 财政年份:2024
- 资助金额:
$ 0.83万 - 项目类别:
Grant-in-Aid for JSPS Fellows
人間の介入可能性を考慮した音響情景分析のための深層分析合成基盤の開拓とその深化
开发和深化考虑人为干预可能性的声学场景分析的深度分析和合成平台
- 批准号:
23H03418 - 财政年份:2023
- 资助金额:
$ 0.83万 - 项目类别:
Grant-in-Aid for Scientific Research (B)