Estimation of listener's emotion curve from acoustic parameters

从声学参数估计听者的情绪曲线

• 批准号: 21J13539
• 负责人: 桶本 まどか
• 金额: $ 0.96万
• 依托单位: Kunitachi College of Music
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J13539/
• 关键词: 音楽音響; 音楽知覚認知; MIR; 信号処理

本研究課題「音響特徴量に基づいた音楽聴取者の感動遷移モデルの推定」は，音楽聴取時における感動が時系列的にどのように遷移するのかを表したモデルを“楽曲の感動遷移モデル”と呼称し，このモデルを解明しコンピュータによる自動推定を行なうというものであった．本研究課題は，①聴取実験，②音響パラメータの設計，③コンピュータによる推定の3つの事項を行なう必要がある研究課題である．昨年度については，「①聴取実験，②音響パラメータの設計，③コンピュータによる推定という3つの項目を達成する必要がある．②の音響パラメータの設計等については，おおむね順調に進行しているものの，①の聴取実験がCOVID-19の流行もあり，遅延している．」と報告を行なった．本年度についても同様にCOVID-19の流行の影響のため，①の聴取実験を行なうことができなった．①の聴取実験は準備を進めていたものの，実施を行なうことができず，聴取者の感情遷移を取得することができなった．②の音響パラメータの設計については昨年度に引き続き音響パラメータの設計を行なうとともに，拍時刻に関する音響パラメータの取得法について，LSTM（Long Short-Term Memory）を用いて音の音圧レベルなどを説明変数，拍時刻を目的変数として，時系列を考慮した場合の推定方法について検討を行なった．③については，①の聴取実験ができた場合に向けてLSTMなどの手法を適用するための調査検討を行なっていたものの，実際のデータがないためなかなか検討が進まなかった．

这个研究主题是“根据声学特征估算音乐听众的情感过渡模型”，是指一个模型，该模型描述了音乐在音乐中的情感运动如何随着时间的流逝而被称为“音乐的印象过渡模型”，并阐明了该模型并使用计算机自动估算它。该研究主题需要进行三件事：1）听力实验，2）声学参数设计和3）计算机估计。关于去年，他报告说：“有必要实现三个项目：1）聆听实验，2）声学参数设计，以及3）计算机估计。尽管通常会顺利进行2中声学参数的设计，但1）聆听实验由于联想-19爆发而延迟了。”同样，由于Covid-19爆发的影响，我们无法在①中进行听力实验。尽管正在进行1个聆听实验的准备工作，但不可能执行它，听众的情感过渡是不可能的。关于2在2中的声学参数的设计，我们继续设计了去年的声学参数，并在考虑时间序列时还检查了估计方法，使用LSTM（长期短期记忆）使用长期短期记忆来确定声音的声音水平作为解释性变量的声音水平，并将其视为目标变量。关于③，尽管进行了研究和考虑以应用诸如LSTM之类的方法，如果完成了①的聆听实验，但由于没有实际数据，研究没有进行。

项目成果

拍時刻推定のためのオンセット時刻の知覚に対する検討～演奏音を構成する楽器数に関する調査～

通过对开始时间的感知来估计节拍时间的研究 - 对构成演奏声音的乐器数量的调查 -

• 发表时间: 2021
• 作者: Shimada Yutaro;Tokimatsu Koji;Asawa Takashi;Uchida Youhei;Tomigashi Akira;Kurishima Hideaki;桶本まどか，三浦雅展
• 通讯作者: 桶本まどか，三浦雅展

オンライン会議システムを介した演奏音に対する印象評価

通过在线会议系统进行演出声音印象评价

• 发表时间: 2022
• 作者: Aikawa Shu;Yumoto Masaki;Saitoh Tomohiko;Wada Satoshi;桶本まどか，三浦雅展
• 通讯作者: 桶本まどか，三浦雅展

歌唱言語の違いが拍のタイミング知覚に与える影響～Let It Goの場合～

歌唱语言差异对节拍感知的影响～以Let It Go为例～

• 发表时间: 2022
• 作者: 野崎真衣;廣瀬大祐;西村達也;石井佐和;渡辺豪;前田勝浩;桶本まどか，三浦雅展
• 通讯作者: 桶本まどか，三浦雅展

なぜオンラインライブは感動が薄いのか？～心拍変動による音楽聴取時のストレス評価による検討～

为什么网络直播这么缺乏情感？

• 发表时间: 2021
• 作者: Kurisawa Naoaki;Iwasaki Arihiro;Teranuma Kazuya;Dan Shingo;Toyoshima Chikashi;Hashimoto Masaru;Suenaga Kiyotake;平田友花，桶本まどか，三浦雅展
• 通讯作者: 平田友花，桶本まどか，三浦雅展

演奏内容と演奏環境が演奏音の印象に与える影響に関する検証

验证表演内容和表演环境对表演声音印象的影响

• 发表时间: 2022
• 作者: Peizhi Zhang;Mitsuhiro Kamezaki;Zhuoyi He;Hiroyuki Sakamoto;Shigeki Sugano;桶本まどか，三浦雅展
• 通讯作者: 桶本まどか，三浦雅展