Estimation of listener's emotion curve from acoustic parameters

本研究課題「音響特徴量に基づいた音楽聴取者の感動遷移モデルの推定」は，音楽聴取時における感動が時系列的にどのように遷移するのかを表したモデルを“楽曲の感動遷移モデル”と呼称し，このモデルを解明しコンピュータによる自動推定を行なうというものであった．本研究課題は，①聴取実験，②音響パラメータの設計，③コンピュータによる推定の3つの事項を行なう必要がある研究課題である．昨年度については，「①聴取実験，②音響パラメータの設計，③コンピュータによる推定という3つの項目を達成する必要がある．②の音響パラメータの設計等については，おおむね順調に進行しているものの，①の聴取実験がCOVID-19の流行もあり，遅延している．」と報告を行なった．本年度についても同様にCOVID-19の流行の影響のため，①の聴取実験を行なうことができなった．①の聴取実験は準備を進めていたものの，実施を行なうことができず，聴取者の感情遷移を取得することができなった．②の音響パラメータの設計については昨年度に引き続き音響パラメータの設計を行なうとともに，拍時刻に関する音響パラメータの取得法について，LSTM（Long Short-Term Memory）を用いて音の音圧レベルなどを説明変数，拍時刻を目的変数として，時系列を考慮した場合の推定方法について検討を行なった．③については，①の聴取実験ができた場合に向けてLSTMなどの手法を適用するための調査検討を行なっていたものの，実際のデータがないためなかなか検討が進まなかった．

本研究課題「音響特徴量に基づいた音楽聴取者の感動遷移モデルの推定」は，音楽聴取時における感動が時系列的にどのように遷移するのかを表したモデルを“楽曲の感動遷移モデル”と呼称し，このモデルを解明しコンピュータによる自動推定を行なうというものであった．本研究課題は，①聴取実験，②音響パラメータの設計，③コンピュータによる推定の3つの事項を行なう必要がある研究課題である．昨年度については，「①聴取実験，②音響パラメータの設計，③コンピュータによる推定という3つの項目を達成する必要がある．②の音響パラメータの設計等については，おおむね順調に進行しているものの，①の聴取実験がCOVID-19の流行もあり，遅延している．」と報告を行なった．本年度についても同様にCOVID-19の流行の影響のため，①の聴取実験を行なうことができなった．①の聴取実験は準備を進めていたものの，実施を行なうことができず，聴取者の感情遷移を取得することができなった．②の音響パラメータの設計については昨年度に引き続き音響パラメータの設計を行なうとともに，拍時刻に関する音響パラメータの取得法について，LSTM（Long Short-Term Memory）を用いて音の音圧レベルなどを説明変数，拍時刻を目的変数として，時系列を考慮した場合の推定方法について検討を行なった．③については，①の聴取実験ができた場合に向けてLSTMなどの手法を適用するための調査検討を行なっていたものの，実際のデータがないためなかなか検討が進まなかった．