ジェスチャーからの感性情報抽出と演奏制御

過去2年間の研究により、右手による指揮棒の動きおよびデータグローブにより入力される右手の動きによって、音楽演奏を制御するシステムはほぼ完成している。また、発生する音響の音色をジェスチャーのよって実時間で制御する基礎実験を終了している。本年度の主な成果は以下のとおりである。1.これまでに開発した音響制御システムを改良し、基本周波数、振幅、倍音の振幅、スペクトル分布などを任意に実時間で指定できる音響発生システムを作成し、ジェスチャーによりこれを制御するシステムを感性させた。2.FM音源のパラメーターを遺伝的アルゴリズムで最適化する対話型の音色生成システムを作製し、喜び、悲しみ、怒り、嫌悪などを表す音色の音源パラメータの主成分分析を行い、2次元感性空間での関係を調べた。3.画像処理でのジェスチャー解析を行うと共に、新たに加速度センサーを用いた手振りの自動解析を試み、指揮の動作および音楽演奏における感情表現の自動認識についての知見を得た。4.ニューラルネットを用いて、ジェスチャーと音響の対応付けを行い、接続係数によってジェスチャーと音響の感性的な意味での変換関係の定式化を試みた。5.作製したシステムの演奏家および作曲家による評価については、現在予備的な実験を終了し、本格的な実験を計画中である。

過去2年間の研究により、右手による指揮棒の動きおよびデータグローブにより入力される右手の動きによって、音楽演奏を制御するシステムはほぼ完成している。また、発生する音響の音色をジェスチャーのよって実時間で制御する基礎実験を終了している。本年度の主な成果は以下のとおりである。1.これまでに開発した音響制御システムを改良し、基本周波数、振幅、倍音の振幅、スペクトル分布などを任意に実時間で指定できる音響発生システムを作成し、ジェスチャーによりこれを制御するシステムを感性させた。2.FM音源のパラメーターを遺伝的アルゴリズムで最適化する対話型の音色生成システムを作製し、喜び、悲しみ、怒り、嫌悪などを表す音色の音源パラメータの主成分分析を行い、2次元感性空間での関係を調べた。3.画像処理でのジェスチャー解析を行うと共に、新たに加速度センサーを用いた手振りの自動解析を試み、指揮の動作および音楽演奏における感情表現の自動認識についての知見を得た。4.ニューラルネットを用いて、ジェスチャーと音響の対応付けを行い、接続係数によってジェスチャーと音響の感性的な意味での変換関係の定式化を試みた。5.作製したシステムの演奏家および作曲家による評価については、現在予備的な実験を終了し、本格的な実験を計画中である。