ジェスチャーからの感性情報抽出と演奏制御

前年度は、ジェスチャーの認識とその結果を用いた演奏制御の基礎研究を行い、データグローブを用いて、5本の指の形状、掌の傾き、手の位置など、11個のパラメータと、ジェスチャーの意味を結び付ける関数を、数回の学習で作成し、ジェスチャーの実時間認識に成功した。また、これを用いて、既存の楽器の演奏ジェスチャーを認識して、MIDI音源を制御することにより、仮想的な楽器演奏を行うシステムを作成した。今年度は、音響/動作の間を感性的に"納得のゆく"ように結び付けるインターフェースの実現を目的とした研究を行い、以下のような結果を得た。これにより次年度に予定している研究のまとめの方向が固まった。1.実際の運動データおよび動画像サンプルの解析によって音楽表現と身体運動の関係を解明すると共に、この結果を前年度作成したシステムに知識ベースとして持たせたジェスチャーによる音楽演奏システムを完成させた。また、これを実際に音楽家の使用に供して芸術的観点からの評価を試みた。その成果は新作の曲としてコンサートで演奏され好評を得た。2.基本周波数、強度、スペクトル分布、エンベロープなどを任意に実時間で指定できる音響発生システムをMIDI音源とエフェクタを用いて作成し、前年度作成した身体運動解析システムと5層ニューラルネットを介して接続し学習実験を行った。この結果、使用者の納得の行く動作/音響の対応付けが行える見通しを得るとともに、中間層の出力から感性情報を抽出する可能性を見い出した。

前年度は、ジェスチャーの認識とその結果を用いた演奏制御の基礎研究を行い、データグローブを用いて、5本の指の形状、掌の傾き、手の位置など、11個のパラメータと、ジェスチャーの意味を結び付ける関数を、数回の学習で作成し、ジェスチャーの実時間認識に成功した。また、これを用いて、既存の楽器の演奏ジェスチャーを認識して、MIDI音源を制御することにより、仮想的な楽器演奏を行うシステムを作成した。今年度は、音響/動作の間を感性的に"納得のゆく"ように結び付けるインターフェースの実現を目的とした研究を行い、以下のような結果を得た。これにより次年度に予定している研究のまとめの方向が固まった。1.実際の運動データおよび動画像サンプルの解析によって音楽表現と身体運動の関係を解明すると共に、この結果を前年度作成したシステムに知識ベースとして持たせたジェスチャーによる音楽演奏システムを完成させた。また、これを実際に音楽家の使用に供して芸術的観点からの評価を試みた。その成果は新作の曲としてコンサートで演奏され好評を得た。2.基本周波数、強度、スペクトル分布、エンベロープなどを任意に実時間で指定できる音響発生システムをMIDI音源とエフェクタを用いて作成し、前年度作成した身体運動解析システムと5層ニューラルネットを介して接続し学習実験を行った。この結果、使用者の納得の行く動作/音響の対応付けが行える見通しを得るとともに、中間層の出力から感性情報を抽出する可能性を見い出した。