ジェスチャーからの感性情報抽出と演奏制御

本研究の目的は、身体運動の実時間解析結果による楽曲演奏の制御および音響発生制御のシステムを開発し、情緒的な意味で人間が満足できるジェスチャー=音響の変換を実現することである。本年度は、ジェスチャーの認識とその結果を用いた演奏制御の基礎研究を行い、以下のような成果を得た。1.データグローブを用いて、5本の指の曲げ形状、掌の傾き、手の位置など、11個のパラメータと、ジェスチャーの意味を結び付ける関数を、数回の学習で作成し、ジェスチャーの実時間認識を可能にすることに成功した。この認識関数の生成には統計操作を用いているため、ある程度曖昧な動作の認識もできる。2.既存の楽器の演奏ジェスチャーを認識して、MIDI音源のパラメータを制御することにより、仮想的に楽器演奏を行うシステムを作成した。このシステムの音程・テンポの入力は楽譜データでもよいが、音声による実時間入力も可能である。また、特定の楽器を指定した場合は和音の発生制御も可能である。3.音響=動作の間を感性的に"納得のゆく"ように結び付けるインターフェースの実現を目的とした基礎研究を行った。ここで、音響生成のパラメータとジェスチャーのパラメータの関係設定には、ニューラルネットワークを用いているため、対応に柔軟性を持たせることができた。

本研究の目的は、身体運動の実時間解析結果による楽曲演奏の制御および音響発生制御のシステムを開発し、情緒的な意味で人間が満足できるジェスチャー=音響の変換を実現することである。本年度は、ジェスチャーの認識とその結果を用いた演奏制御の基礎研究を行い、以下のような成果を得た。1.データグローブを用いて、5本の指の曲げ形状、掌の傾き、手の位置など、11個のパラメータと、ジェスチャーの意味を結び付ける関数を、数回の学習で作成し、ジェスチャーの実時間認識を可能にすることに成功した。この認識関数の生成には統計操作を用いているため、ある程度曖昧な動作の認識もできる。2.既存の楽器の演奏ジェスチャーを認識して、MIDI音源のパラメータを制御することにより、仮想的に楽器演奏を行うシステムを作成した。このシステムの音程・テンポの入力は楽譜データでもよいが、音声による実時間入力も可能である。また、特定の楽器を指定した場合は和音の発生制御も可能である。3.音響=動作の間を感性的に"納得のゆく"ように結び付けるインターフェースの実現を目的とした基礎研究を行った。ここで、音響生成のパラメータとジェスチャーのパラメータの関係設定には、ニューラルネットワークを用いているため、対応に柔軟性を持たせることができた。