仮想音楽空間の構築に関する研究

本研究は、参加して楽しむことのできる音楽的仮想世界の生成と演出の技術を確立することを目的としている。今年度の研究成果の概要は以下の通りである。1.2個の3次元加速度センサとデータグローブにより、手および腕の動作情報を取得し、ジェスチャーを認識して、音楽演奏を実時間で制御する次の2種類のシステムが完成した。a)仮想指揮システム(ジェスチャーによる演奏制御):楽曲のデータをあらかじめ計算機に登録しておき、指揮のルールに基づいて演奏を制御するシステムである。これにより、使用者はあたかもオ-ケストラを指揮しているような仮想的な現実感が得られる。b)仮想楽器システム(ジェスチャーによる楽音生成):ジェスチャーと音響出力の関係を使用者が任意に定義できる"動作-音響 変換器"の実現を目指すものである。製作システムでは、音源波形として、身体運動波形を用い、種々のフィルタリングが実時間で制御できる。2.動画像からシーンの特徴パラメータを抽出して自動作曲システムと結び付けることにより、実時間でバックグランドミュージックを生成する実験に成功した。このシステムは、通常のパーソナルコンピュータに画像キャプチャボードを取り付けるだけで、その他はすべてソフトウエアのみで実現できる。3.歌声のピッチおよび母音の実時間認識を行い、楽譜と照合することにより、歌唱のテンポを推定し、自動的に追従する自動伴奏を生成することに成功した。さらに、歌い手の個人的な声特徴を保存したまま、歌の音程を補正する歌声の実時間分析合成手法を検討し、実験により動作を確認した。4.音響をキ-として、音色データベースを検索するシステムを製作し、有効性を実験により確認した。このシステムは、音響データの時間的および周波数的特徴を抽出して、検索キ-として与える音響と比較するものであり、非言語的なデータベースとして、音楽の生成や音響的演出の効率化を目指すものである。最終年度には、これらの成果を統合した音楽のための仮想空間を実現して、技術面ばかりでなく芸術的な面からの評価も試みる予定である。

本研究は、参加して楽しむことのできる音楽的仮想世界の生成と演出の技術を確立することを目的としている。今年度の研究成果の概要は以下の通りである。1.2個の3次元加速度センサとデータグローブにより、手および腕の動作情報を取得し、ジェスチャーを認識して、音楽演奏を実時間で制御する次の2種類のシステムが完成した。a)仮想指揮システム(ジェスチャーによる演奏制御):楽曲のデータをあらかじめ計算機に登録しておき、指揮のルールに基づいて演奏を制御するシステムである。これにより、使用者はあたかもオ-ケストラを指揮しているような仮想的な現実感が得られる。b)仮想楽器システム(ジェスチャーによる楽音生成):ジェスチャーと音響出力の関係を使用者が任意に定義できる"動作-音響 変換器"の実現を目指すものである。製作システムでは、音源波形として、身体運動波形を用い、種々のフィルタリングが実時間で制御できる。2.動画像からシーンの特徴パラメータを抽出して自動作曲システムと結び付けることにより、実時間でバックグランドミュージックを生成する実験に成功した。このシステムは、通常のパーソナルコンピュータに画像キャプチャボードを取り付けるだけで、その他はすべてソフトウエアのみで実現できる。3.歌声のピッチおよび母音の実時間認識を行い、楽譜と照合することにより、歌唱のテンポを推定し、自動的に追従する自動伴奏を生成することに成功した。さらに、歌い手の個人的な声特徴を保存したまま、歌の音程を補正する歌声の実時間分析合成手法を検討し、実験により動作を確認した。4.音響をキ-として、音色データベースを検索するシステムを製作し、有効性を実験により確認した。このシステムは、音響データの時間的および周波数的特徴を抽出して、検索キ-として与える音響と比較するものであり、非言語的なデータベースとして、音楽の生成や音響的演出の効率化を目指すものである。最終年度には、これらの成果を統合した音楽のための仮想空間を実現して、技術面ばかりでなく芸術的な面からの評価も試みる予定である。