仮想音楽空間の構築に関する研究

本研究は、通常の人工現実感のような物理的なリアリティよりも、むしろ音楽的にリアリティのある仮想空間を構築することを目的としている。本研究の第1年度である平成7年度は、人間の動作による音楽演奏の制御、動画像からの音楽生成、歌声の信号処理について研究を行った。具体的な研究経過および成果は以下の通りである。1.おもりの変位をピエゾ素子で検出する3軸の加速度センサを用いたジェスチャの認識手法を確立して、演奏システムの入力手段として利用するシステムを試作した。加速度センサを手先に装着して、演奏の開始、停止、継続、強度、テンポなどが実時間で自由に制御することができた。また、音源のパラメータと動作パラメータをニューラルネットワークで接続することにより、電子音源の音色をジェスチャーに応じて変化させる試みも行った。2.動画像からRGBの色成分の平均、エッジの密度などを領域毎に実時間で抽出し、それらのフレーム間相関からシーンチェンジを検出する動画像処理系を作製するとともに、これらの画像特徴のパラメータを用いて音楽を自動作曲するアルゴリズムを考案して、任意の動画像に対して実時間で背景音楽を生成するシステムを試作した。このシステムは画像の意味内容の解釈は行わないが、ニューラルネットワークにより利用者の好みに生成音楽を合わせることができる。3.歌声からピッチ情報と声色情報を実時間で安定に抽出する手法として、線形予測符号化方式を検討した。この手法によりピッチ情報と声色情報の分離が可能となり、声色を保存したままピッチの変更が可能となった。応用として音程はずれの自動補正を試み、従来のピッチチェンジャーによる結果と音質の比較を行った。その結果、予測区間の切り替わり点で雑音が生ずるという問題があるものの、声質保存に関しては大幅に改善できることが判った。

本研究は、通常の人工現実感のような物理的なリアリティよりも、むしろ音楽的にリアリティのある仮想空間を構築することを目的としている。本研究の第1年度である平成7年度は、人間の動作による音楽演奏の制御、動画像からの音楽生成、歌声の信号処理について研究を行った。具体的な研究経過および成果は以下の通りである。1.おもりの変位をピエゾ素子で検出する3軸の加速度センサを用いたジェスチャの認識手法を確立して、演奏システムの入力手段として利用するシステムを試作した。加速度センサを手先に装着して、演奏の開始、停止、継続、強度、テンポなどが実時間で自由に制御することができた。また、音源のパラメータと動作パラメータをニューラルネットワークで接続することにより、電子音源の音色をジェスチャーに応じて変化させる試みも行った。2.動画像からRGBの色成分の平均、エッジの密度などを領域毎に実時間で抽出し、それらのフレーム間相関からシーンチェンジを検出する動画像処理系を作製するとともに、これらの画像特徴のパラメータを用いて音楽を自動作曲するアルゴリズムを考案して、任意の動画像に対して実時間で背景音楽を生成するシステムを試作した。このシステムは画像の意味内容の解釈は行わないが、ニューラルネットワークにより利用者の好みに生成音楽を合わせることができる。3.歌声からピッチ情報と声色情報を実時間で安定に抽出する手法として、線形予測符号化方式を検討した。この手法によりピッチ情報と声色情報の分離が可能となり、声色を保存したままピッチの変更が可能となった。応用として音程はずれの自動補正を試み、従来のピッチチェンジャーによる結果と音質の比較を行った。その結果、予測区間の切り替わり点で雑音が生ずるという問題があるものの、声質保存に関しては大幅に改善できることが判った。