Development of silent communication training system on music performance using augmented reality and machine learning

音楽のライブ演奏において、複数の演奏者が同時に演奏する場合、演奏者の耳で「相互に」聴き合う(聴覚)事が最も重要であることは言うまでも無いが、演奏 者間距離が離れている場合、音の伝達速度に起因する認識や反応の遅延が生じてしまう。優れた演奏者は経験上、こうした場合に聴覚とともに視覚情報を利用し ている。具体的には、管楽器や弦楽器奏者の発音直前の予備動作(いわゆるアインザッツ)や、指揮者の姿勢、顔の表情や手の動きから、さまざまな情報を読み 取って自分が取るべき反応(演奏)を行っている。本研究では、こうした演奏者間の動作や視線による「サイレント・コミュニケーション」に着目し、演奏場面 で生じる視覚と聴覚に対する刺激を拡張現実(Augmented Reality)で再現し、視覚系や聴覚系を含む大脳における情報処理過程を機械学習で模倣することによ り、ライブ演奏でのアンサンブル技術向上を目的とした、サイレント・コミュニケーションのトレーニングシステムの開発を試みる。 今年度までに実施したことは、これまで取得してきた指揮者のアクションの3Dデータに加え、フルートやクラリネット、オーボエやサクソフォンなどの木管楽器奏者のアインザッツアクションを指揮者のアクションを様々なカメラで撮影し同時に各種センサ(データグローブや深度センサ)でデータを取得し、nityを用 いた指揮者の仮想映像生成を行った。また、WebベースでのGUIや、演奏会録音部および解析部の実装を行った。

音楽のライブ演奏において、複数の演奏者が同時に演奏する場合、演奏者の耳で「相互に」聴き合う(聴覚)事が最も重要であることは言うまでも無いが、演奏 者間距離が離れている場合、音の伝達速度に起因する認識や反応の遅延が生じてしまう。優れた演奏者は経験上、こうした場合に聴覚とともに視覚情報を利用し ている。具体的には、管楽器や弦楽器奏者の発音直前の予備動作(いわゆるアインザッツ)や、指揮者の姿勢、顔の表情や手の動きから、さまざまな情報を読み 取って自分が取るべき反応(演奏)を行っている。本研究では、こうした演奏者間の動作や視線による「サイレント・コミュニケーション」に着目し、演奏場面 で生じる視覚と聴覚に対する刺激を拡張現実(Augmented Reality)で再現し、視覚系や聴覚系を含む大脳における情報処理過程を機械学習で模倣することによ り、ライブ演奏でのアンサンブル技術向上を目的とした、サイレント・コミュニケーションのトレーニングシステムの開発を試みる。 今年度までに実施したことは、これまで取得してきた指揮者のアクションの3Dデータに加え、フルートやクラリネット、オーボエやサクソフォンなどの木管楽器奏者のアインザッツアクションを指揮者のアクションを様々なカメラで撮影し同時に各種センサ(データグローブや深度センサ)でデータを取得し、nityを用 いた指揮者の仮想映像生成を行った。また、WebベースでのGUIや、演奏会録音部および解析部の実装を行った。