演奏フィードバックを利用した伴奏システムのリアルタイム制御

人間の演奏にコンピュータがテンポを合わせて合奏を行なう「伴奏システム」に関する研究を行なっているが、通常、システムはパソコン上で作成され、電子楽器により、システムの演奏を出力する構成となっている。このようなシステム上には、独奏者の演奏信号が入力されてから、システムの演奏が生成されるまでの経路に様々な種類の遅延が生じている。本研究における調査の結果、OSでの遅延が10ミリ秒程度、電子楽器の出力に要する遅延が10ミリ秒程度生じていることが確認された。このような遅延が潜在的に生じている場合、シミュレーションにより、両者の演奏テンポが単調減少してしまう現象が示された。そこで本研究では、伴奏システムの演奏した音響信号をシステム自身へフィードバックし、その情報を用いて、人間の独奏者との協調演奏を行なうことにより、遅延を補償する枠組を新たに提案し、そのシステムをパーソナルコンピュータとDSPボードを用いて試作した。実験の結果、遅延の分を予測して、音を先に出すことにより、ずれの平均値をほぼ0にすることができた。また、OSや音源の遅延は一定ではなく、揺らぎ(±5ミリ秒程度)が存在することが確認されたが、その揺らぎについても正確に認識することができるため、それ以降の演奏(将来の演奏スケジュリング)では、その揺らぎ分は正しく補償できるようになった。このようなシステムでは、独奏(人間)、伴奏(システム)ともに、実世界で鳴っている音を分析しているため、人間が聞いている正確な時間タイミングで制御を行なうことが可能である。

人間の演奏にコンピュータがテンポを合わせて合奏を行なう「伴奏システム」に関する研究を行なっているが、通常、システムはパソコン上で作成され、電子楽器により、システムの演奏を出力する構成となっている。このようなシステム上には、独奏者の演奏信号が入力されてから、システムの演奏が生成されるまでの経路に様々な種類の遅延が生じている。本研究における調査の結果、OSでの遅延が10ミリ秒程度、電子楽器の出力に要する遅延が10ミリ秒程度生じていることが確認された。このような遅延が潜在的に生じている場合、シミュレーションにより、両者の演奏テンポが単調減少してしまう現象が示された。そこで本研究では、伴奏システムの演奏した音響信号をシステム自身へフィードバックし、その情報を用いて、人間の独奏者との協調演奏を行なうことにより、遅延を補償する枠組を新たに提案し、そのシステムをパーソナルコンピュータとDSPボードを用いて試作した。実験の結果、遅延の分を予測して、音を先に出すことにより、ずれの平均値をほぼ0にすることができた。また、OSや音源の遅延は一定ではなく、揺らぎ(±5ミリ秒程度)が存在することが確認されたが、その揺らぎについても正確に認識することができるため、それ以降の演奏(将来の演奏スケジュリング)では、その揺らぎ分は正しく補償できるようになった。このようなシステムでは、独奏(人間)、伴奏(システム)ともに、実世界で鳴っている音を分析しているため、人間が聞いている正確な時間タイミングで制御を行なうことが可能である。