人とロボットの音楽インタラクションのための非線形モデルに基づく同期演奏技術の開発

点击翻译按钮获取中文摘要

本研究では、人の演奏を予測しながら、同期して演奏するロボットのための同期演奏技術の開発を目的とする。平成24年度は、(1)多人数合奏における主導権推定と(2)ニホンアマガエルの合唱の同期状態の計測と解析を行った。1.多人数合奏における主導権推定昨年度までは2人合奏を対象として、結合振動子モデルによる予測手法や、視聴覚統合ビートトラッキング手法を開発してきた。また、それらをロボットへ実装し、1人の共演者の演奏を予測する同期演奏を実現した。平成24年度はこの技術を、多人数との合奏へ拡張した。多人数合奏を実現する上では、「そもそも誰を予測すべきか」が問題となる。本問題を解決するため、合奏中における各共演者の主導権を表す定量化指標リーダー度を設計し、その推定手法を開発した。そして、リーダー度を2人合奏のモデルを統合することで多人数合奏の非線形な状態空間モデルを設計した。本モデルにunscentedカルマンフィルタを適用し、多人数合奏中の主導権の動的変化とオンセット時刻を予測する手法を開発した。被験者実験の結果、本手法のオンセット予測精度が人と同程度であることを明らかにした。この内容は、IROS2012に採録された。2.ニホンアマガエルの合唱の同期状態の計測と解析昨年度までに、音声視覚化デバイス「カエルホタル」と動画解析技術を開発し、ニホンアマガエルを対象として野外におけるカエル合唱の時空間構造可視化を実現した。平成24年度は、(1)デバイスの解析と、(2)オーストラリアでのフィールド実験を行った。(1)では、デバイスの音量輝度特性などのハードウェア特性を計測した。また、可視化システムのシミュレーション実験によってカエルの間距離ごとに可視化可能なデバイス配置密度を明らかにした。また、多数のカエルの合唱の同期状態のストロボスコープ法による統計的な検定手法によって、近接個体のみが有意に同期している例を発見した。(2)では、ニホンアマガエル以外の種で本手法を評価するため、オーストラリアのアカメアメガエルを用いた可視化実験を行った。