ユーザの身体に寄り添い形状および奏法が変化する楽器のデザイン

点击翻译按钮获取中文摘要

本研究では、音楽演奏に熟達していないユーザの演奏を支援するデジタル楽器を開発することで、音楽的知識や演奏技術に依拠しない音楽表現の可能性を明らかにする。これまで音楽演奏の非熟達者に向けた楽器は多数開発されてきたが、楽器のインタフェース・デザインは開発者やデザイナに委ねられており、楽器の操作に関する知識や技術の習得は避けられなかった。上記現状に対し本研究では、身体動作にあわせて形状および演奏方法が変化することにより演奏を支援するデジタル楽器を開発し、音楽演奏の非熟達者における有効性を検証する。2022年度は、機械学習および複数のセンサを組み合わせ、ユーザが演奏に用いたいジェスチャを検出するシステムのプロトタイピングを行った。加えて、楽器開発のための技術的要件の整理や、最適な各種実装プラットフォーム（マイクロコンピュータおよびスマートフォン）の検討・検証を進めた。本研究で開発するデジタル楽器は、(1)ジェスチャ認識、(2)形状変形とマッピング変更、(3)演奏という3つの段階を経るため、(1)および(2)の処理および通信等の遅延ができる限り少なくなるよう設計する必要がある。そこで本研究では研究の初段階として、エッジAI用シングルボードコンピュータにおけるジェスチャ検出（IMUおよび筋電センサ）、スマートフォンにおけるジェスチャ検出（IMU）という2つの側面から最適なシステム構成を検証し、プロトタイピングを行った。対外的には都内で開催された国際会議において、多様な身体をもつ人々がともに楽器を作り上げるワークショップのディレクターを担当し、本研究における「身体」の捉え方に関するフィールドワーク調査を実施した。また、上記ジェスチャ検出を応用したウェブアプリケーションを実装し、ワークショップにて参加者にソフトウェアを提供し、ソフトウェアの安定性の検証を行った。