Development and its evaluation of an ensemble performance system by fusing of melody morphing and body movements

旋律变形与肢体动作融合的合奏表演系统的开发与评估

• 批准号: 22K17942
• 负责人: 三浦 寛也
• 金额: $ 2.75万
• 依托单位: Institute of Physical and Chemical Research
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17942/
• 关键词: インタラクティブ演奏システム; 演奏支援; 人間拡張; 筋電気刺激; 音楽理論GTTM

演奏者たちの身体機能を制御することによる新たなアンサンブル演奏システムを実現するため，第一に，楽曲データから適切な電気刺激を生成するためのソフトウェアと，その電気刺激をユーザにフィードバックするためのハードウェアを開発した．具体的には，Arduino, 電気刺激回路，電源，電極というシステム構成によって，電気刺激を発生させる装置をプロトタイピングし，システム利用者の身体の一部を制御可能であることを確認した．また，複数の電気刺激発生装置を統合的に制御するための仕組みを試作するとともに，本プロトタイプシステムを用いて，多様な楽器を用いた効果的な演奏方法についての試行実験を実施した．第二に，演奏者をインタラクティブにコントロールする体験を提供するため，メロディモーフィングの分析結果をもとに，未来に演奏する楽曲やメロディを入力することができるユーザインタフェースを設計した．本設計では，プロトタイピングを重ね，より直感的かつ効果的に提示する方法を試行錯誤しながら検討した．第三に，ユーザスタディによる評価実験を実施した．具体的には，プロトタイプシステムを用いたフィージビリティスタディとして，計20名の被験者を対象としたアンサンブル演奏のケーススタディを実施し，その動作安定性についての評価を進めている．今後は，実験から得られたフィードバックを元に，ブラッシュアップを重ね，多角的な発展とその応用システムを模索する．

The player's body function is controlled. The first is to generate appropriate electrical stimulation. The second is to generate electrical stimulation. Specifically, Arduino, electrical stimulation circuit, power supply, electrode and system composition, electrical stimulation generation device, electrical stimulation circuit, system configuration, system In addition, a plurality of electric stimulation generating devices are integrated into the control system, and the experimental system is implemented. Second, the player's body is designed to be able to play the game. This design is based on the design of the first page, the second page, the third page, the fourth page, the fourth page, the fourth The third is to evaluate the situation. Specifically, 20 of the victims were selected to perform in the event of an accident, and the performance of the victim was evaluated for stability. In the future, the development of multi-angle and multi-use systems will be realized through the development of multi-angle and multi-use systems.

项目成果

A New Interactive Music System by Fusion of Melody Morphing and Body Movements

旋律变形与肢体动作融合的新型互动音乐系统

• DOI: 10.1145/3491101.3519876
• 发表时间: 2022
• 期刊: The ACM CHI Conference on Human Factors in Computing Systems Extended Abstracts (CHI’22 Extended Abstracts)
• 作者: Ryota Kondo;Maki Sugimoto;Hiroya Miura and Masatoshi Hamanaka,
• 通讯作者: Hiroya Miura and Masatoshi Hamanaka,