权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Development of silent communication training system on music performance using augmented reality and machine learning

利用增强现实和机器学习开发音乐表演无声交流训练系统

基本信息

批准号：
19K03057
负责人：
奥村浩
金额：
$ 2.83万
依托单位：
Saga University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

音楽のライブ演奏において、複数の演奏者が同時に演奏する場合、演奏者の耳で「相互に」聴き合う(聴覚)事が最も重要であることは言うまでも無いが、演奏者間距離が離れている場合、音の伝達速度に起因する認識や反応の遅延が生じてしまう。優れた演奏者は経験上、こうした場合に聴覚とともに視覚情報を利用している。具体的には、管楽器や弦楽器奏者の発音直前の予備動作(いわゆるアインザッツ)や、指揮者の姿勢、顔の表情や手の動きから、さまざまな情報を読み取って自分が取るべき反応(演奏)を行っている。本研究では、こうした演奏者間の動作や視線による「サイレント・コミュニケーション」に着目し、演奏場面で生じる視覚と聴覚に対する刺激を拡張現実(Augmented Reality)で再現し、視覚系や聴覚系を含む大脳における情報処理過程を機械学習で模倣することにより、ライブ演奏でのアンサンブル技術向上を目的とした、サイレント・コミュニケーションのトレーニングシステムの開発を試みる。今年度までに実施したことは、これまで取得してきた指揮者のアクションの3Dデータに加え、フルートやクラリネット、オーボエやサクソフォンなどの木管楽器奏者のアインザッツアクションを指揮者のアクションを様々なカメラで撮影し同時に各種センサ(データグローブや深度センサ)でデータを取得し、nityを用いた指揮者の仮想映像生成を行った。また、WebベースでのGUIや、演奏会録音部および解析部の実装を行った。

The most important thing is that the most important thing is that the speech is free, the distance between the players is perfect, and the speed of sound acquisition is due to the delay of communication between players. On the player's desk, take advantage of the player's feelings. The specific instrument, the string player, the string player, the player and the player. The purpose of this study is to tell the audience, the audience, the players, the audience, the audience, the players, the performers, the players, the players, the In order to improve the performance of the technology, the purpose of the program is to improve the performance of the technology. the purpose is to improve the performance of the technology. This year, we are talking about how to increase the number of people who want to pay attention to the situation. To make sure that the woodwind player uses the woodwind player to guide the operator, to make a summary of the image, and at the same time to obtain the image of each kind of equipment, and nity to use the indicator to generate the image that you want to generate. The music, the Web, the GUI, the music, the analysis, the lines, the music, the analysis, the music, the music, the analysis, the music, the music