权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

自動楽曲推薦・編曲とタテ線譜・自動伴奏システムによる中高齢者のピアノ演奏支援

自动推荐/编曲、竖谱、自动伴奏系统，为中老年人提供钢琴演奏支持

基本信息

批准号：
21K12187
负责人：
齋藤康之
金额：
$ 2.58万
依托单位：
Kisarazu National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

ピアノ演奏では、適切な運指の習得が基礎的な演奏技能と考えられている。ピアノ運指の原理を情報学的に理解する目的で自動運指推定が研究されており、ピアノ運指分析は、演奏支援や編曲技術などにも応用されている。運指の定量分析や機械学習による運指推定手法の研究には、電子化された大量の運指のデータが必要である。以前の基盤研究C（課題番号16K00501）において、クラシック音楽300曲のピアノ運指を収めた現在最大規模の公開データ「PIGデータセット」を構築した。10名の演奏家には印刷した楽譜の1つ1つの音符に運指番号を記入してもらい、自作の専用入力エディタを用いてこれも手作業でコンピュータに入力して電子化した。各楽曲の典型的な長さは楽譜1ページ程度で、小節数は約20、音符数は約300であるが、楽譜への記入・コンピュータへの入力の双方ともに相応の時間と労力を要した。これに対し、本研究では、前年度に引き続き、ピアノ演奏をビデオカメラで撮影して運指を自動的に効率よく取得する基礎技術について検討した。2021年度は、塗布するとゴム状に固まる塗料（人体には無害）を用いて指ごとに異なる色で塗り、どの指で鍵を打鍵したのかを推定する方法を検討した。これに対し、2022年度は、オープンソースの画像処理ライブラリ「MediaPipe」と「OpenCV」を用い、塗料の指への塗布を無くすことでピアノ奏者の簡便な実験参加を可能とし、それによる自然な演奏の映像取得を目指した。具体的には、MediaPipe の手指の追跡ソリューションである「MediaPipe Hands」とOpenCV のcontrib 内の「ArUco」モジュールを複合させ、映像内のピアノの見かけ上の傾きや位置を補正し、奏者の指の位置を検出できた。

The basic performance skills of playing and fingering are acquired and tested appropriately. The principles and purposes of information science, automatic finger movement estimation, research, analysis of movement fingers, and performance support, arrangement technology, and use of music. Quantitative analysis of movement indicators and research on mechanical learning and estimation techniques of movement indicators are necessary, and it is necessary to conduct large-scale calculations of movement indicators electronically. Previous Basic Research C (Project No. 16K00501) において、クラシック音楽300のピアアノ有码を开めたThe largest public のデータ「PIGデータセット」をconstructed した is currently the largest. The 10 performers printed the musical notation 1 1 つの note に the finger number を recorded in してもらい, since The work is done by hand, and the work is done electronically. The typical length of each music piece is 1 degree, the number of measures is about 20, and the number of notes is about 300.るが、楽片への记・コンピュータへの入力のboth sides ともにphase応の时と労力を要した.これに対し, this study では, previous year's に cited き続き, ピアノperformance をビデオカメラThe operation of photography refers to the efficiency of automatic operation and the acquisition of basic technology. 2021 は, coating するとゴム-shaped solid まる paint (human body には harmless) をいて fingerごとにdifferent なる色でpaintり, どの Refer to でKey をhit the key したのかを presumed するmethod を検 Discussion した.これに対し、2022年は、オープンソースのimage processingライブラリ「MediaPipe」と「OpenCV」を用い、 The coating of the paint is easy to apply, and the performance of the natural performer is easy to perform. Concrete には、MediaPipe finger tracking ソリューションである「MediaPipe Hands」とOpenCV のcontrib内の「ArUco」モジュールを合させ, 内のピアノの见かけ上の tilting きやposition をcorrectionし, performer’s finger のposition を検出できた.