权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

自動楽曲推薦・編曲とタテ線譜・自動伴奏システムによる中高齢者のピアノ演奏支援

自动推荐/编曲、竖谱、自动伴奏系统，为中老年人提供钢琴演奏支持

基本信息

批准号：
21K12187
负责人：
齋藤康之
金额：
$ 2.58万
依托单位：
Kisarazu National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

ピアノ演奏では、適切な運指の習得が基礎的な演奏技能と考えられている。ピアノ運指の原理を情報学的に理解する目的で自動運指推定が研究されており、ピアノ運指分析は、演奏支援や編曲技術などにも応用されている。運指の定量分析や機械学習による運指推定手法の研究には、電子化された大量の運指のデータが必要である。以前の基盤研究C（課題番号16K00501）において、クラシック音楽300曲のピアノ運指を収めた現在最大規模の公開データ「PIGデータセット」を構築した。10名の演奏家には印刷した楽譜の1つ1つの音符に運指番号を記入してもらい、自作の専用入力エディタを用いてこれも手作業でコンピュータに入力して電子化した。各楽曲の典型的な長さは楽譜1ページ程度で、小節数は約20、音符数は約300であるが、楽譜への記入・コンピュータへの入力の双方ともに相応の時間と労力を要した。これに対し、本研究では、前年度に引き続き、ピアノ演奏をビデオカメラで撮影して運指を自動的に効率よく取得する基礎技術について検討した。2021年度は、塗布するとゴム状に固まる塗料（人体には無害）を用いて指ごとに異なる色で塗り、どの指で鍵を打鍵したのかを推定する方法を検討した。これに対し、2022年度は、オープンソースの画像処理ライブラリ「MediaPipe」と「OpenCV」を用い、塗料の指への塗布を無くすことでピアノ奏者の簡便な実験参加を可能とし、それによる自然な演奏の映像取得を目指した。具体的には、MediaPipe の手指の追跡ソリューションである「MediaPipe Hands」とOpenCV のcontrib 内の「ArUco」モジュールを複合させ、映像内のピアノの見かけ上の傾きや位置を補正し、奏者の指の位置を検出できた。

"to play" and "to cut" refers to the "performance skills" in which the performance skills are obtained. This means that the understanding of the principles, the purpose of the study, the automatic meaning of the presumption, the research, the analysis, the performance, the composition, the technical support, the use of music, etc. "quantitative analysis" refers to the study of presumptive techniques, "computer chemistry" means that a large number of information is necessary. In the past, the basic research C (project serial number 16K00501) was used to improve the performance of the system, which means that the largest scale is now open to the public. Ten performers do not print the notes of 1: 1, and write down the serial number in the computer, and use the manual to make the computer work. The typical length of each curve is different, the number of notes is about 20, the number of notes is about 300, and the number of notes is about 300, and it is important for both sides to compare each other. This research program, the introduction of the previous year, and the performance of the video clips refer to the fact that the automatic performance rate has reached the level of basic technical performance. In the year 2021, the method of presumption is used to determine the color of the material (the human body is harmless) in 2021. In the year of 2022, the portrait was designed to show that the image is "MediaPipe", "OpenCV", "material" means that the cloth does not have any information, and the performer will take part in the "possibility", and the image of the natural performance will be obtained. The specific "MediaPipe Hands", "OpenCV", "contrib", "ArUco", "ArUco", "copy", "position", "position" and "position" in the image.