权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

自動楽曲推薦・編曲とタテ線譜・自動伴奏システムによる中高齢者のピアノ演奏支援

自动推荐/编曲、竖谱、自动伴奏系统，为中老年人提供钢琴演奏支持

基本信息

批准号：
21K12187
负责人：
齋藤康之
金额：
$ 2.58万
依托单位：
Kisarazu National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

ピアノ演奏では、適切な運指の習得が基礎的な演奏技能と考えられている。ピアノ運指の原理を情報学的に理解する目的で自動運指推定が研究されており、ピアノ運指分析は、演奏支援や編曲技術などにも応用されている。運指の定量分析や機械学習による運指推定手法の研究には、電子化された大量の運指のデータが必要である。以前の基盤研究C（課題番号16K00501）において、クラシック音楽300曲のピアノ運指を収めた現在最大規模の公開データ「PIGデータセット」を構築した。10名の演奏家には印刷した楽譜の1つ1つの音符に運指番号を記入してもらい、自作の専用入力エディタを用いてこれも手作業でコンピュータに入力して電子化した。各楽曲の典型的な長さは楽譜1ページ程度で、小節数は約20、音符数は約300であるが、楽譜への記入・コンピュータへの入力の双方ともに相応の時間と労力を要した。これに対し、本研究では、前年度に引き続き、ピアノ演奏をビデオカメラで撮影して運指を自動的に効率よく取得する基礎技術について検討した。2021年度は、塗布するとゴム状に固まる塗料（人体には無害）を用いて指ごとに異なる色で塗り、どの指で鍵を打鍵したのかを推定する方法を検討した。これに対し、2022年度は、オープンソースの画像処理ライブラリ「MediaPipe」と「OpenCV」を用い、塗料の指への塗布を無くすことでピアノ奏者の簡便な実験参加を可能とし、それによる自然な演奏の映像取得を目指した。具体的には、MediaPipe の手指の追跡ソリューションである「MediaPipe Hands」とOpenCV のcontrib 内の「ArUco」モジュールを複合させ、映像内のピアノの見かけ上の傾きや位置を補正し、奏者の指の位置を検出できた。

The basic performance skills of the instrument are studied. For the purpose of informatics understanding, automatic finger estimation, research, performance support, and composition techniques, Quantitative analysis and mechanical learning of finger estimation methods are necessary for electronic analysis of finger estimation. The previous base disk research C (project number 16K 00501) was conducted on the largest scale of open data construction. 10 artists to print the music score of 1 1 The typical length of each song is about 20 bars, the number of notes is about 300, the number of notes is about 20 bars, and the number of notes is about 20 bars. In this paper, we discuss the basic technology of automatic performance acquisition in the past year. In 2021, the method for estimating the color of the coating (harmless to human body) was discussed. For example, in 2022, the "MediaPipe" and "OpenCV" images are processed in the same way as the "OpenCV" images, and the "OpenCV" images are applied in the same way as the "OpenCV" images are applied in the same way. Specifically, MediaPipe's finger tracking solution can be found in "MediaPipe Hands" and "ArUco" in OpenCV's contrib. The missing image can be found in the image. The tilt position can be corrected. The player's finger position can be detected.