权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

タブレットPCと複合現実を用いた遠隔ピアノ学習支援システムの構築

利用平板电脑和混合现实构建远程钢琴学习支持系统

基本信息

批准号：
22K12289
负责人：
宮尾秀俊
金额：
$ 2.5万
依托单位：
Shinshu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12289/
关键词：
複合現実ピアノ学習支援 3DCGアニメーション遠隔教育

项目摘要

本研究の目的の1つは、複合現実技術と手の3次元計測・CGモデル生成技術を使って、遠隔地であっても教師があたかも生徒の隣にいて手の動きを教えてくれるピアノ学習支援システムを実現することである。そこで、令和4年度は、Webカメラを用いて手を撮影したRGB画像から手の骨格の3次元位置を推定し、その結果を用いて手の演奏3Dアニメーションを作成する研究を行った。ここでは、Google社が開発したMediaPipeを用いて手の骨格の3次元位置を推定したが、カメラを鍵盤の上方に設置した場合、奥行方向の指の位置推定が難しいことがわかったため、MIDI鍵盤からの打鍵情報を利用して、位置の補正を行う方法を開発し、精度向上を達成した。また、本研究のもう1つの目的として、タブレットPCを用いて、効率の良い学習支援を行うことを挙げている。そこで、タブレット上に表示する楽譜を複合現実の技術を用いて、空間上に配置するシステムについても研究を行った。具体的には、タブレット上で特定の箇所をスワイプする動作を行うと複合現実空間にその楽譜の全ページを表示し、一方、ARマーカーを表示したタブレットを複合現実空間にある楽譜に近づける動作を行うとタブレット上にその楽譜を表示できる仕組みを開発した。これにより、楽譜のページ数が多い場合や、多数の楽譜がある場合に、それらを空間上に配置することができ、目的の楽譜をタブレット上に素早く表示できる機能を実現している。一方、タブレットや複合現実空間での操作に不慣れなユーザーを考慮して、実際の紙面に複合現実技術を用いて、対象の楽譜を投影し、あたかもユーザーが紙面を扱うように楽譜画像を扱うことができるシステムも開発した。

The purpose of this study is to provide a comprehensive approach to 3D measurement, CG generation, and remote learning support for teachers. In 2004, we conducted research on the use of RGB images to estimate the 3D position of the hand's bones and the use of 3D images to create 3D images of the hand's performance. Google Media Pipe is used to estimate the 3D position of the hand's bone cell. When the keyboard is set above the keyboard, the position of the finger in the direction of the arrow is difficult to estimate. MIDI keyboard is used to correct the keystroke information. The position correction method is developed and the accuracy is improved. The purpose of this study is to improve the efficiency of PC application and learning support. A study of the application and spatial configuration of the complex technology The specific position is displayed in the composite display space. The number of the target spectrum is different from that of the target spectrum. The target spectrum is different from that of the target spectrum. The target spectrum is different from the target spectrum. A square, a square