权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

タブレットPCと複合現実を用いた遠隔ピアノ学習支援システムの構築

利用平板电脑和混合现实构建远程钢琴学习支持系统

基本信息

批准号：
22K12289
负责人：
宮尾秀俊
金额：
$ 2.5万
依托单位：
Shinshu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12289/
关键词：
複合現実ピアノ学習支援 3DCGアニメーション遠隔教育

项目摘要

本研究の目的の1つは、複合現実技術と手の3次元計測・CGモデル生成技術を使って、遠隔地であっても教師があたかも生徒の隣にいて手の動きを教えてくれるピアノ学習支援システムを実現することである。そこで、令和4年度は、Webカメラを用いて手を撮影したRGB画像から手の骨格の3次元位置を推定し、その結果を用いて手の演奏3Dアニメーションを作成する研究を行った。ここでは、Google社が開発したMediaPipeを用いて手の骨格の3次元位置を推定したが、カメラを鍵盤の上方に設置した場合、奥行方向の指の位置推定が難しいことがわかったため、MIDI鍵盤からの打鍵情報を利用して、位置の補正を行う方法を開発し、精度向上を達成した。また、本研究のもう1つの目的として、タブレットPCを用いて、効率の良い学習支援を行うことを挙げている。そこで、タブレット上に表示する楽譜を複合現実の技術を用いて、空間上に配置するシステムについても研究を行った。具体的には、タブレット上で特定の箇所をスワイプする動作を行うと複合現実空間にその楽譜の全ページを表示し、一方、ARマーカーを表示したタブレットを複合現実空間にある楽譜に近づける動作を行うとタブレット上にその楽譜を表示できる仕組みを開発した。これにより、楽譜のページ数が多い場合や、多数の楽譜がある場合に、それらを空間上に配置することができ、目的の楽譜をタブレット上に素早く表示できる機能を実現している。一方、タブレットや複合現実空間での操作に不慣れなユーザーを考慮して、実際の紙面に複合現実技術を用いて、対象の楽譜を投影し、あたかもユーザーが紙面を扱うように楽譜画像を扱うことができるシステムも開発した。

The purpose of this study is to achieve the goal of three-dimensional CG generation technology in order to make students learn how to use their hands to help students learn how to do things. The third dimensional position of the RGB portrait, the bone grid of the bone, the third dimensional position of the bone grid, the third dimensional position of the bone lattice, the third dimensional position, the third dimensional position, the third dimensional position, The location of the three-dimensional position is presumed to be closed, the location of the upper part of the MediaPipe is set to close, the Olympic Bank direction refers to the location of the presumption of the location, the location of the MediaPipe, the location of the device, the location of the location, the position, the position, the position In this study, the purpose of this study is to provide information about the use of PC, and the rate of good academic support. The message above means that you can copy the technical information and configure the equipment in the space. The action lines of the specific customers and the users on the specific customers copy the space messages, and on one side, the AR messages indicate that they are closed, and the one party, the AR users, indicates that they are not open to users. The number of customers is different from each other, most of them are installed in the space, and the destination phone is used early to indicate that the phone is able to detect a crash. On the one hand, it is necessary to make a copy of the space operation, and to make an examination of the technology, the image, the projection, the picture, the picture, the image, the image,