タブレットPCと複合現実を用いた遠隔ピアノ学習支援システムの構築

点击翻译按钮获取中文摘要

本研究の目的の1つは、複合現実技術と手の3次元計測・CGモデル生成技術を使って、遠隔地であっても教師があたかも生徒の隣にいて手の動きを教えてくれるピアノ学習支援システムを実現することである。そこで、令和4年度は、Webカメラを用いて手を撮影したRGB画像から手の骨格の3次元位置を推定し、その結果を用いて手の演奏3Dアニメーションを作成する研究を行った。ここでは、Google社が開発したMediaPipeを用いて手の骨格の3次元位置を推定したが、カメラを鍵盤の上方に設置した場合、奥行方向の指の位置推定が難しいことがわかったため、MIDI鍵盤からの打鍵情報を利用して、位置の補正を行う方法を開発し、精度向上を達成した。また、本研究のもう1つの目的として、タブレットPCを用いて、効率の良い学習支援を行うことを挙げている。そこで、タブレット上に表示する楽譜を複合現実の技術を用いて、空間上に配置するシステムについても研究を行った。具体的には、タブレット上で特定の箇所をスワイプする動作を行うと複合現実空間にその楽譜の全ページを表示し、一方、ARマーカーを表示したタブレットを複合現実空間にある楽譜に近づける動作を行うとタブレット上にその楽譜を表示できる仕組みを開発した。これにより、楽譜のページ数が多い場合や、多数の楽譜がある場合に、それらを空間上に配置することができ、目的の楽譜をタブレット上に素早く表示できる機能を実現している。一方、タブレットや複合現実空間での操作に不慣れなユーザーを考慮して、実際の紙面に複合現実技術を用いて、対象の楽譜を投影し、あたかもユーザーが紙面を扱うように楽譜画像を扱うことができるシステムも開発した。