小型モーションキャプチャによる"音の表情"を創る手指の動きの重要性の解明

阐明手和手指运动在使用小动作捕捉创建“声音表达”中的重要性

• 批准号: 22K00211
• 负责人: 大島 千佳
• 金额: $ 2.66万
• 依托单位: Saga University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K00211/
• 关键词: 演奏技能の再現; 自宅学習支援; 離鍵速度; 骨格画像; ピアノ; 離鍵動作; 技術習得

本年度は下記の4点について研究を遂行した．１．離鍵速度を出力する電子ピアノを購入し，実験に使用する音の種類，音質，音量などの機能を調整し，まずは打鍵速度と離鍵速度との関係を調べた．以前のアコースティックピアノを使った実験で得られた知見から想定される結果となり，本電子ピアノで実験を継続することとした．２．手の動きのトラッキングに， Leap Motion Controller（ウルトラリープ社）というデバイスを使用してきたが，本年度はバージョンアップしたUltraleap 3Di（ウルトラリープ社）の使用を検討した．検出距離は広がったものの，手の動きによりデバイスとの距離が変わると容易にトラッキングから外れてしまうため，今後の実験課題には利用が難しいと判断した．現在はMediaPipe（Google社）を使用している．３．MediaPipeの認識精度を確かめるために，2箇所にカメラを設置し，4箇所に立って，指ジェスチャーを行った．その結果，指に負担なく容易に形を再現できるジェスチャーではほぼ100%の正解率であったが，形を再現しにくいジェスチャーは人によりばらつきがあり，70%台の正解率であった．ここから，本研究でMediaPipeを使用する場合でのおよその精度も推測できた．４．オリジナルの画像と，推定された骨格のみの画像を比較し，人間による評価がどの程度異なるか調べた．本実験ではOpenPoseという人体の「キーポイント」を検出するソフトウェアを用いて，人間のある動作を行う画像から骨格画像を作成した（175枚×2通り）．その動作から，あるリスクを評価できる専門家に，画像を見て判定してもらったところ，2通りの画像間で評価がかなり異なることがわかった．ここから，本研究で手～肩までの画像を元にした骨格画像を作成する場合にも，画像のみを見た印象とは異なることを前提に進めるべきであることがわかった．

This year, the following four points are recorded: 1. The key speed is adjusted according to the type of sound used, the volume and the function. 2. Use of Leap Motion Controller (it's called "Leap Motion Controller") is called "Leap Motion Controller" and is called "Leap Motion Controller". The distance between the two sides is easy to determine. Now MediaPipe (Google) is used. 3. MediaPipe's recognition accuracy is accurate, 2 places are set, 4 places are set, and the instructions are set. The result is that the burden is easy to reproduce, the correct solution rate is 100%, the correct solution rate is 70%. Therefore, the accuracy of this research is very high when MediaPipe is used. 4. By comparing the portrait of the artist with the portrait of the presumed skeleton, the evaluation in the world is different to varying degrees. This article is about creating a portrait of the human body (175 pieces ×2 pieces). The action is different, the portrait is different. This study is based on the premise that the portrait of the hand and the shoulder is made.

项目成果

クラシック音楽における個性と演奏技法

古典音乐的个性与演奏技巧

• 发表时间: 2022
• 作者: Shin Kajihara;Masato Okazaki;Chika Oshima;Koichi Nakayama;大島千佳
• 通讯作者: 大島千佳

Improving a Physical Search System that Detects Even Unknown Displaced Objects Using Image Differences

改进物理搜索系统，利用图像差异检测甚至未知的移位物体

• 发表时间: 2022
• 期刊: The Fourteenth International Conference on Emerging Networks and Systems Intelligence
• 作者: Shin Kajihara;Masato Okazaki;Chika Oshima;Koichi Nakayama
• 通讯作者: Koichi Nakayama

アクセシビリティ研究における当事者との関係構築

与无障碍研究中的利益相关者建立关系

• 发表时间: 2022
• 作者: Shin Kajihara;Masato Okazaki;Chika Oshima;Koichi Nakayama;大島千佳;塩野目剛亮，馬場哲晃，諸熊浩人，設楽明寿，大島千佳
• 通讯作者: 塩野目剛亮，馬場哲晃，諸熊浩人，設楽明寿，大島千佳