小型モーションキャプチャによる"音の表情"を創る手指の動きの重要性の解明

本年度は下記の4点について研究を遂行した．１．離鍵速度を出力する電子ピアノを購入し，実験に使用する音の種類，音質，音量などの機能を調整し，まずは打鍵速度と離鍵速度との関係を調べた．以前のアコースティックピアノを使った実験で得られた知見から想定される結果となり，本電子ピアノで実験を継続することとした．２．手の動きのトラッキングに， Leap Motion Controller（ウルトラリープ社）というデバイスを使用してきたが，本年度はバージョンアップしたUltraleap 3Di（ウルトラリープ社）の使用を検討した．検出距離は広がったものの，手の動きによりデバイスとの距離が変わると容易にトラッキングから外れてしまうため，今後の実験課題には利用が難しいと判断した．現在はMediaPipe（Google社）を使用している．３．MediaPipeの認識精度を確かめるために，2箇所にカメラを設置し，4箇所に立って，指ジェスチャーを行った．その結果，指に負担なく容易に形を再現できるジェスチャーではほぼ100%の正解率であったが，形を再現しにくいジェスチャーは人によりばらつきがあり，70%台の正解率であった．ここから，本研究でMediaPipeを使用する場合でのおよその精度も推測できた．４．オリジナルの画像と，推定された骨格のみの画像を比較し，人間による評価がどの程度異なるか調べた．本実験ではOpenPoseという人体の「キーポイント」を検出するソフトウェアを用いて，人間のある動作を行う画像から骨格画像を作成した（175枚×2通り）．その動作から，あるリスクを評価できる専門家に，画像を見て判定してもらったところ，2通りの画像間で評価がかなり異なることがわかった．ここから，本研究で手～肩までの画像を元にした骨格画像を作成する場合にも，画像のみを見た印象とは異なることを前提に進めるべきであることがわかった．

本年度は下記の4点について研究を遂行した．１．離鍵速度を出力する電子ピアノを購入し，実験に使用する音の種類，音質，音量などの機能を調整し，まずは打鍵速度と離鍵速度との関係を調べた．以前のアコースティックピアノを使った実験で得られた知見から想定される結果となり，本電子ピアノで実験を継続することとした．２．手の動きのトラッキングに， Leap Motion Controller（ウルトラリープ社）というデバイスを使用してきたが，本年度はバージョンアップしたUltraleap 3Di（ウルトラリープ社）の使用を検討した．検出距離は広がったものの，手の動きによりデバイスとの距離が変わると容易にトラッキングから外れてしまうため，今後の実験課題には利用が難しいと判断した．現在はMediaPipe（Google社）を使用している．３．MediaPipeの認識精度を確かめるために，2箇所にカメラを設置し，4箇所に立って，指ジェスチャーを行った．その結果，指に負担なく容易に形を再現できるジェスチャーではほぼ100%の正解率であったが，形を再現しにくいジェスチャーは人によりばらつきがあり，70%台の正解率であった．ここから，本研究でMediaPipeを使用する場合でのおよその精度も推測できた．４．オリジナルの画像と，推定された骨格のみの画像を比較し，人間による評価がどの程度異なるか調べた．本実験ではOpenPoseという人体の「キーポイント」を検出するソフトウェアを用いて，人間のある動作を行う画像から骨格画像を作成した（175枚×2通り）．その動作から，あるリスクを評価できる専門家に，画像を見て判定してもらったところ，2通りの画像間で評価がかなり異なることがわかった．ここから，本研究で手～肩までの画像を元にした骨格画像を作成する場合にも，画像のみを見た印象とは異なることを前提に進めるべきであることがわかった．