Development of a multifaceted measurement environment for input interfaces

本研究において、研究目的は「手指の動作や視線の移動といった入力時の動作様態(Motion tracking data)と、入力の結果を包括的かつ低コストに収集する汎用的な手法を提案する」である。当初の計画では、2020年度はこの目的のためのプロトタイプ実験を実施する予定であったが、緊急事態宣言下で困難な状態であった。2021年度も緊急事態宣言が発令されたが、各自の元でプロトタイプを作成し、withコロナの元で実際に対面で実験を実施して結果を確認した。センサについてLeap motionの使用を検討したが、最終的にWebカメラとライブラリMediaPipeを使用することにした。最終的にWebカメラとライブラリMediaPipeを使用することにした。MediaPipeはAndroidスマートフォン向けのライブラリであるが、PCからでもかなりの機能をPythonによって利用できるため、Pythonを使用して計測プログラムを作成し、プロトタイプで予備実験を実施して結果を確認した。この2021年度の実験からMediaPipeを引き続き採用することに決定し、また実験プログラムを改良したため、2021年度に検出がやや曖昧だった両手のそれぞれの指についてもより正確にデータ取得が可能になっている。2022年度は主に文系学生を対象し、また人数も増やした実験を行ってデータを取得し、その結果を英文論文で発表した。

本研究において、研究目的は「手指の動作や視線の移動といった入力時の動作様態(Motion tracking data)と、入力の結果を包括的かつ低コストに収集する汎用的な手法を提案する」である。当初の計画では、2020年度はこの目的のためのプロトタイプ実験を実施する予定であったが、緊急事態宣言下で困難な状態であった。2021年度も緊急事態宣言が発令されたが、各自の元でプロトタイプを作成し、withコロナの元で実際に対面で実験を実施して結果を確認した。センサについてLeap motionの使用を検討したが、最終的にWebカメラとライブラリMediaPipeを使用することにした。最終的にWebカメラとライブラリMediaPipeを使用することにした。MediaPipeはAndroidスマートフォン向けのライブラリであるが、PCからでもかなりの機能をPythonによって利用できるため、Pythonを使用して計測プログラムを作成し、プロトタイプで予備実験を実施して結果を確認した。この2021年度の実験からMediaPipeを引き続き採用することに決定し、また実験プログラムを改良したため、2021年度に検出がやや曖昧だった両手のそれぞれの指についてもより正確にデータ取得が可能になっている。2022年度は主に文系学生を対象し、また人数も増やした実験を行ってデータを取得し、その結果を英文論文で発表した。