USBカメラによる顔の動き数値化と数値処理教材の開発

点击翻译按钮获取中文摘要

学習者が自分自身の顔行動を数値データとして取得して、数値処理が可能になる教材作成を目的とした。さらに昨今の「機械学習ブーム」を鑑みて、学習者自身がモデル構築を試みる可能性を検討した。2019年度で機械学習ライブライを用いてUSBカメラから得られた動画から「顔の特徴点座標」を取得し、頭頂部につけた慣性センサと同時計測をすることで、「顔の動き」を正しくとらえていることを確かめた。2020年度は、2019年度に開発発表をしたシステムの運用を目指したが、COVID-19蔓延のため、対面を伴う実践的研究が困難になった。そこで、Windows環境で、USBメモリーを用いたPython環境を作成し、その環境で、Net経由で環境構築を含めて運用が可能なことを確かめた。2021年度は、「顔の特徴点座標取得」の開発環境としてjavascriptを加えた。Webページにアクセスをして、学習者が指定した画像の「顔の特徴点座標」を数値として取得できるようにした。このシステムを運用することで、COVID-19の蔓延状況下でもWeb経由での教材作成が可能になった。2022年度は顔の動きの軌跡を取得し、動きを推定するモデルを構築することを試みた。2019年度から2021年度の研究で得られた知見や環境をもとに、顔の特徴点として両目尻と鼻頭の3点を選び、多層パーセプトロンを用いてモデルを構築した。「会話」中の動作として「うなずき（顔の上下動）」、「否定（左右動）」などの動作を推定することを試みた。モデル構築には、学習データとして数分間の各動作の動画を用いた。モデルは目視による結果と良い一致を得ることを確かめた。単純な動作推定モデル作成には、大量のデータではなくともモデル構築が可能であることを示すことで、現在話題になっている「機械学習モデル」を学習者自身が構築して推定する学習教材への発展させる可能性を示した。