機械学習による児童生徒の学習参加の状態推定解析システムの開発

学習支援のための集中度推定システムの開発において、本年度はその推定精度向上に関して検討を進めた。単眼カメラを用いて得られる動画像に対する画像処理によって、学習者が注視対象、すなわち、学習時における机上の、あるいは教員が提示する教材を注視しているか、学習者の頭部姿勢を推定し、注視対象の方向と一致するかを評価することで集中度を推定している。また、学習者の開眼閉眼についても画像処理に基づいて判定を行い、集中度評価を行っていたが、画像からの特徴抽出に基づく手法ではカメラ画像の輝度や学習者の姿勢によって開眼閉眼を正しく判定できない場合があった。そこで、本年度は深層学習に基づく判定方法を導入したところ、開眼閉眼の判定を正しく行うことが可能となり、集中度推定の精度の向上を確認することができた。さらに、前述のような学習時の注視対象は、机上の教材から教員の提示物、あるいは何らかの説明行っている教員まで、都度切り替わっていくものであるが、教員が注意喚起を目的とした身振り手振りによって注視対象が切り替わったことを検出し、学習者の集中度推定を継続して行うために、指導者のモーション検知に関する評価実験を行った。手を叩く、手を振る、それぞれの動作を指導者役の被験者の手首に装着した3軸加速度センサの応答波形に短時間フーリエ変換を適用して評価した。その結果、それぞれの動作において特徴的な周波数特性が得られることが確認でき、今後、機械学習に基づくモーション検知の実現を進め、実際の授業における評価検討を進める。

学習支援のための集中度推定システムの開発において、本年度はその推定精度向上に関して検討を進めた。単眼カメラを用いて得られる動画像に対する画像処理によって、学習者が注視対象、すなわち、学習時における机上の、あるいは教員が提示する教材を注視しているか、学習者の頭部姿勢を推定し、注視対象の方向と一致するかを評価することで集中度を推定している。また、学習者の開眼閉眼についても画像処理に基づいて判定を行い、集中度評価を行っていたが、画像からの特徴抽出に基づく手法ではカメラ画像の輝度や学習者の姿勢によって開眼閉眼を正しく判定できない場合があった。そこで、本年度は深層学習に基づく判定方法を導入したところ、開眼閉眼の判定を正しく行うことが可能となり、集中度推定の精度の向上を確認することができた。さらに、前述のような学習時の注視対象は、机上の教材から教員の提示物、あるいは何らかの説明行っている教員まで、都度切り替わっていくものであるが、教員が注意喚起を目的とした身振り手振りによって注視対象が切り替わったことを検出し、学習者の集中度推定を継続して行うために、指導者のモーション検知に関する評価実験を行った。手を叩く、手を振る、それぞれの動作を指導者役の被験者の手首に装着した3軸加速度センサの応答波形に短時間フーリエ変換を適用して評価した。その結果、それぞれの動作において特徴的な周波数特性が得られることが確認でき、今後、機械学習に基づくモーション検知の実現を進め、実際の授業における評価検討を進める。