機械学習による児童生徒の学習参加の状態推定解析システムの開発

开发利用机器学习估计和分析学生参与学习状态的系统

• 批准号: 22K02870
• 负责人: 石川 健介
• 金额: $ 2.66万
• 依托单位: Kanazawa Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K02870/
• 关键词: 状態推定; 学習; 機械学習; 集中度推定; 画像処理; 教授スキル; 支援システム

学習支援のための集中度推定システムの開発において、本年度はその推定精度向上に関して検討を進めた。単眼カメラを用いて得られる動画像に対する画像処理によって、学習者が注視対象、すなわち、学習時における机上の、あるいは教員が提示する教材を注視しているか、学習者の頭部姿勢を推定し、注視対象の方向と一致するかを評価することで集中度を推定している。また、学習者の開眼閉眼についても画像処理に基づいて判定を行い、集中度評価を行っていたが、画像からの特徴抽出に基づく手法ではカメラ画像の輝度や学習者の姿勢によって開眼閉眼を正しく判定できない場合があった。そこで、本年度は深層学習に基づく判定方法を導入したところ、開眼閉眼の判定を正しく行うことが可能となり、集中度推定の精度の向上を確認することができた。さらに、前述のような学習時の注視対象は、机上の教材から教員の提示物、あるいは何らかの説明行っている教員まで、都度切り替わっていくものであるが、教員が注意喚起を目的とした身振り手振りによって注視対象が切り替わったことを検出し、学習者の集中度推定を継続して行うために、指導者のモーション検知に関する評価実験を行った。手を叩く、手を振る、それぞれの動作を指導者役の被験者の手首に装着した3軸加速度センサの応答波形に短時間フーリエ変換を適用して評価した。その結果、それぞれの動作において特徴的な周波数特性が得られることが確認でき、今後、機械学習に基づくモーション検知の実現を進め、実際の授業における評価検討を進める。

The concentration of learning support is estimated to be open and the accuracy of this year's estimation is improved. Single eye カメラを Use いて られる animation image に対する image processing によって, learn The learner's gaze is on the object, the teacher is the teacher when studying, and the teacher is watching the videoがTip するTextbook を Gaze しているか, Learner's head posture を Presumption し, Gaze 対Elephant の Direction と Consistency す る か を Evaluation 価 す る こ と で Concentration を Presumption し い る.また, learner's open eyes and closed eyes についてもimage processing にbased づいてjudgment を行い, concentration evaluation 価を行っていたが, portrait からの特徴出にbasedづくtechniqueではカメラ图のluminanceやlearner's postureによってopen eyes and close eyesを正しくdeterminationできないoccasionがあった.そこで, this year's deep learning にbased づく judgment method を introduction したところ, eyes open and closed のjudgment をThe accuracy of concentration estimation is correct, and the accuracy of concentration estimation is confirmed.さらに, the aforementioned のようなのObservation of the object when studying, のtextbook on board, からteacher’s reminder, あるいははらかの Explain the line っている Teacher まで, Dodu cut り成わっていくものであるが, Teacher がAttention callをObject とした Body vibration りHand vibration りによって Gaze at the elephant が Cut り substitute わ っ た こ と 検出 し、Learner の集Moderately presumed を継続して行うために, instructor のモーション検知に关する comment価実験を行った.手を叩く、手を Shakeる、それぞれのactionをguide service のthe person being raped の手头に装しThe 3-axis acceleration acceleration waveform is suitable for short-time acceleration.そのRESULTS, それぞれの动において特徴’s なCycle Number Characteristics が got られることがConfirmationでき, in the future , Mechanical learning is based on learning and learning, and learning is based on learning and learning.