Measurement and big data analysis of child's mental state for uncovering the non-cognitive ability

2021年度までの研究により，教室での教員と児童生徒の行動センシングシステムの開発が完了した．教室サイズの空間で35人という日本の1クラスの標準人数に対する授業の映像から，個々人の位置と顔向き・視線の向きの計測に成功した．この広さと人数での映像からの詳細な個々人の行動情報の抽出は世界初である．2022年度は，そこで得られた情報から，授業の活動状況とクラス全体の集中や児童生徒の授業の活動への参加の推定を目指した．さらにそのような児童生徒の活動を引き起こした教員と児童生徒の相互作用の解明にむけたデータ分析を行った．　結果，クラス内の児童生徒の視線の向きの交点群の分布からクラス全体の特定対象への集中度を推定することができ，さらにその集中が教員から児童生徒への語り掛けの瞬間に起きていることが判明した．さらにクラス全体の集中度を見ると，そこには緩急の波があり，教員が児童生徒を集中させる瞬間とその前後にリラックスさせてる瞬間を作り出していることがデータで示された．このような教員と児童生徒の集団としての相互作用が実際の授業におけるデータで示されたことは2022年度の大きな成果であった．ただ，現在の分析は対面での講義型の授業場面のみであり，これを他の学びの活動に広げることが今後の課題である．以上の成果は，教育工学会の大会など国内で８回の発表を行い，国際会議NCSP2023にて発表した．

2021年度までの研究により，教室での教員と児童生徒の行動センシングシステムの開発が完了した．教室サイズの空間で35人という日本の1クラスの標準人数に対する授業の映像から，個々人の位置と顔向き・視線の向きの計測に成功した．この広さと人数での映像からの詳細な個々人の行動情報の抽出は世界初である．2022年度は，そこで得られた情報から，授業の活動状況とクラス全体の集中や児童生徒の授業の活動への参加の推定を目指した．さらにそのような児童生徒の活動を引き起こした教員と児童生徒の相互作用の解明にむけたデータ分析を行った．　結果，クラス内の児童生徒の視線の向きの交点群の分布からクラス全体の特定対象への集中度を推定することができ，さらにその集中が教員から児童生徒への語り掛けの瞬間に起きていることが判明した．さらにクラス全体の集中度を見ると，そこには緩急の波があり，教員が児童生徒を集中させる瞬間とその前後にリラックスさせてる瞬間を作り出していることがデータで示された．このような教員と児童生徒の集団としての相互作用が実際の授業におけるデータで示されたことは2022年度の大きな成果であった．ただ，現在の分析は対面での講義型の授業場面のみであり，これを他の学びの活動に広げることが今後の課題である．以上の成果は，教育工学会の大会など国内で８回の発表を行い，国際会議NCSP2023にて発表した．