Extending lecture capture system for multimodal learning analytics

点击翻译按钮获取中文摘要

本年度の研究では生体センシング技術を用いて講義ビデオ視聴中の学習者の視線・心拍を取得可能な講義ビデオ視聴ツールの開発を行った。ビデオ視聴用の端末にはWebカメラを接続したノートPCを用い、これとiPhoneを組み合わせることで視線計測と心拍の計測を実現する。視線検出についてはiPhoneのカメラと視線検出ソフト(Eyeware Beam)の組み合わせにより、講義スライド中のどの領域を見ているか判別できる程度の良好な精度が得られた。心拍の計測はWebカメラ映像に対して映像脈波を検出することで実現した。カメラ映像内の顔に対して肌色領域の色成分の変化を検出する方式であり、照明条件の影響を受けやすいという欠点がある。逆光下のカメラ映像では脈波の検出に失敗するが、肌色領域の検出条件を調整することで脈波の検出が改善されることが分かった。顔検出・視線検出が行えることは映像に基づく生体センシング技術を適用する大前提であり、この点で現実の講義視聴環境に近い状態で検出がうまく行えることが確認できたのは重要な一歩である。