A Study for the Practical Applications of Deviceless Learning Environment and the Framework for Learners Behavior Analysis

本研究では，デバイスレスな教育学習環境（FLE：Followable Learning Environment）の実用化とこの環境上の分析基盤について，前研究課題で得られた知見に基づいた諸問題の解決方法について検討している．FLEは，プロジェクションベースのARにより，教室内の学習者の机にユーザインタフェース（UI:User Interface）を投影する．独自の方法によりUIの大きさや形状を自由に変えながら投影できるようにすることを目指しているほか，少ない機材で複数の机へそれぞれ異なるUIを同時に投影できるようにする仕組みの実現を目指している．本研究課題では，(1)GPGPU技術を活用した処理能力の向上によりリアルタイム性の維持を図ること，(2)オブジェクト認識のためにDNN（Deep Neural Network）によるAIの適用を試みること，を目標としている．また，(3)学習者の行動記録とその分析基盤を実現する方法を検討することも目指している．このうち，2022年度の研究活動では(1)および(2)に関する基礎的な調査及びシステムの試作を行った．とりわけ(2)に関しては，机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法についてシステムの試作を行った．この方法では，机上の空きスペースを認識するためにMask RCNNと呼ばれるDNNを活用した．机上の教科書，資料，ノート，文房具類の領域を認識し，机の領域との差分をとることで机上の空きスペースを認識する．空きスペースの大きさや形状に合わせてUIを投影する．こうすることで机上の空きスペースを有効活用できるようになり，ICTを積極的に活用した教育が展開しやすくなると考えられる．

本研究では，デバイスレスな教育学習環境（FLE：Followable Learning Environment）の実用化とこの環境上の分析基盤について，前研究課題で得られた知見に基づいた諸問題の解決方法について検討している．FLEは，プロジェクションベースのARにより，教室内の学習者の机にユーザインタフェース（UI:User Interface）を投影する．独自の方法によりUIの大きさや形状を自由に変えながら投影できるようにすることを目指しているほか，少ない機材で複数の机へそれぞれ異なるUIを同時に投影できるようにする仕組みの実現を目指している．本研究課題では，(1)GPGPU技術を活用した処理能力の向上によりリアルタイム性の維持を図ること，(2)オブジェクト認識のためにDNN（Deep Neural Network）によるAIの適用を試みること，を目標としている．また，(3)学習者の行動記録とその分析基盤を実現する方法を検討することも目指している．このうち，2022年度の研究活動では(1)および(2)に関する基礎的な調査及びシステムの試作を行った．とりわけ(2)に関しては，机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法についてシステムの試作を行った．この方法では，机上の空きスペースを認識するためにMask RCNNと呼ばれるDNNを活用した．机上の教科書，資料，ノート，文房具類の領域を認識し，机の領域との差分をとることで机上の空きスペースを認識する．空きスペースの大きさや形状に合わせてUIを投影する．こうすることで机上の空きスペースを有効活用できるようになり，ICTを積極的に活用した教育が展開しやすくなると考えられる．