学習指導案に基いた映像分析による集中度の可視化および授業改善に関する研究

授業の改善を行う方法として、カメラで撮影した映像と音声から重要な単語を検出するシステムを開発することで、教員は授業の録画を全て見るのではなく、重要な単語を発したタイミングの部分だけを見ることで、教員は授業の振り返りと改善を効率的に行えるようになる。本研究では、カメラで撮影した映像から音声を抽出し音声認識を行い、教員の発した重要な単語を記録するシステムの開発を目指している。まず、本システムで使用する vosk のモデルは alpha cephei 社が配布している vosk- model-ja-0.22 を使用する。入力部で抽出した音声を音声認識ツールキット（vosk）のモデルに入力し音声認識を行い、json 形式で出力される。モデルによる音声認識の処理過程は、①音声認識を行うデータをある程度のフレーム数で切り取り、モデルに入力する。②ある程度の文章が生成されたらモデルが true を返し、用意していた list に追加する。③全てのデータを入力するまで 1 に戻る。また、検出するキーワードは2種類あり、1つ目は授業で使用した指導案を基にシステムに入力するキーワードである。指導案から名詞や動詞のみを切り出してキーワードとした。2つ目は岸らが分類した発話カテゴリーに基づいて事前に用意したキーワードである。発話カテゴリーから「指示・確認」に注目して 19単語をキーワードとした。さらに、本研究では django という python の web アプリケーションフレームワークで アプリケーションとして実装し、音声の波形と記録したキーワードを時系列でまとめたグラフとして表示している。

授業の改善を行う方法として、カメラで撮影した映像と音声から重要な単語を検出するシステムを開発することで、教員は授業の録画を全て見るのではなく、重要な単語を発したタイミングの部分だけを見ることで、教員は授業の振り返りと改善を効率的に行えるようになる。本研究では、カメラで撮影した映像から音声を抽出し音声認識を行い、教員の発した重要な単語を記録するシステムの開発を目指している。まず、本システムで使用する vosk のモデルは alpha cephei 社が配布している vosk- model-ja-0.22 を使用する。入力部で抽出した音声を音声認識ツールキット（vosk）のモデルに入力し音声認識を行い、json 形式で出力される。モデルによる音声認識の処理過程は、①音声認識を行うデータをある程度のフレーム数で切り取り、モデルに入力する。②ある程度の文章が生成されたらモデルが true を返し、用意していた list に追加する。③全てのデータを入力するまで 1 に戻る。また、検出するキーワードは2種類あり、1つ目は授業で使用した指導案を基にシステムに入力するキーワードである。指導案から名詞や動詞のみを切り出してキーワードとした。2つ目は岸らが分類した発話カテゴリーに基づいて事前に用意したキーワードである。発話カテゴリーから「指示・確認」に注目して 19単語をキーワードとした。さらに、本研究では django という python の web アプリケーションフレームワークで アプリケーションとして実装し、音声の波形と記録したキーワードを時系列でまとめたグラフとして表示している。