学習指導案に基いた映像分析による集中度の可視化および授業改善に関する研究

基于学习指导计划的视频分析集中度可视化及课程改进研究

• 批准号: 22K02892
• 负责人: 姜 東植
• 金额: $ 2.66万
• 依托单位: University of the Ryukyus
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K02892/
• 关键词: 授業改善; 音声認識; 指導案; 発話カテゴリー; 集中度; 学習理解度; 映像解析; 可視化; 教育工学

授業の改善を行う方法として、カメラで撮影した映像と音声から重要な単語を検出するシステムを開発することで、教員は授業の録画を全て見るのではなく、重要な単語を発したタイミングの部分だけを見ることで、教員は授業の振り返りと改善を効率的に行えるようになる。本研究では、カメラで撮影した映像から音声を抽出し音声認識を行い、教員の発した重要な単語を記録するシステムの開発を目指している。まず、本システムで使用する vosk のモデルは alpha cephei 社が配布している vosk- model-ja-0.22 を使用する。入力部で抽出した音声を音声認識ツールキット（vosk）のモデルに入力し音声認識を行い、json 形式で出力される。モデルによる音声認識の処理過程は、①音声認識を行うデータをある程度のフレーム数で切り取り、モデルに入力する。②ある程度の文章が生成されたらモデルが true を返し、用意していた list に追加する。③全てのデータを入力するまで 1 に戻る。また、検出するキーワードは2種類あり、1つ目は授業で使用した指導案を基にシステムに入力するキーワードである。指導案から名詞や動詞のみを切り出してキーワードとした。2つ目は岸らが分類した発話カテゴリーに基づいて事前に用意したキーワードである。発話カテゴリーから「指示・確認」に注目して 19単語をキーワードとした。さらに、本研究では django という python の web アプリケーションフレームワークで アプリケーションとして実装し、音声の波形と記録したキーワードを時系列でまとめたグラフとして表示している。

Fine line の improve を う method と し て, カ メ ラ で pinch of shadow し た image と sounds か ら important な 単 language を 検 out す る シ ス テ ム を open 発 す る こ と で, faculty は knowledge recorded の painting を て see all る の で は な く, important な 単 language を 発 し た タ イ ミ ン グ の part だ け を see る こ と で, faculty は fine vibration の り return り と improve を に line of the working rate え る よ う Youdaoplaceholder0. This study で は, カ メ ラ で pinch of shadow し た image か ら sounds を spare し sounds line know を い, faculty の 発 し た important な 単 language を record す る シ ス テ ム の open 発 を refers し て い る. ま ず, this シ ス テ ム use で す る vosk の モ デ ル は alpha が cephei clubs with cloth し て い る vosk - model - ja - 0.22 を use す る. Into force department で spare し た sounds を sounds know ツ ー ル キ ッ ト (vosk) の モ デ ル に し into force line sounds know を い, json form で output さ れ る. モ デ ル に よ る sounds know の 処 は during processing, line 1) sounds know を う デ ー タ を あ る degree の フ レ ー ム cut several で り り, モ デ ル に す into force る. (2) あ る degree の article が generated さ れ た ら モ デ ル が true を return し, meaning し て い た list に additional す る. ③ Total て デ デ タを タを input force するまで 1 に戻る. ま た, 検 す る キ ー ワ ー ド は 2 kinds あ り, 1 つ は knowledge で use し た を guide case base に シ ス テ ム に す into force る キ ー ワ ー ド で あ る. Guidance: ら ら Noun や verb みを みを cut out ドと てキ ワ ワ ドと た た 2 つ は shore ら が classification し た 発 words カ テ ゴ リ ー に base づ い に て advance meant し た キ ー ワ ー ド で あ る. 発 words カ テ ゴ リ ー か ら "instructions, confirm" に attention し て 19 単 language を キ ー ワ ー ド と し た. さ ら に, this study で は django と い う python の web ア プ リ ケ ー シ ョ ン フ レ ー ム ワ ー ク で ア プ リ ケ ー シ ョ ン と し て be し, sounds の waveform と record し た キ ー ワ ー ド を series when で ま と め た グ ラ フ と し て said し て い る.

项目成果

Measuring Human Concentration in Video Analysis

在视频分析中测量人体注意力

• 发表时间: 2022
• 作者: Ripon Rana;Kang Dongshik;Sasazawa Yosiaki;Minoru Kobayashi
• 通讯作者: Minoru Kobayashi