Development of a virtual classmate for assistance of online course

点击翻译按钮获取中文摘要

このプロジェクトでは、オンライン授業、特にオンデマンド型講義に関して、受講者と対話しながら講義への集中と内容の理解を促す音声対話エージェントを開発することが目標である。そのための課題のうち、仮想エージェントシステムの作成、講義の重要箇所の推定、学習者の注意状態の推定の３つの研究を推進した。それぞれの概要は以下の通りである。１．仮想エージェントは、Unity、UnrealEngine、Azure CognitiveServiceの３つを組み合わせて作成した。ユーザの表情から感情認識モデルによって感情を推定し、またユーザの音声入力の認識結果からデータベースを検索して回答文を選択する。その際に、ユーザの感情と回答文のセンチメント分析結果を組み合わせてエージェントの表情を推定し、これにあわせてエージェントに表情をつけることができた。２．講義の重要箇所の推定として、従来の文単位要約モデルを使って重要文の推定を行い、さらに音声特徴を組み合わせることの効果について検証した。いくつかのモデルを組み合わせて評価を行った結果、音声を組み合わせることの効果はそれほど高くなかった。また、講義を行う教員によって傾向が異なるので、最終的に一つのモデルで推定ができるのかどうかを含めて今後検討が必要である。３．集中度の推定にはOpenFaceを使い、視線方向とまばたきによる集中度の推定を行った。また、スマートウォッチを利用した心拍数などと集中度の関連を調べた。今回の実験では実験参加者が少なかったため、今後データを増やして実験を続ける必要がある。