权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Development of a virtual classmate for assistance of online course

开发虚拟同学以协助在线课程

基本信息

批准号：
21H00895
负责人：
伊藤彰則
金额：
$ 8.9万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

このプロジェクトでは、オンライン授業、特にオンデマンド型講義に関して、受講者と対話しながら講義への集中と内容の理解を促す音声対話エージェントを開発することが目標である。そのための課題のうち、仮想エージェントシステムの作成、講義の重要箇所の推定、学習者の注意状態の推定の３つの研究を推進した。それぞれの概要は以下の通りである。１．仮想エージェントは、Unity、UnrealEngine、Azure CognitiveServiceの３つを組み合わせて作成した。ユーザの表情から感情認識モデルによって感情を推定し、またユーザの音声入力の認識結果からデータベースを検索して回答文を選択する。その際に、ユーザの感情と回答文のセンチメント分析結果を組み合わせてエージェントの表情を推定し、これにあわせてエージェントに表情をつけることができた。２．講義の重要箇所の推定として、従来の文単位要約モデルを使って重要文の推定を行い、さらに音声特徴を組み合わせることの効果について検証した。いくつかのモデルを組み合わせて評価を行った結果、音声を組み合わせることの効果はそれほど高くなかった。また、講義を行う教員によって傾向が異なるので、最終的に一つのモデルで推定ができるのかどうかを含めて今後検討が必要である。３．集中度の推定にはOpenFaceを使い、視線方向とまばたきによる集中度の推定を行った。また、スマートウォッチを利用した心拍数などと集中度の関連を調べた。今回の実験では実験参加者が少なかったため、今後データを増やして実験を続ける必要がある。

このプロジェクトでは, オンライン knowledge, にオンデマンド type notes に masato して, speakers と words し seaborne ながら notes への concentrated と content の understand を promote す sounds of words エ seaborne ージェントを open 発することが target である. そのための subject のうち, 仮 think エージェントシステムの is made, and important a handout のの presumption of presumption, learners の attention state のの 3 つをの research advance した. Youdaoplaceholder0 それぞれ summary the following である is the same as であるである. 1. Youdaoplaceholder0 think of エエジェジェトト, Unity, UnrealEngine, and Azure CognitiveService, and combine three わせてを groups to make わせてた. ユーザの expression から feelings known モデルによって feelings を presumption し, またユーザの sounds の know results into force からデータベースを検 cable して answer wen を sentaku する. その interstate に, ユーザの feelings と answer wen のセンチメント analysis results を group み close わせてエージェントの expression を presumption し, これにあわせてエージェントに expression をつけることができた. 2 Handout の important a presumption is のとして, 従 to の単 who offer モデルを make って important article の presumption をい, さらに sounds, 徴を group み close わせることの unseen fruit について検 card した. いくつかのモデルを group み close わせて review 価を line った results, voice を group みわせることの unseen fruit はそれほど high くなかった. また, notes をう faculty によって tendency が different なるので, eventually につのモデルで presumption ができるのかどうかを containing めて検 for future がで necessary ある. 3 The degree of concentration is based on the presumption of にに OpenFaceを so that the direction of the line of sight is とまばたによる the degree of concentration is based on the presumption of を rows った. Youdaoplaceholder0, ス, ス, トウォッチを, トウォッチを, use the た number of beats of the heart, な, と, and the concentration <s:1> to correlate を and べた. Today back の be 験では be less 験 participants がなかったため, future データを raised やして be 験を続ける necessary がある.