课题基金 / 基金详情

基于多目标优化的MOOCs课程视频摘要生成框架研究

批准号:
62107009
项目类别:
青年科学基金项目(C类)
资助金额:
30.0 万元
负责人:
郭羽婷
依托单位:
学科分类:
教育信息科学与技术
结题年份:
2024
批准年份:
2021
项目状态:
已结题
项目参与者:
郭羽婷

项目摘要

结项摘要

相似基金

相关文献

中文摘要
以MOOCs为代表的在线学习技术快速发展,为学习者提供了前所未有的大规模、随时随地、高质量的在线课程视频。然而,由于课程视频具有线性、非结构化、冗长、包含丰富的语音和视觉信息等特性,学习者很难快速了解和定位其内容。因此,学习者在学习过程中持久性不强、专注度不够、效率不高,这些视频资源往往没有被充分利用。本项目根据MOOCs课程视频数据的特点,提出一个基于多目标优化的视频摘要生成框架,分析课程视频,对原始视频内容进行总结,以直观呈现的方式帮助学习者确定课程内容。首先,通过深度学习模型深入挖掘课程视频包含的语音信息,对视频进行主题分割。然后,构建学习者对于课程视频的注意力模型,度量每个主题内视频帧视觉内容的重要性。最后,采用稀疏表示的策略生成具有表示性、代表性和重要性的视频摘要。本项目旨在丰富课程视频摘要生成的理论与方法,提高课程视频理解的智能化水平,既有科学理论价值又有社会应用前景。
英文摘要
The rapid development of online learning technology, represented by MOOCs, has provided unprecedented large-scale, anytime, anywhere, high-quality online course videos for learners. However, because the course video is linear, unstructured, lengthy, and contains rich audio and visual information, it is difficult for learners to quickly understand its content. Therefore, learners are not persistent, focused and efficient in the learning process, and these video resources are often not fully utilized. According to the characteristics of MOOCs course video, this project puts forward a video summary model based on multi-objective optimization to analyze the course videos. The model summarizes the original video content, and enables learners to quickly understand the main content contained in the video in a visual presentation way. Firstly, the deep learning framework is used to dig deep into the speech information contained in the course video and segment the video into different topics. Then, the learner's attention model for the course video is constructed, and the importance of the video frames within each topic is calculated. Finally, sparse representation strategy is adopted to generate video summaries with representability, typicality and importance . This project aims to enrich the theory and method of course video summary generation and improve the intelligence level of MOOCs course video understanding. It has both scientific theoretical value and social application prospect.
随着在线学习的快速发展,MOOCs(大规模开放在线课程)视频成为了重要的学习资源之一。但MOOCs视频具有线性、非结构化、冗长的特性,学习者难以快速定位和理解其包含的信息。该项目聚焦于MOOCs视频的摘要生成问题,通过深度学习、注意力模型和稀疏表示策略,构建一个多目标优化的MOOCs视频摘要生成框架,帮助学习者快速预览课程内容,提升学习效率。主要研究内容包括:(1)构建基于深度学习的课程主题分割模型,通过深度学习神经网络分析MOOCs视频的语音语义信息,将视频分割为不同主题;利用网络浅层特征和深层特征相融合的策略,生成包含低层信息和高层语义信息的视频帧特征表示。(2)构建基于学习者注意力机制的视频帧重要性度量模型,结合视觉和语音信息,构建学习者的多视角注意力模型(包括静态注意力、人脸注意力和特殊关键词注意力),度量视频帧的重要性。(3)构建基于稀疏表示的多目标优化视频摘要生成模型,综合考虑视频帧的表示性、代表性和重要性,采用稀疏表示策略生成多目标优化的视频摘要。项目研究结果显示,构建的基于深度学习的课程主题分割模型,能够较为有效的将MOOCs视频分割为不同主题;提出的基于学习者多视角注意力机制的视频帧重要性度量模型,能够较为准确的识别视频帧的显著性和重要性;基于稀疏表示的多目标优化模型,能够生成既具有表示性又具有代表性和重要性的视频摘要。在实证研究中,分别使用了中国大学慕课网等平台的MOOCs视频数据(《数据库原理与应用》等课程的视频)、视频摘要标准数据库SUMME和TVSUM,用于模型的训练和验证。通过实验模拟,验证了基于深度学习的特征提取、基于多视角注意力机制的显著度度量、基于稀疏表示多目标优化的摘要提取模型等技术的有效性。该项目丰富了MOOCs视频摘要生成的理论与方法,提出了基于深度学习、注意力模型和稀疏表示的多目标视频摘要生成框架,通过生成MOOCs视频摘要,帮助学习者快速预览课程内容,提升学习效率,减少教育资源浪费,具有广泛的社会应用前景。
国内基金
海外基金