钢琴教学中智能辅助技术研究
批准号:
61877060
项目类别:
面上项目
资助金额:
45.0 万元
负责人:
许炜
依托单位:
学科分类:
F0701.教育信息科学与技术
结题年份:
2022
批准年份:
2018
项目状态:
已结题
项目参与者:
程文青、姜丹、王兴刚、杨楠、孔思聪、李军、龚萱、王远涵、潘冬冬
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
钢琴教学和练习是一个经典的个性化教学场景,它依赖教师和学生面对面的诊断和反馈。要实现计算机辅助钢琴教学与练习必须解决好三个问题:①准确的音乐信号分析、②明确的教学知识体系、③自动的客观评价。因此,我们将这3个需求转化为3个具体的科学问题:①乐谱已知的钢琴音乐转录算法研究,②基于乐谱的钢琴演奏技术难度模型研究,③面向学习者的自动演奏评价技术研究,并围绕这些科学问题的研究成果,构建自适应智能辅助教学系统,运用人工智能技术为业余钢琴教育行业服务。
英文摘要
Tutoring and practicing piano is a classic personalized teaching scene, which relies on the face-to-face diagnosis and feedback. To achieve computer-assisted piano tutoring and practicing, we must solve three problems: ①accurate music signal analysis, ②clear tutoring knowledge system, ③automatic objective evaluation. Therefore, we have translated these 3 requirements into 3 specific scientific questions: ①score-informed piano music transcription algorithm research, ②score-informed piano performance technical difficulty model research, ③facing-learners automatic performance evaluation technology research. And around these results, building self-adaptive intelligent assisting teaching system, using artificial intelligence technology for the amateur piano education industry services.
项目围绕钢琴教与学场景中依托的智能辅助技术展开研究。该研究的核心是解决计算机听懂钢琴演奏的问题,即能够准确地对演奏的过程进行转录,并结合乐谱对演奏行为进行客观评价。在项目研究过程中,基于深度学习的钢琴音乐转录算法研究兴起并成为主流,本项目也在这个大的背景下,先后提出了基于公共起始点感知、触键事件感知的起始点检测思路,有效地提升了钢琴音乐转录的精度。另外,有效发展了融合音频与视频的多模态钢琴转录研究,建立并公开了目前规模最大的多模态钢琴转录数据集OMAPS和OMAPS2,在该数据集上进一步讨论了手指图像区域、整体图像以及手指骨架关键点等多种与音频融合的思路,给出了详细的比较结果,为高精度的钢琴音乐转录与评价打下了良好的基础。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
MusicYOLO: A Vision-Based Framework for Automatic Singing Transcription
MusicYOLO:基于视觉的自动歌唱转录框架
DOI:10.1109/taslp.2022.3221005
发表时间:2023
期刊:IEEE/ACM Transactions on Audio, Speech, and Language Processing
影响因子:--
作者:Xianke Wang;Bowen Tian;Weiming Yang;Wei Xu;Wenqing Cheng
通讯作者:Wenqing Cheng
DOI:10.1109/tmm.2022.3168132
发表时间:2023
期刊:IEEE Transactions on Multimedia
影响因子:7.3
作者:Weiming Yang;Xianke Wang;Bowen Tian;Wei Xu;W. Cheng
通讯作者:Weiming Yang;Xianke Wang;Bowen Tian;Wei Xu;W. Cheng
面向音乐教育的唱歌智能评价技术研究
- 批准号:--
- 项目类别:面上项目
- 资助金额:57万元
- 批准年份:2022
- 负责人:许炜
- 依托单位:
国内基金
海外基金















{{item.name}}会员


