基于人声检测及分离的多版本流行音乐检索关键技术研究

基于音频指纹技术的信号级音乐识别已经达到了很高的准确度，但是机器仍然无法像人类听觉那样准确地识别同一音乐的多个版本。本课题结合歌声检测和歌声分离技术研究多版本音乐识别问题。主要贡献是：使用主动学习方法减少歌声检测中的人工标注；使用非负矩阵分解改进基于音调的歌声分离；基于多层频谱图分解进行单声道歌声分离；进行音乐引用、串烧歌曲中重复片段的检测；验证Chroma特征的鲁棒性；基于Chroma-based BOW特征进行多版本音乐识别。另外还资助了数个同领域的相关工作：如基于低阶Zernike矩的MP3压缩域音乐识别；基于频谱图SIFT描述子的鲁棒音乐识别；用递归图和状态空间嵌入改进的歌曲摘要检测；基于模糊逻辑的音乐内容认证等。四年时间中本研究完全达到了预期目标。在歌声检测、歌声分离、翻唱歌曲检索、鲁棒音乐识别、音频认证等方面取得了突出成绩。共获得授权专利1项，申请2项，发表论文15篇，其中在多媒体领域顶级会议ACM MM、音频领域顶级会议ICASSP、音频领域顶级期刊IEEE TASLP、音频领域权威期刊EURASIP JASMP、EURASIP JASP等上面在国内率先取得突破。创办全国声音与音乐计算研讨会，推荐MIR领域在国内的发展。毕业博士研究生1名，硕士研究生5人，获得教育部及上海市自然科学二等奖各一项，均排名第三。