基于角色多语义特征识别的动漫版权认证技术研究
批准号:
62062064
项目类别:
地区科学基金项目
资助金额:
36.0 万元
负责人:
李德
依托单位:
学科分类:
信息安全
结题年份:
2024
批准年份:
2020
项目状态:
已结题
项目参与者:
李德
中文摘要
目前,我国动漫作品在司法保护实践中面临侵权认定举证困难等困境,因此有效地提取动漫声视觉特征,实现版权保护成为亟待解决的问题。本研究针对上述问题,依次提取动漫角色肖像、语言语音、个性动作等多语义特征进行版权认证。在漫画特征提取方面,针对肖像,在混合域下用四元数图像深度分解的方式提取阶跃边缘特征;针对语言,采用语言风格数字化建模的方式提取统计特征;针对个性动作,采用运动模板的方式提取运动角度特征。在动画特征提取方面,针对肖像,在混合域下用运动补偿深度分解的方式提取阶跃边缘特征;针对语音,采用音频信息融合的方式提取感知、方向、能量分布特征;针对个性动作,采用金字塔LK光流法提取运动向量特征,并结合感知哈希、相似哈希、主成分及线性判别分析等技术实现特征的降维及完全互补码、视觉密码等技术提高安全性。该方案为动漫版权认证提供依据,并有效解决特征构造和版权识别中安全性低、特征构造难、准确率低等问题。
英文摘要
At present, China's anime works are facing difficulties such as infringement certification in judicial protection practice. Therefore, it is an urgent issue to effectively extract the sound and visual characteristics of anime and realize copyright protection. In this study, aiming at the above problems, multi-semantic features such as portraits, Speech language, and individual actions of anime characters were sequentially extracted for copyright authentication. In the aspect of comic feature extraction, for portraits, step edge features are extracted domain by using quaternion image depth decomposition in the mixed domain; For language, statistical features are extracted by using digital modeling of language style; For individual actions, the motion angle feature is extracted by using motion template. In the aspect of animation feature extraction, for portraits, step edge features are extracted by using motion-compensated depth decomposition in the mixed domain; For speech, the features of perception, direction, and energy distribution are extracted by using audio information fusion; For individual actions, motion vector features are extracted by using pyramid Lucas-Kanande optical flow method. At the same time, combines techniques such as perceptual hashing, similar hashing, principal components, and linear discriminant analysis to achieve feature reduction. And combines technologies such as complete complementary code and visual cryptography to improve security. This solution can provide basis for anime copyright certification, and effectively solve the problems of low security, difficult feature construction, and low accuracy in feature construction and copyright recognition.
动漫无论从制作方式还是画面风格上都和传统图像和视频有较大差异,使用通用算法提取单语义特征进行识别效果不理想。特征提取和识别技术应用在动漫作品时应该要充分考虑动漫作品所具有的纹理单一、色调简单、边缘明显和表现手法夸张等复杂特点。. 针对以上问题,本研究分别对漫画帧间空间变化和动画帧间时序变化的内在联系进行分析,通过深度混合域分解、运动模板表示、语言风格数字形式化建模、金字塔LK光流法、音频信息特征融合等方法依次提取漫画和动画的角色肖像、动作、语音特征。特征提取后将动漫多语义层次的特征索引、原始文件以及元数据依次存储到数据库中,验证时在数据库中检索与其匹配的特征信息,确定被侵权作品及版权所有人。本研究设计动漫角色肖像、角色动作、角色语言特征提取器,完成动漫角色的肖像、动作、语言特征提取和识别,并部署和搭建索引数据库和元数据库系统。最后,结合动漫特征信息库,建立并优化了鲁棒动漫版权识别系统。. 实验结果表明,漫画角色动作特征识别上,角色轮廓、运动角色、角色姿态、角色动作的相似度分别达到0.99、1.00、0.80、0.84;角色语言特征识别上,结构特征识别盗版语料和原语料时相较于词汇特征其精确率提高了约10%,而句法特征相较于结构特征提高了15.7%。动画角色肖像特征识别上,SE注意力机制和ECA注意力机制模型相比原始模型提高了1.86%和3.11%;角色动作特征识别上,经旋转、高斯等各类攻击后相似度均为0.91以上,每帧平均耗时为351ms;角色语音特征识别上,SDR评价指标提升6.5%,动画角色台词音频部分提升7.32%。. 本课题提出的方案为动漫版权认证提供了理论依据,并有效解决特征构造和版权识别中安全性低、特征构造难、准确率低等问题,以及鲁棒性与可信性之间的平衡、准确度与匹配速度之间的平衡等问题。
基于双重频域和离轴全息的鲁棒水印关键技术研究
-
批准号:61262090
-
项目类别:地区科学基金项目
-
资助金额:43.0万元
-
批准年份:2012
-
负责人:李德
-
依托单位:
国内基金
海外基金