基于多模态表征学习的时尚数据检索与推荐算法研究
结题报告
批准号:
61802100
项目类别:
青年科学基金项目
资助金额:
27.0 万元
负责人:
顾晓玲
依托单位:
学科分类:
F0210.计算机图像视频处理与多媒体技术
结题年份:
2021
批准年份:
2018
项目状态:
已结题
项目参与者:
余宙、匡振中、徐兴歆、朱静洁、宋怡君、李敬、周剑、王贵军
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
传统的时尚行业面临着大数据冲击,通过大数据技术创新是提高时尚行业整体竞争力的关键步骤。运用机器学习和计算机视觉等技术对海量的时尚数据进行语义分析与理解,用以时尚流行趋势分析、支持多种信息检索方式和时尚搭配推荐,是时尚行业的大数据分析的核心技术之一,具有重大的研究意义。本项目拟针对时尚数据的特点,对时尚数据展开多个维度的表征学习,包括基于深度学习的半监督时尚图片理解算法、面向多模态多领域时尚数据的跨媒体检索算法和基于深度度量学习模型的时尚搭配算法,并最终形成一个完整的面向时尚行业的大数据分析平台。本项目的研究能帮助时尚行业相关人员有效地理解、管理、搜索和分析时尚数据,探索了时尚行业的智能化转型。
英文摘要
As traditional fashion industry is facing grand challenges from big data, technology innovation is a crucial step to improve the industrial competitiveness. Understanding and analyzing the semantics of large-scale fashion data through machine learning and computer vision techniques is one of the essential business analytics and technology tools, which is significantly important to support fashion trend analysis, fashion information retrieval and fashion recommendation. Based on the characteristics of fashion data, this project aims to study multiple representation learning approaches for fashion data, including deep learning based semi-supervised fashion image understanding algorithm, cross-media retrieval algorithm for multi-modal and multi-domain fashion data and deep metric learning based fashion outfit composition algorithm. Eventually, it enables to develop a big data analytics platform for fashion industry. This study would help people from fashion industry to understand, manage, search and analyze fashion data very effectively, which boosts fashion industry towards the intellectualized era.
社交媒体的日益普及和电子商务的繁荣发展催生了海量的跨媒体时尚数据,如用户分享的街拍数据、时尚品牌发布的T台秀数据以及电商网站提供的产品数据,这些跨媒体时尚数据呈现了丰富而复杂的多媒体内容。因此,通过机器学习和计算机视觉技术来理解和分析大规模跨媒体时尚数据的语义是变革时尚行业和重塑时尚机制的重要分析和技术工具之一。由于对社会和经济重大的影响,使用大数据新技术来处理跨媒体时尚数据已经成为计算机科学家面临的巨大挑战之一,具有重大的研究意义。本项目对时尚数据进行多种表征学习方法,包括基于深度学习的时尚图像理解算法、多模态多领域时尚数据的跨媒体检索算法和基于深度度量学习的时尚推荐算法。关于基于深度学习的时尚图像理解算法,我们提出了一种结合视觉识别和空间识别的新颖框架,用于从智能手机照片中识别具有地理特征的时尚图像。针对面向多模态多领域时尚数据的跨媒体检索算法,我们设计了多模态多领域嵌入学习框架对时尚数据进行分析和检索。对于基于深度度量学习的时尚推荐算法,我们提出了一种新颖的基于生成对抗网络端到端网络架构,能够在多种条件下自动合成时尚产品的逼真图像,为时装设计师提供时尚推荐功能。目前本项目已在国际权威期刊和会议上发表论文6篇,其中SCI一区期刊一作论文2篇,公开了相关专利3项,并已与部分企业合作开展了产学研合作。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
One net to rule them all: efficient recognition and retrieval of POI from geo-tagged photos
一张网一统天下:从地理标记照片中高效识别和检索 POI
DOI:10.1007/s11042-018-6847-y
发表时间:2019
期刊:Multimedia Tools and Applications
影响因子:3.6
作者:Peng Pai;Gu Xiaoling;Zhu Suguo;Shou Lidan;Chen Gang
通讯作者:Chen Gang
Toward Multi-Modal Conditioned Fashion Image Translation
走向多模态条件时尚图像翻译
DOI:10.1109/tmm.2020.3009500
发表时间:2021
期刊:IEEE Transactions on Multimedia
影响因子:7.3
作者:Gu Xiaoling;Yu Jun;Wong Yongkang;Kankanhalli Mohan S.
通讯作者:Kankanhalli Mohan S.
Multi-Modal and Multi-Domain Embedding Learning for Fashion Retrieval and Analysis
用于时尚检索和分析的多模态和多领域嵌入学习
DOI:10.1109/tmm.2018.2876822
发表时间:2019-06
期刊:IEEE Transactions on Multimedia
影响因子:7.3
作者:Gu Xiaoling;Wong Yongkang;Shou Lidan;Peng Pai;Chen Gang;Kankanhalli Mohan S
通讯作者:Kankanhalli Mohan S
DOI:10.1016/j.ipm.2020.102276
发表时间:2020-09-01
期刊:INFORMATION PROCESSING & MANAGEMENT
影响因子:8.6
作者:Gu, Xiaoling;Gao, Fei;Peng, Pai
通讯作者:Peng, Pai
面向多模态输入的服装智能生成算法研究
  • 批准号:
    LY21F020019
  • 项目类别:
    省市级项目
  • 资助金额:
    0.0万元
  • 批准年份:
    2020
  • 负责人:
    顾晓玲
  • 依托单位:
国内基金
海外基金