本项目瞄准视觉信息的语义理解这一前沿课题，借鉴生物感知系统的信息处理机制，研究图像视频数据的特征编码和语义获取的新理论和新方法。.提出了基于结构相似度的稀疏编码模型以及视觉特征提取和表示方法，得到结构信息保持良好的编码特征；提出融合两类线性鉴别分析的方法来提取低维的优化鉴别特征，显著提高图像检索的速度和语义准确率，发表在Multimedia Tools and Application。.提出了图像语义自动标注方法：提出融合语义主题的图像自动标注方法PLSA-FUSION、连续视觉特征的图像语义标注模型GM-PLSA、混合生成式和判别式模型的图像语义标注方法HGDM，实验结果令人鼓舞。成果发表在Journal of Visual Communication and Image Representation、Pattern Recognition Letters等期刊。.基于上下文的物体识别和图像分类方法：基于Bayesian Linking Field 模型的思想提出了一种物体识别方法，可以显著改善图像中的物体识别率。提出结合1阶特征和上下文相关2阶特征的物体识别方法，利用不同特征的共现相关性提高识别准确率，在Google图像集上的实验证明了算法的有效性，成果发表在Visual Computer期刊上；提出基于半监督学习的多标签图像分类算法，学习中考虑类别相关性，提高分类正确率，成果发表在ACM MM10；提出利用稀疏编码和判别测度学习的基于行为的人物识别方法，发表在 ACM MM12。.提出多种新颖的分类和聚类算法，为多媒体语义提取提供理论支持。基于进化规划的FCMBP模糊聚类改进方法(Computers and Mathematics with Applications)；挖掘多个领域之间个性与共性的文本分类方法——协同对偶PLSA (IEEE TKDE)；解决半定义分类问题的无约束生成的主题建模方法(ICDM 2010)；解决多模型合并问题――基于PLSA模型的合并算法(IJCAI2011)；称为ADA的自适应关联分类方法，该方法可以是关联分类器以增量形式进行分类学习(Expert Systems with Applications)。.开发了跨媒体智能检索系统（CMIRS），可以实现对图像视频内容的语义理解、专题生成及检索、实现语义概念与图像、视频的双向检索。