目标跟踪与识别是计算机视觉领域的重要研究课题。本课题针对摄像机运动且环境复杂条件下的目标稳健跟踪与归属判别问题，提出背景反匹配与目标匹配相结合的新思想，发展利用mean shift在微分流形上进行协方差聚类的新方法。课题由二个部分构成，（1）目标跟踪：将mean shift算法的局部最优性与协方差匹配的全局最优性巧妙地结合起来，构建背景区域的协方差矩阵模型进行反匹配，获取图像的运动参数，根据几何变换补偿图像运动，再通过mean shift算法准确跟踪目标；（2）目标归属判别：利用协方差矩阵重新构建目标聚类模型，在微分流形上对目标模型和参考模型进行整体聚类，使不同环境下的相同目标归属于同类参考模型，从而自动判别目标的类别归属。.本课题提出的基于背景反匹配和微分流形的目标稳健跟踪与归属判别方法具有新颖的学术思想和实际应用价值。能应用于视频监控、协助驾驶、运动分析、军事目标识别等领域。