基于Constellation模型的自然场景文本检索方法研究

本课题针对自然场景图像中文本信息的检测与识别方法进行了研究。首先提出了一种基于局部特征和Constellation模型的场景文本识别新方法,该方法利用字符上具有显著性的局部区域集合表征整个字符，然后利用Constellation模型来描述局部特征的表观以及局部特征间的位置关系。这一方法可以有效地适应场景图像中背景杂乱、光照不均、摄影机参数不确定、字体字形多变以及不平整表面等不利因素对识别和检索所造成的影响，提高了场景文本识别的鲁棒性。同时我们还提出了一种基于随机投影的场景文本聚类方法，该方法可以高效地自动归类收集到的文本图像样本，为文本识别与检索方法的学习打下了良好的基础。. 为了提高自然场景图像中文本识别与检索的计算效率，在本课题中我们对局部特征选择方法和文本区域检测进行了研究。提出了一种基于笔迹宽度信息的局部特征选择方法，该方法利用字符上局部特征的尺度与图像中的笔迹宽度信息来选择出与文本相关的局部特征，从而减少了需要处理的局部特征数量，提高了算法的运算效率和准确率。此外，我们还提出一种基于局部特征的多尺度文本区域检测方法。在文本区域分类器训练过程中，提出了一种多示例半监督学习方法，有效地解决了分类器训练过程中存在的未知参数问题。最后，我们将课题提出的算法应用于ICDAR及微软数据集，实验结果表明，本研究所提出的场景文本识别与检索方法具有较高的准确性和鲁棒性。