Discriminative structure selection method of Gaussian Mixture Models with its application to handwritten digit recognition
Discriminative structure selection method of Gaussian Mixture Models with its application to handwritten digit recognition
复制标题
高斯混合模型判别结构选择方法及其在手写数字识别中的应用
DOI：
10.1016/j.neucom.2010.11.010
复制
发表时间：
2011-02
期刊：
影响因子：
6
通讯作者：
Jia, Yunde
中科院分区：
文献类型：
--
作者：
Chen, Xuefeng;Liu, Xiabi;Jia, Yunde
模型结构选择是目前利用混合高斯模型(GMM)进行数据建模的一个公开问题。本文提出了一种选择GMM结构进行模式分类的判别方法。提出了一种基于软目标最大最小后验伪概率(Soft-Min-Min后验伪概率)的GMM结构选择准则。通过求积分软矩阵函数的拉普拉斯逼近的最大值，同时估计最优广义矩阵法的结构和参数。采用线搜索算法对该优化问题进行求解。通过在CENPARMI和MNIST两个著名手写数字数据库上的手写数字识别实验，对所提出的GMM结构选择方法进行了验证。我们的方法优于人工方法和生成式方法，包括贝叶斯信息准则(BIC)、最小描述长度(MDL)和自动分类。此外，据我们所知，使用我们的方法训练的数字分类器在CENPARMI数据库上获得了到目前为止最好的错误率，并且错误率与目前在MNIST数据库上的错误率相当。
Model structure selection is currently an open problem in modeling data via Gaussian Mixture Models (GMM). This paper proposes a discriminative method to select GMM structures for pattern classification. We introduce a GMM structure selection criterion based on a discriminative objective function called Soft target based Max–Min posterior Pseudo-probabilities (Soft-MMP). The structure and the parameters of the optimal GMM are estimated simultaneously by seeking the maximum value of Laplace's approximation of the integrated Soft-MMP function. The line search algorithm is employed to solve this optimization problem. We evaluate the proposed GMM structure selection method through the experiments of handwritten digit recognition on the well-known CENPARMI and MNIST digit databases. Our method behaves better than the manual method and the generative counterparts, including Bayesian Information Criterion (BIC), Minimum Description Length (MDL) and AutoClass. Furthermore, to our best knowledge, the digit classifier trained by using our method achieves the best error rate so far on the CENPARMI database and the error rate comparable to the currently best ones on the MNIST database.
登录
查看更多内容
DOI：
--
发表时间：
2003-08
期刊：
--
影响因子：
--
作者：
A. Klautau;N. Jevtic;A. Orlitsky
通讯作者：
A. Klautau;N. Jevtic;A. Orlitsky
DOI：
10.1109/34.990138
发表时间：
2002-03-01
影响因子：
23.6
作者：
Figueiredo, MAT;Jain, AK
通讯作者：
Jain, AK
影响因子：
8
作者：
Lauer, Fabien;Suen, Ching Y.;Bloch, Gerard
通讯作者：
Bloch, Gerard
DOI：
10.1109/tpami.2006.167
发表时间：
2006-08
影响因子：
23.6
作者：
Roongroj Nopsuwanchai;A. Biem;W. Clocksin
通讯作者：
Roongroj Nopsuwanchai;A. Biem;W. Clocksin
DOI：
10.1109/34.799913
发表时间：
1999-10
期刊：
IEEE Trans. Pattern Anal. Mach. Intell.
影响因子：
--
作者：
Il-Seok Oh;Jin-Seon Lee;C. Suen
通讯作者：
Il-Seok Oh;Jin-Seon Lee;C. Suen