Model selection and machine learning theory via large-scale random matrices

通过大规模随机矩阵的模型选择和机器学习理论

• 批准号: 20700258
• 负责人: KOBAYASHI Kei
• 金额: $ 2.66万
• 依托单位: The Institute of Statistical Mathematics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-20700258/
• 关键词: カーネルグラム行列; カーネルマシン; モデル選択; 大規模ランダム行列

Nystrom approximation method for kernel gram matrices reduces the rank of each matrix in two steps. In order to approximate those matrices efficiently, it is important to set an adequate reduction rate for each step and handle the tradeoff between accuracy of the approximation and cost of the computation. In this research program, we used methods of computational physics for analyzing large-scale random matrices and optimized the reduction rates. We checked experimentally that the proposed method attains high accuracy even with very low computational cost for real data of hand-written characters. We derived an upper bound for approximation error of Nystrom method and proved the statistical consistency. Moreover, the proposed method can be used not only for Nystrom method but also for other approximation methods including the sparse greedy approximation and the incomplete Cholesky decomposition. In parallel with this research, we studied commutative algebraic statistics and proposed a novel statistical estimator by applying the computational algebra to the asymptotic estimation theory. In addition, we proposed a statistical method to analyze dendrograms of mental lexicon, which is an example of models holding an algebraic structure.

Nystrom核矩阵近似方法分两步降低每个矩阵的秩。为了有效地近似这些矩阵，重要的是为每个步骤设置适当的缩减率，并处理近似精度和计算成本之间的权衡。在这个研究项目中，我们使用计算物理的方法来分析大型随机矩阵，并优化了约简率。实验表明，该方法对真实的手写字符数据具有很高的识别精度。给出了Nystrom方法逼近误差的一个上界，并证明了其统计一致性.该方法不仅适用于Nystrom方法，也适用于稀疏贪婪逼近和不完全Cholesky分解等其他近似方法。与此同时，我们研究了交换代数统计，并将计算代数应用于渐近估计理论，提出了一种新的统计估计。此外，我们提出了一种统计方法来分析心理词典的树状图，这是一个例子，模型持有代数结构。

项目成果

Using algebraic method in information geometry

代数方法在信息几何中的应用

• 发表时间: 2012
• 作者: Kobayashi;K. and Wynn;H.
• 通讯作者: H.

Algebraic computations for asymptotically efficient estimators via information geometry

通过信息几何进行渐近有效估计量的代数计算

• 发表时间: 2011
• 作者: Kobayashi;K. and Wynn;H.
• 通讯作者: H.

DeRobertis分離度による全変動距離の上界

由德罗伯蒂斯可分离性导致的总变异距离的上限

• 发表时间: 2011
• 期刊: 統計数理
• 作者: Orita;M. and Kobayashi;K.;小林景
• 通讯作者: 小林景

計算機代数を用いた情報幾何学と漸近的推定理論

使用计算机代数的信息几何和渐近估计理论

• 发表时间: 2012
• 作者: Orita;Mitsuru;Kobayashi;Kei;小林景
• 通讯作者: 小林景

Semantic Clustering of High Frequency Nouns in L1 and L2 Mental Lexicons

L1 和 L2 心理词典中高频名词的语义聚类

• 发表时间: 2011
• 作者: Orita;M. and Kobayashi;K.
• 通讯作者: K.