Scalable Interpretable Multi-Response Regression via SEED
Scalable Interpretable Multi-Response Regression via SEED
复制标题
通过 SEED 进行可扩展、可解释的多响应回归
DOI：
--
复制
发表时间：
2016-08
影响因子：
6
通讯作者：
Jinchi Lv
中科院分区：
文献类型：
--
作者：
Zemin Zheng;M. Taha Bahadori;Yan Liu;Jinchi Lv
稀疏降秩回归是一种重要的工具，可以在许多大数据应用中发现大量预测因子和响应之间有意义的依赖结构，例如全基因组关联研究和社交媒体分析。尽管最近的理论和算法的进步，稀疏降秩回归的可扩展估计仍然在很大程度上未被探索。在本文中，我们提出了一个可扩展的程序称为序列估计与特征值分解（SEED），它只需要一个单一的顶部$r$奇异值分解，找到最佳的低秩和稀疏矩阵，通过解决稀疏广义特征值问题。我们建议的方法不仅是可扩展的，但也同时进行降维和变量选择。在一些温和的规则性条件下，我们证明了SEED具有良好的抽样性质，包括估计的一致性，秩选择，预测和模型选择。对合成数据集和真实的数据集的数值研究表明，SEED在大规模矩阵估计问题上优于最新方法。
Sparse reduced-rank regression is an important tool to uncover meaningful dependence structure between large numbers of predictors and responses in many big data applications such as genome-wide association studies and social media analysis. Despite the recent theoretical and algorithmic advances, scalable estimation of sparse reduced-rank regression remains largely unexplored. In this paper, we suggest a scalable procedure called sequential estimation with eigen-decomposition (SEED) which needs only a single top-$r$ singular value decomposition to find the optimal low-rank and sparse matrix by solving a sparse generalized eigenvalue problem. Our suggested method is not only scalable but also performs simultaneous dimensionality reduction and variable selection. Under some mild regularity conditions, we show that SEED enjoys nice sampling properties including consistency in estimation, rank selection, prediction, and model selection. Numerical studies on synthetic and real data sets show that SEED outperforms the state-of-the-art approaches for large-scale matrix estimation problem.
登录
查看更多内容
影响因子：
3.7
作者：
Johnstone IM;Lu AY
通讯作者：
Lu AY
影响因子：
4.5
作者：
Ma, Zongming
通讯作者：
Ma, Zongming
DOI：
10.1080/10618600.2017.1340891
发表时间：
2017
期刊：
Journal of computational and graphical statistics : a joint publication of American Statistical Association, Institute of Mathematical Statistics, Interface Foundation of North America
影响因子：
--
作者：
Mishra A;Dey DK;Chen K
通讯作者：
Chen K
影响因子：
4.5
作者：
Jing Lei;Vincent Q. Vu
通讯作者：
Jing Lei;Vincent Q. Vu
DOI：
10.5555/1390681.1390716
发表时间：
2007-10
期刊：
ArXiv
影响因子：
--
作者：
F. Bach
通讯作者：
F. Bach