Determinantal Point Processes in Randomized Numerical Linear Algebra
Determinantal Point Processes in Randomized Numerical Linear Algebra
复制标题
随机数值线性代数中的行列式点过程
DOI：
10.1090/noti2202
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Michael W. Mahoney
中科院分区：
文献类型：
--
作者：
Michal Derezinski;Michael W. Mahoney
随机数值线性代数（RANDNLA）使用随机性来开发改进的矩阵问题的算法，这些问题在科学计算，数据科学，机器学习等中都会出现。确定点过程（DPPS）是一个纯粹和应用的数学主题，是一个看似无关的主题具有概率分布的随机点过程，其特征在于内核基质的子测定因子。最近的工作发现了DPP和Randnla之间的深厚而富有成果的联系，这导致了这两个领域感兴趣的新保证和改进的算法。我们提供了这一令人兴奋的新研究概述，包括对Randnla和DPPS的简要介绍，以及DPPS在经典线性代数任务中的应用，例如最小二乘回归，低秩近似值和NyStrom方法。例如，使用DPP进行随机抽样会导致最小二乘的新型无偏估计量，从而使对这些算法的统计和推理理解更加完善。从某种意义上说，DPP是Nystrom方法的最佳随机算法。 Randnla技术称为杠杆得分采样，可以得出作为DPP的边际分布。我们还讨论了最近的算法开发，说明，尽管不如标准Randnla技术高效，但基于DPP的算法的效率只是中等昂贵的算法。
Randomized Numerical Linear Algebra (RandNLA) uses randomness to develop improved algorithms for matrix problems that arise in scientific computing, data science, machine learning, etc. Determinantal Point Processes (DPPs), a seemingly unrelated topic in pure and applied mathematics, is a class of stochastic point processes with probability distribution characterized by sub-determinants of a kernel matrix. Recent work has uncovered deep and fruitful connections between DPPs and RandNLA which lead to new guarantees and improved algorithms that are of interest to both areas. We provide an overview of this exciting new line of research, including brief introductions to RandNLA and DPPs, as well as applications of DPPs to classical linear algebra tasks such as least squares regression, low-rank approximation and the Nystrom method. For example, random sampling with a DPP leads to new kinds of unbiased estimators for least squares, enabling more refined statistical and inferential understanding of these algorithms; a DPP is, in some sense, an optimal randomized algorithm for the Nystrom method; and a RandNLA technique called leverage score sampling can be derived as the marginal distribution of a DPP. We also discuss recent algorithmic developments, illustrating that, while not quite as efficient as standard RandNLA techniques, DPP-based algorithms are only moderately more expensive.
登录
查看更多内容
DOI：
--
发表时间：
2020-02
期刊：
ArXiv
影响因子：
--
作者：
Ping Ma;Xinlian Zhang;Xin Xing;Jingyi Ma;Michael W. Mahoney
通讯作者：
Ping Ma;Xinlian Zhang;Xin Xing;Jingyi Ma;Michael W. Mahoney
DOI：
10.1137/1.9781611975482.84
发表时间：
2019
期刊：
Symposium on Discrete Algorithms (SODA
影响因子：
--
作者：
Nikolov, A;Singh, M.;Tantipongpipat, U.
通讯作者：
Tantipongpipat, U.
DOI：
--
发表时间：
2018-02
期刊：
--
影响因子：
--
作者：
Michal Derezinski;Manfred K. Warmuth;Daniel J. Hsu
通讯作者：
Michal Derezinski;Manfred K. Warmuth;Daniel J. Hsu
DOI：
--
发表时间：
2017-11
期刊：
--
影响因子：
--
作者：
Xue Chen;Eric Price
通讯作者：
Xue Chen;Eric Price
DOI：
10.1073/pnas.1903070116
发表时间：
2019-08-06
影响因子：
11.1
作者：
Belkin, Mikhail;Hsu, Daniel;Mandal, Soumik
通讯作者：
Mandal, Soumik