Sparse Poisson regression via mixed-integer optimization.
Sparse Poisson regression via mixed-integer optimization.
复制标题
DOI：
10.1371/journal.pone.0249916
复制
发表时间：
2021
期刊：
影响因子：
3.7
通讯作者：
Takano Y
中科院分区：
文献类型：
--
作者：
Saishu H;Kudo K;Takano Y
我们提出了一种混合整数优化（MIO）方法稀疏泊松回归。稀疏线性回归的MIO方法首次提出于20世纪70年代，但最近由于优化算法和计算机硬件的进步而重新受到关注。与许多稀疏估计算法相比，MIO方法的优点在于找到解释变量相对于各种准则函数的最佳子集。在本文中，我们专注于一个稀疏泊松回归，最大化的加权和的对数似然函数和L2正则化项。对于这个问题，我们通过对对数似然函数应用分段线性逼近来推导出混合整数二次优化（MIQO）公式。优化软件可以解决这个MIQO问题的最优性。此外，我们提出了两种方法来选择有限数量的切线有效的分段线性近似。我们通过使用合成和真实世界的数据集的计算实验来评估我们的方法的有效性。我们的方法提供了更好的对数似然值比传统的贪婪算法在选择切线。此外，我们的MIQO公式提供了比前向逐步选择和L1正则化估计更好的样本外预测性能，特别是在低噪声情况下。
We present a mixed-integer optimization (MIO) approach to sparse Poisson regression. The MIO approach to sparse linear regression was first proposed in the 1970s, but has recently received renewed attention due to advances in optimization algorithms and computer hardware. In contrast to many sparse estimation algorithms, the MIO approach has the advantage of finding the best subset of explanatory variables with respect to various criterion functions. In this paper, we focus on a sparse Poisson regression that maximizes the weighted sum of the log-likelihood function and the L2-regularization term. For this problem, we derive a mixed-integer quadratic optimization (MIQO) formulation by applying a piecewise-linear approximation to the log-likelihood function. Optimization software can solve this MIQO problem to optimality. Moreover, we propose two methods for selecting a limited number of tangent lines effective for piecewise-linear approximations. We assess the efficacy of our method through computational experiments using synthetic and real-world datasets. Our methods provide better log-likelihood values than do conventional greedy algorithms in selecting tangent lines. In addition, our MIQO formulation delivers better out-of-sample prediction performance than do forward stepwise selection and L1-regularized estimation, especially in low-noise situations.
登录
查看更多内容
影响因子：
5.7
作者：
Bertsimas, Dimitris;King, Angela
通讯作者：
King, Angela
影响因子：
2.2
作者：
Kimura, Keiji;Waki, Hayato
通讯作者：
Waki, Hayato
DOI：
10.1080/03610926.2017.1390129
发表时间：
2018-01-01
影响因子：
0.8
作者：
Koc, Haydar;Dunder, Emre;Cengiz, Mehmet Ali
通讯作者：
Cengiz, Mehmet Ali
影响因子：
2.5
作者：
HOERL, AE;KENNARD, RW
通讯作者：
KENNARD, RW
影响因子：
3.7
作者：
Frommlet F;Nuel G
通讯作者：
Nuel G