High-Dimensional Cost-constrained Regression Via Nonconvex Optimization
High-Dimensional Cost-constrained Regression Via Nonconvex Optimization
复制标题
通过非凸优化的高维成本约束回归
DOI：
10.1080/00401706.2021.1905071
复制
发表时间：
2022
期刊：
影响因子：
2.5
通讯作者：
Liu, Yufeng
中科院分区：
文献类型：
--
作者：
Yu, Guan;Fu, Haoda;Liu, Yufeng
由于收集某些预测量的成本很高，预算约束成为现代预测建模中一个重要的考虑因素。这促使我们开发成本约束的预测建模方法。本文研究了一个新的高维成本约束线性回归问题，即在满足预算约束的所有模型中，寻找期望预测误差最小的成本约束回归模型。非凸预算约束使得这个问题np困难。为了估计成本约束回归模型的回归系数向量，提出了一种新的离散一阶连续优化方法。特别是，我们的方法通过解决一系列0-1背包问题来提供一系列回归系数向量的估计。从理论上证明了由迭代算法生成的估计序列收敛于一个一阶平稳点，在某些条件下该平稳点可以是全局最优解。此外，我们研究了我们的方法的一些扩展，可以用于一般的统计学习问题和具有变量组的问题。使用模拟数据集和糖尿病研究的真实数据集进行的数值研究表明，我们提出的方法可以解决相当高维的问题，并且具有良好的性能。
Budget constraints become an important consideration in modern predictive modeling due to the high cost of collecting certain predictors. This motivates us to develop cost-constrained predictive modeling methods. In this article, we study a new high-dimensional cost-constrained linear regression problem, that is, we aim to find the cost-constrained regression model with the smallest expected prediction error among all models satisfying a budget constraint. The nonconvex budget constraint makes this problem NP-hard. In order to estimate the regression coefficient vector of the cost-constrained regression model, we propose a new discrete first-order continuous optimization method. In particular, our method delivers a series of estimates of the regression coefficient vector by solving a sequence of 0-1 knapsack problems. Theoretically, we prove that the series of the estimates generated by our iterative algorithm converge to a first-order stationary point, which can be a globally optimal solution under some conditions. Furthermore, we study some extensions of our method that can be used for general statistical learning problems and problems with groups of variables. Numerical studies using simulated datasets and a real dataset from a diabetes study indicate that our proposed method can solve problems of fairly high dimensions with promising performance.
登录
查看更多内容
影响因子：
3.7
作者：
D. Fouskakis;D. Draper
通讯作者：
D. Fouskakis;D. Draper
DOI：
10.1198/016214506000000735
发表时间：
2006-12-01
影响因子：
3.7
作者：
Zou, Hui
通讯作者：
Zou, Hui
使用分支 LARS 进行经济高效的变量选择
DOI：
--
发表时间：
2010
期刊：
影响因子：
--
作者：
Lihua Yue
通讯作者：
Lihua Yue
影响因子：
5.8
作者：
Friedman, Jerome;Hastie, Trevor;Tibshirani, Rob
通讯作者：
Tibshirani, Rob
成本敏感的机器学习
DOI：
--
发表时间：
2011
期刊：
影响因子：
--
作者：
Balaji Krishnapuram;Shipeng Yu;R. B. Rao
通讯作者：
R. B. Rao