High-Dimensional Multi-Task Learning using Multivariate Regression and Generalized Fiducial Inference
High-Dimensional Multi-Task Learning using Multivariate Regression and Generalized Fiducial Inference
复制标题
使用多元回归和广义基准推理的高维多任务学习
DOI：
10.1080/10618600.2022.2090946
复制
发表时间：
2023
影响因子：
2.4
通讯作者：
Lee, Thomas C.
中科院分区：
文献类型：
--
作者：
Wei, Zhenyu;Lee, Thomas C.
在过去的几十年里，多任务学习（MTL）问题引起了人工智能和机器学习领域的广泛关注。然而，在这一领域发表的大多数工作都集中在点估计上；也就是说，估计模型参数和/或做出预测。本文研究了MTL问题的另一个重要方面：模型选择和预测的不确定性量化。更具体地说，本文用多元回归方法来研究MTL问题，并提出了一种在所有潜在回归模型的空间上推导概率密度函数的新方法。有了这个密度函数，点估计，以及置信度和预测椭球，可以获得感兴趣的量，如未来的观测。所提出的方法，称为GMTask，是基于广义基准推理（GFI）框架，并被证明具有理想的理论性质。通过一系列数值实验和在两个实际数据集上的应用，说明了它有希望的经验性质。本文的补充材料可在网上获得。
Over the past decades, the Multi-Task Learning (MTL) problem has attracted much attention in the artificial intelligence and machine learning communities. However, most published work in this area focuses on point estimation; that is, estimating model parameters and/or making predictions. This article studies another important aspect of the MTL problem: uncertainty quantification for model choices and predictions. To be more specific, this article approaches the MTL problem with multivariate regression and develops a novel method for deriving a probability density function on the space of all potential regression models. With this density function, point estimates, as well as confidence and prediction ellipsoids, can be obtained for quantities of interest, such as future observations. The proposed method, termed GMTask, is based on the generalized fiducial inference (GFI) framework and is shown to enjoy desirable theoretical properties. Its promising empirical properties are illustrated via a sequence of numerical experiments and applications to two real datasets. Supplementary materials for this article are available online.
登录
查看更多内容
DOI：
10.1214/18-aos1733
发表时间：
2017-02
期刊：
The Annals of Statistics
影响因子：
--
作者：
Jonathan P. Williams;Jan Hannig
通讯作者：
Jonathan P. Williams;Jan Hannig
影响因子：
5.8
作者：
Friedman, Jerome;Hastie, Trevor;Tibshirani, Rob
通讯作者：
Tibshirani, Rob
DOI：
--
发表时间：
2010
期刊：
影响因子：
--
作者：
K. Triantafyllopoulos
通讯作者：
K. Triantafyllopoulos
用于向量自回归模型中图形选择一致性的 EAS 方法
DOI：
10.1002/cjs.11726
发表时间：
2023
期刊：
Canadian Journal of Statistics
影响因子：
--
作者：
Williams, Jonathan P.;Xie, Yuying;Hannig, Jan
通讯作者：
Hannig, Jan