Tackling Ordinal Regression Problem for Heterogeneous Data: Sparse and Deep Multi-Task Learning Approaches.
Tackling Ordinal Regression Problem for Heterogeneous Data: Sparse and Deep Multi-Task Learning Approaches.
复制标题
DOI：
10.1007/s10618-021-00746-8
复制
发表时间：
2021-05
影响因子：
4.8
通讯作者：
Zhu D
中科院分区：
文献类型：
--
作者：
Wang L;Zhu D
许多真实世界的数据集都是用自然顺序标记的，即，序数标签有序回归是一种预测有序标签的方法，在自然科学、健康科学和社会科学等数据丰富的领域有着广泛的应用。大多数现有的有序回归方法通过制定一个单一的有序回归任务，对独立同分布（IID）的情况下工作得很好。然而，对于具有明确定义的局部几何结构的异构非IID实例，例如，多任务学习（MTL）提供了一个有前途的框架来编码任务（子组）相关性，桥接所有任务的数据，并同时学习多个相关任务，以提高泛化性能。尽管MTL方法已被广泛研究，几乎没有现有的工作研究MTL的异构数据与有序标签。我们通过稀疏和深度多任务方法来解决这个重要问题。具体来说，我们为较小的数据集开发了一个正则化的多任务有序回归（MTOR）模型，并为大规模数据集开发了一个基于深度神经网络的MTOR模型。我们使用三个真实世界的医疗数据集评估性能，并将其应用于多阶段疾病进展诊断。实验结果表明，与单任务有序回归模型相比，所提出的MTOR模型显著提高了预测性能。
Many real-world datasets are labeled with natural orders, i.e., ordinal labels. Ordinal regression is a method to predict ordinal labels that finds a wide range of applications in data-rich domains, such as natural, health and social sciences. Most existing ordinal regression approaches work well for independent and identically distributed (IID) instances via formulating a single ordinal regression task. However, for heterogeneous non-IID instances with well-defined local geometric structures, e.g., subpopulation groups, multi-task learning (MTL) provides a promising framework to encode task (subgroup) relatedness, bridge data from all tasks, and simultaneously learn multiple related tasks in efforts to improve generalization performance. Even though MTL methods have been extensively studied, there is barely existing work investigating MTL for heterogeneous data with ordinal labels. We tackle this important problem via sparse and deep multi-task approaches. Specifically, we develop a regularized multi-task ordinal regression (MTOR) model for smaller datasets and a deep neural networks based MTOR model for large-scale datasets. We evaluate the performance using three real-world healthcare datasets with applications to multi-stage disease progression diagnosis. Our experiments indicate that the proposed MTOR models markedly improve the prediction performance comparing with single-task ordinal regression models.
登录
查看更多内容
影响因子：
14
作者：
Brookmeyer, Ron;Johnson, Elizabeth;Arrighi, H. Michael
通讯作者：
Arrighi, H. Michael
DOI：
10.1109/tkde.2015.2457911
发表时间：
2016-01-01
影响因子：
8.9
作者：
Antonio Gutierrez, Pedro;Perez-Ortiz, Maria;Hervas-Martinez, Cesar
通讯作者：
Hervas-Martinez, Cesar
DOI：
10.1109/tnnls.2014.2342533
发表时间：
2015-07-01
影响因子：
10.4
作者：
Gu, Bin;Sheng, Victor S.;Li, Shuo
通讯作者：
Li, Shuo
影响因子：
4.8
作者：
Henriques, Rui;Madeira, Sara C.;Antunes, Claudia
通讯作者：
Antunes, Claudia
影响因子：
4.8
作者：
Domingo-Ferrer, J;Torra, V
通讯作者：
Torra, V