Pre-training phenotyping classifiers.
Pre-training phenotyping classifiers.
复制标题
训练前表型分类器。
DOI：
10.1016/j.jbi.2020.103626
复制
发表时间：
2021-01
影响因子：
4.5
通讯作者：
Miller T
中科院分区：
文献类型：
--
作者：
Dligach D;Afshar M;Miller T
最近基于transformer的预训练语言模型已经成为许多文本分类任务的事实标准。然而，由于输入的最大长度的限制，它们在临床领域中的效用仍然是不确定的，在临床领域中，分类通常是在遇到或患者水平上进行的。在这项工作中，我们引入了一种自我监督的预训练方法，该方法依赖于一个掩码的令牌目标，并且不受最大输入长度的限制。我们将所提出的方法与使用计费代码作为监督源的监督预训练进行比较。我们使用标准评估指标（如ROC曲线下面积和F1评分）在一个公开可用的数据集和三个内部数据集上评估所提出的方法。我们发现，令人惊讶的是，即使自我监督的预训练比监督的表现略差，它仍然保留了预训练的大部分收益。
Recent transformer-based pre-trained language models have become a de facto standard for many text classification tasks. Nevertheless, their utility in the clinical domain, where classification is often performed at encounter or patient level, is still uncertain due to the limitation on the maximum length of input. In this work, we introduce a self-supervised method for pre-training that relies on a masked token objective and is free from the limitation on the maximum input length. We compare the proposed method with supervised pre-training that uses billing codes as a source of supervision. We evaluate the proposed method on one publicly-available and three in-house datasets using the standard evaluation metrics such as the area under the ROC curve and F1 score. We find that, surprisingly, even though self-supervised pre-training performs slightly worse than supervised, it still preserves most of the gains from pre-training.
登录
查看更多内容
DOI：
10.1136/amiajnl-2013-001935
发表时间：
2014-03
期刊：
Journal of the American Medical Informatics Association : JAMIA
影响因子：
--
作者：
Shivade C;Raghavan P;Fosler-Lussier E;Embi PJ;Elhadad N;Johnson SB;Lai AM
通讯作者：
Lai AM
DOI：
10.1136/jamia.2009.001560
发表时间：
2010-09-01
影响因子：
6.4
作者：
Savova, Guergana K.;Masanz, James J.;Chute, Christopher G.
通讯作者：
Chute, Christopher G.
影响因子：
4.5
作者：
Sushil, Madhumita;Suster, Simon;Daelemans, Walter
通讯作者：
Daelemans, Walter
影响因子：
9.8
作者：
Johnson AE;Pollard TJ;Shen L;Lehman LW;Feng M;Ghassemi M;Moody B;Szolovits P;Celi LA;Mark RG
通讯作者：
Mark RG
DOI：
10.1197/jamia.m3120
发表时间：
2009-07-01
影响因子：
6.4
作者：
Azzam, Helen C.;Khalsa, Satjeet S.;Fuchs, Barry D.
通讯作者：
Fuchs, Barry D.