RoS-KD: A Robust Stochastic Knowledge Distillation Approach for Noisy Medical Imaging
RoS-KD: A Robust Stochastic Knowledge Distillation Approach for Noisy Medical Imaging
复制标题
RoS-KD：一种用于噪声医学成像的鲁棒随机知识蒸馏方法
DOI：
10.1109/icdm54844.2022.00118
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Ding, Ying
中科院分区：
文献类型：
--
作者：
Jaiswal, Ajay;Ashutosh, Kumar;Rousseau, Justin F.;Peng, Yifan;Wang, Zhangyang;Ding, Ying
人工智能驱动的医学成像最近因其提供快节奏医疗诊断的能力而受到极大关注。然而，由于高注释成本，观察者间的差异性，人工注释错误和计算机生成的标签错误，它通常缺乏高质量的数据集。在带噪声的标记数据集上训练的深度学习模型对噪声类型敏感，并且导致对未见过的样本的泛化能力较低。为了应对这一挑战，我们提出了一个鲁棒随机知识蒸馏（RoS-KD）框架，该框架模仿了从多个来源学习主题的概念，以确保在学习噪声信息时的威慑力。更具体地说，RoS-KD通过从在训练数据的重叠子集上训练的多个教师中提取知识来学习平滑、消息灵通和强大的学生流形。我们使用真实世界的数据集对流行的医学成像分类任务（心肺疾病和病变分类）进行了广泛的实验，显示了RoS-KD的性能优势，它能够在相对较小的网络中从许多流行的大型网络（ResNet-50，DenseNet-121，MobileNetV 2）中提取知识，以及它对对抗性攻击（PGD，FSGM）的鲁棒性。更具体地说，当基础学生是ResNet-18时，RoS-KD针对病变分类和心肺疾病分类任务分别实现了>2%和> 4%的F1分数改善，而不是最近的竞争性知识蒸馏基线。此外，在心肺疾病分类任务中，RoS-KD的AUC评分增加约1%，优于大多数SOTA基线。
AI-powered Medical Imaging has recently achieved enormous attention due to its ability to provide fast-paced healthcare diagnoses. However, it usually suffers from a lack of high-quality datasets due to high annotation cost, interobserver variability, human annotator error, and errors in computer-generated labels. Deep learning models trained on noisy labelled datasets are sensitive to the noise type and lead to less generalization on the unseen samples. To address this challenge, we propose a Robust Stochastic Knowledge Distillation (RoS-KD) framework which mimics the notion of learning a topic from multiple sources to ensure deterrence in learning noisy information. More specifically, RoS-KD learns a smooth, well-informed, and robust student manifold by distilling knowledge from multiple teachers trained on overlapping subsets of training data. Our extensive experiments on popular medical imaging classification tasks (cardiopulmonary disease and lesion classification) using real-world datasets, show the performance benefit of RoS-KD, its ability to distill knowledge from many popular large networks (ResNet-50, DenseNet-121, MobileNetV2) in a comparatively small network, and its robustness to adversarial attacks (PGD, FSGM). More specifically, RoS-KD achieves >2% and > 4% improvement on F1-score for lesion classification and cardiopulmonary disease classification tasks, respectively, when the underlying student is ResNet-18 against recent competitive knowledge distillation baseline. Additionally, on cardiopulmonary disease classification task, RoS-KD outperforms most of the SOTA baselines by ~1% gain in AUC score.
登录
查看更多内容
RadBERT-CL：放射学报告分类的事实感知对比学习。
DOI：
--
发表时间：
2021
期刊：
Proceedings of machine learning research
影响因子：
--
作者：
Jaiswal,Ajay;Tang,Liyan;Ghosh,Meheli;Rousseau,JustinF;Peng,Yifan;Ding,Ying
通讯作者：
Ding,Ying
使用放射组学作为胸部 X 光检查中胸部疾病分类和定位的先验知识
DOI：
--
发表时间：
2020
期刊：
American Medical Informatics Association Annual Symposium
影响因子：
--
作者：
Yan Han;Chongyan Chen;Liyan Tang;Mingquan Lin;Ajay Jaiswal;Song Wang;A. Tewfik;G. Shih;Ying Ding;Yifan Peng
通讯作者：
Yifan Peng
DOI：
10.48550/arxiv.2206.12755
发表时间：
2022-06
期刊：
--
影响因子：
--
作者：
Ajay Jaiswal;Haoyu Ma;Tianlong Chen;Ying Ding;Zhangyang Wang
通讯作者：
Ajay Jaiswal;Haoyu Ma;Tianlong Chen;Ying Ding;Zhangyang Wang
利用深度学习和海运物流大数据预测航运市场状况的研究
DOI：
--
发表时间：
2019
期刊：
影响因子：
--
作者：
和田 祐次郎;河原 大輝;濱田 邦裕
通讯作者：
濱田 邦裕