Quantitative interpretation explains machine learning models for chemical reaction prediction and uncovers bias.
Quantitative interpretation explains machine learning models for chemical reaction prediction and uncovers bias.
复制标题
DOI：
10.1038/s41467-021-21895-w
复制
发表时间：
2021-03-16
影响因子：
16.6
通讯作者：
Lee AA
中科院分区：
文献类型：
--
作者：
Kovács DP;McCorkindale W;Lee AA
有机合成仍然是药物发现的主要挑战。尽管文献中已经提出了大量的机器学习模型作为解决方案，但它们都是不透明的黑匣子。既不清楚模型是否做出了正确的预测，因为它们推断了显着的化学反应，也不清楚它们依赖哪些训练数据来达到预测。这种不透明性阻碍了模型开发人员和用户。在本文中，我们定量解释了分子变压器，这是最先进的反应预测模型。我们开发了一个框架，将预测的反应结果归因于反应物的特定部分以及训练集中的反应。此外，我们演示了如何检索预测反应结果的证据，并通过仔细检查数据来理解违反直觉的预测。此外，我们还发现了聪明的汉斯预测，其中由于数据集偏差而导致错误的原因而达到了正确的预测。我们提出了一个新的去偏数据集，它可以对模型性能进行更真实的评估，我们建议将其作为比较反应预测模型的新标准基准。机器学习算法为自动化反应程序提供了新的可能性。本文研究了使用 Molecular Transformer（最先进的反应预测模型）进行的自动反应预测，提出了一个新的去偏数据集，用于对模型性能进行实际评估。
Organic synthesis remains a major challenge in drug discovery. Although a plethora of machine learning models have been proposed as solutions in the literature, they suffer from being opaque black-boxes. It is neither clear if the models are making correct predictions because they inferred the salient chemistry, nor is it clear which training data they are relying on to reach a prediction. This opaqueness hinders both model developers and users. In this paper, we quantitatively interpret the Molecular Transformer, the state-of-the-art model for reaction prediction. We develop a framework to attribute predicted reaction outcomes both to specific parts of reactants, and to reactions in the training set. Furthermore, we demonstrate how to retrieve evidence for predicted reaction outcomes, and understand counterintuitive predictions by scrutinising the data. Additionally, we identify Clever Hans predictions where the correct prediction is reached for the wrong reason due to dataset bias. We present a new debiased dataset that provides a more realistic assessment of model performance, which we propose as the new standard benchmark for comparing reaction prediction models. Machine learning algorithms offer new possibilities for automating reaction procedures. The present paper investigates automated reaction’s prediction with Molecular Transformer, the state-of-the-art model for reaction prediction, proposing a new debiased dataset for a realistic assessment of the model’s performance.
登录
查看更多内容
影响因子：
8.4
作者：
Mayr A;Klambauer G;Unterthiner T;Steijaert M;Wegner JK;Ceulemans H;Clevert DA;Hochreiter S
通讯作者：
Hochreiter S
DOI：
10.1073/pnas.1820657116
发表时间：
2019-06-11
影响因子：
11.1
作者：
McCloskey, Kevin;Taly, Ankur;Colwell, Lucy J.
通讯作者：
Colwell, Lucy J.
影响因子：
8.4
作者：
Allen TEH;Wedlake AJ;Gelžinytė E;Gong C;Goodman JM;Gutsell S;Russell PJ
通讯作者：
Russell PJ
用机器学习的反应表示和直播量子机械描述符的区域选择性预测。
影响因子：
8.4
作者：
Guan Y;Coley CW;Wu H;Ranasinghe D;Heid E;Struble TJ;Pattanaik L;Green WH;Jensen KF
通讯作者：
Jensen KF
影响因子：
8.6
作者：
Bajusz D;Rácz A;Héberger K
通讯作者：
Héberger K