Adversarial Training for Commonsense Inference
Adversarial Training for Commonsense Inference
复制标题
DOI：
10.18653/v1/2020.repl4nlp-1.8
复制
发表时间：
2020-05
期刊：
影响因子：
--
通讯作者：
L. Pereira;Xiaodong Liu;Fei Cheng;Masayuki Asahara;I. Kobayashi
中科院分区：
文献类型：
--
作者：
L. Pereira;Xiaodong Liu;Fei Cheng;Masayuki Asahara;I. Kobayashi
我们对词嵌入应用小扰动，并最小化由此产生的对抗风险，以正则化模型。我们利用两种不同方法的新组合来估计这些扰动：1）使用真实标签和2）使用模型预测。在不依赖于任何人工特征、知识库或目标数据集以外的其他数据集的情况下，我们的模型提高了RoBERTa的微调性能，在需要常识推理的多个阅读理解数据集上取得了有竞争力的结果。
We apply small perturbations to word embeddings and minimize the resultant adversarial risk to regularize the model. We exploit a novel combination of two different approaches to estimate these perturbations: 1) using the true label and 2) using the model prediction. Without relying on any human-crafted features, knowledge bases, or additional datasets other than the target datasets, our model boosts the fine-tuning performance of RoBERTa, achieving competitive results on multiple reading comprehension datasets that require commonsense inference.