He Thinks He Knows Better than the Doctors: BERT for Event Factuality Fails on Pragmatics
He Thinks He Knows Better than the Doctors: BERT for Event Factuality Fails on Pragmatics
复制标题
他认为他比医生更了解：事件事实性的 BERT 在语用学上失败
DOI：
10.1162/tacl_a_00414
复制
发表时间：
2021
影响因子：
10.9
通讯作者：
de Marneffe, Marie-Catherine
中科院分区：
文献类型：
--
作者：
Jiang, Nanjiang;de Marneffe, Marie-Catherine
我们调查了BERT在几个现有的英语数据集中预测真实性方面的表现，这些数据包括各种语言结构。尽管ERT在大多数数据集上取得了很好的性能，但它是通过利用与某些真实性标签相关的公共表面模式来做到这一点的，并且在需要语用推理的情况下失败了。与高性能所表明的相反，我们仍然远未拥有一个强大的真实性预测系统。
We investigate how well BERT performs on predicting factuality in several existing English datasets, encompassing various linguistic constructions. Although BERT obtains a strong performance on most datasets, it does so by exploiting common surface patterns that correlate with certain factuality labels, and it fails on instances where pragmatic reasoning is necessary. Contrary to what the high performance suggests, we are still far from having a robust system for factuality prediction.
登录
查看更多内容
DOI：
10.18653/v1/w18-2501
发表时间：
2018-03
期刊：
ArXiv
影响因子：
--
作者：
Matt Gardner;Joel Grus;Mark Neumann;Oyvind Tafjord;Pradeep Dasigi;Nelson F. Liu;Matthew E. Peters
通讯作者：
Matt Gardner;Joel Grus;Mark Neumann;Oyvind Tafjord;Pradeep Dasigi;Nelson F. Liu;Matthew E. Peters
关于事实的一些观察
影响因子：
2.7
作者：
L. Karttunen
通讯作者：
L. Karttunen
3：您是否注意到肚脐绒毛的颜色与衣服的颜色有关？
影响因子：
1.3
作者：
David Beaver
通讯作者：
David Beaver
DOI：
10.18653/v1/n18-1067
发表时间：
2018-04
期刊：
ArXiv
影响因子：
--
作者：
Rachel Rudinger;Aaron Steven White;Benjamin Van Durme
通讯作者：
Rachel Rudinger;Aaron Steven White;Benjamin Van Durme
DOI：
10.7275/f7yj-1n62
发表时间：
2020
期刊：
--
影响因子：
--
作者：
R. Chaves
通讯作者：
R. Chaves