MSVEC: A Multidomain Testing Dataset for Scientific Claim Verification
MSVEC: A Multidomain Testing Dataset for Scientific Claim Verification
复制标题
MSVEC：用于科学声明验证的多域测试数据集
DOI：
10.1145/3565287.3617630
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Wu, Jian
中科院分区：
文献类型：
--
作者：
Evans, Michael;Soós, Dominik;Landers, Ethan;Wu, Jian
各种领域的科学新闻中虚假信息的增加迫切需要一种稳健和可推广的方法来实现自动科学主张核实(SCV)。现有的SCV方法在领域适应性或可伸缩性方面都受到限制。为了便于建立和评估更稳健的SCV模型，我们提出了MSVEC，这是一个包含200对经过验证的科学新闻声明和证据研究论文的多域数据集。为了了解大型语言模型在SCV任务中的能力，我们评估了GPT-3.5与MSVEC的对比。虽然存在针对特定领域(例如，政治和卫生)的事实核查方法，但使用大型语言模型在多个领域表现出更好的普适性，并有可能与基于单词嵌入的最新模型进行比较。为该项目使用和开发的数据和软件可在https://github.com/lamps-lab/msvec.上获得
The increase of disinformation in scientific news across a variety of domains has generated an urgency for a robust and generalizable approach to automated scientific claim verification (SCV). Available methods of SCV are limited in either domain adaptability or scalability. To facilitate building and evaluating more robust models on SCV we propose MSVEC, a multidomain dataset containing 200 pairs of verified scientific news claims with evidence research papers. To understand the capability of large language models on the SCV task, we evaluated GPT-3.5 against MSVEC. While methods of fact-checking exist for specific domains (e.g., political and health), the use of large language models exhibits better generalizability across multiple domains and is potentially compared with state-of-the-art models based on word embeddings. The data and software used and developed for this project are available at https://github.com/lamps-lab/msvec.
COVID-Fact：关于 COVID-19 大流行的现实世界声明的事实提取和验证
DOI：
--
发表时间：
2021
期刊：
Annual Meeting of the Association for Computational Linguistics
影响因子：
--
作者：
Arkadiy Saakyan;Tuhin Chakrabarty;S. Muresan
通讯作者：
S. Muresan
DOI：
10.18653/v1/2020.emnlp-main.609
发表时间：
2020-04
期刊：
--
影响因子：
--
作者：
David Wadden;Kyle Lo;Lucy Lu Wang;Shanchuan Lin;Madeleine van Zuylen;Arman Cohan;Hannaneh Hajishirzi
通讯作者：
David Wadden;Kyle Lo;Lucy Lu Wang;Shanchuan Lin;Madeleine van Zuylen;Arman Cohan;Hannaneh Hajishirzi
对健康相关声明进行基于证据的事实核查
DOI：
10.18653/v1/2021.findings-emnlp.297
发表时间：
2021
期刊：
ArXiv
影响因子：
--
作者：
Mourad Sarrouti;Asma Ben Abacha;Yassine Mrabet;Dina Demner
通讯作者：
Dina Demner