A negation detection assessment of GPTs: analysis with the xNot360 dataset
A negation detection assessment of GPTs: analysis with the xNot360 dataset
复制标题
GPT 的否定检测评估：使用 xNot360 数据集进行分析
DOI：
10.48550/arxiv.2306.16638
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Ken Satoh
中科院分区：
文献类型：
--
作者：
Nguyen Ha Thanh;R. Goebel;Francesca Toni;Kostas Stathis;Ken Satoh
否定是自然语言的一个基本方面，在交流和理解中发挥着至关重要的作用。我们的研究评估了生成式预训练 Transformer (GPT) 模型的否定检测性能，特别是 GPT-2、GPT-3、GPT-3.5 和 GPT-4。我们专注于使用应用于我们的自定义 xNot360 数据集的零样本预测方法来识别自然语言中的否定。我们的方法检查标记的句子对，以指示第二个句子是否否定第一个句子。我们的研究结果揭示了 GPT 模型之间存在相当大的性能差异，GPT-4 超越了其对应模型，而 GPT-3.5 则表现出明显的性能下降。 GPT 模型在否定检测方面的整体熟练程度仍然相对较低，表明这项任务突破了其自然语言理解能力的界限。我们不仅强调 GPT 模型在处理否定方面的局限性，而且还强调逻辑可靠性在医疗保健、科学和法律等高风险领域的重要性。
Negation is a fundamental aspect of natural language, playing a critical role in communication and comprehension. Our study assesses the negation detection performance of Generative Pre-trained Transformer (GPT) models, specifically GPT-2, GPT-3, GPT-3.5, and GPT-4. We focus on the identification of negation in natural language using a zero-shot prediction approach applied to our custom xNot360 dataset. Our approach examines sentence pairs labeled to indicate whether the second sentence negates the first. Our findings expose a considerable performance disparity among the GPT models, with GPT-4 surpassing its counterparts and GPT-3.5 displaying a marked performance reduction. The overall proficiency of the GPT models in negation detection remains relatively modest, indicating that this task pushes the boundaries of their natural language understanding capabilities. We not only highlight the constraints of GPT models in handling negation but also emphasize the importance of logical reliability in high-stakes domains such as healthcare, science, and law.
DOI：
10.48550/arxiv.2203.08929
发表时间：
2022-03
期刊：
ArXiv
影响因子：
--
作者：
Md Mosharaf Hossain;Dhivya Chinnappa;Eduardo Blanco
通讯作者：
Md Mosharaf Hossain;Dhivya Chinnappa;Eduardo Blanco