A Qualitative Evaluation Framework for Paraphrase Identification
A Qualitative Evaluation Framework for Paraphrase Identification
复制标题
释义识别的定性评估框架
DOI：
10.26615/978-954-452-056-4_067
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Javier Beltrán
中科院分区：
文献类型：
--
作者：
Venelin Kovatchev;M. A. Martí;Maria Salamó;Javier Beltrán
在本文中，我们提出了一种新的方法来评估、错误分析和解释有监督和无监督释义识别(PI)系统。我们的评估框架利用一个标注了语言现象的PI语料库来更好地理解和解释各种PI系统的性能。我们的方法允许使用人类可解释的类别对PI模型进行定性评估和比较。它不需要修改系统的培训目标，也不会给开发人员带来额外的负担。我们复制了几个流行的监督和非监督PI系统。使用我们的评估框架，我们表明：1)每个系统对一组语言现象的表现不同，并犯下定性不同的错误；2)在所有系统中，某些语言现象比其他语言现象更具挑战性。
In this paper, we present a new approach for the evaluation, error analysis, and interpretation of supervised and unsupervised Paraphrase Identification (PI) systems. Our evaluation framework makes use of a PI corpus annotated with linguistic phenomena to provide a better understanding and interpretation of the performance of various PI systems. Our approach allows for a qualitative evaluation and comparison of the PI models using human interpretable categories. It does not require modification of the training objective of the systems and does not place additional burden on the developers. We replicate several popular supervised and unsupervised PI systems. Using our evaluation framework we show that: 1) Each system performs differently with respect to a set of linguistic phenomena and makes qualitatively different kinds of errors; 2) Some linguistic phenomena are more challenging than others across all systems.
DOI：
--
发表时间：
2018-06
期刊：
ArXiv
影响因子：
--
作者：
Wuwei Lan;Wei Xu
通讯作者：
Wuwei Lan;Wei Xu