Evaluating the Morphosyntactic Well-formedness of Generated Texts
Evaluating the Morphosyntactic Well-formedness of Generated Texts
复制标题
DOI：
10.18653/v1/2021.emnlp-main.570
复制
发表时间：
2021-03
期刊：
影响因子：
--
通讯作者：
Adithya Pratapa;Antonios Anastasopoulos;Shruti Rijhwani;Aditi Chaudhary;David R. Mortensen;Graham Neubig;Yulia Tsvetkov
中科院分区：
文献类型：
--
作者：
Adithya Pratapa;Antonios Anastasopoulos;Shruti Rijhwani;Aditi Chaudhary;David R. Mortensen;Graham Neubig;Yulia Tsvetkov
文本生成系统在自然语言处理应用中无处不在。然而，对这些系统的评估仍然是一个挑战，特别是在多语言环境中。在本文中，我们提出了 L’AMBRE——一种使用语言的依存解析和形态句法规则来评估文本的形态句法良好性的度量。我们提出了一种直接从依赖树库中自动提取管理形态语法的各种规则的方法。为了解决文本生成系统的噪声输出，我们提出了一种简单的方法来训练强大的解析器。我们通过对翻译成形态丰富的语言的系统的历时研究，展示了我们的指标在机器翻译任务上的有效性。
Text generation systems are ubiquitous in natural language processing applications. However, evaluation of these systems remains a challenge, especially in multilingual settings. In this paper, we propose L’AMBRE – a metric to evaluate the morphosyntactic well-formedness of text using its dependency parse and morphosyntactic rules of the language. We present a way to automatically extract various rules governing morphosyntax directly from dependency treebanks. To tackle the noisy outputs from text generation systems, we propose a simple methodology to train robust parsers. We show the effectiveness of our metric on the task of machine translation through a diachronic study of systems translating into morphologically-rich languages.