Few-Shot Self-Rationalization with Natural Language Prompts
Few-Shot Self-Rationalization with Natural Language Prompts
复制标题
使用自然语言提示进行少样本自我合理化
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Matthew E. Peters
中科院分区：
文献类型：
--
作者：
Ana Marasović;Iz Beltagy;Doug Downey;Matthew E. Peters
预测任务标签并为其预测生成自由文本阐述的自我合理化模型可以实现与NLP系统更直观的交互。然而，这些模型目前使用大量人类编写的自由文本解释来训练每个任务，这阻碍了它们更广泛的使用。我们建议研究一个更现实的设置，自我合理化使用几个训练的例子。我们提出了FEB -一个标准化的收集四个现有的英语语言数据集和相关的指标。我们确定了正确的提示方法，通过广泛探索自然语言提示FEB。然后，通过使用此提示和缩放模型的大小，我们证明，取得进展的少数镜头自我合理化是可能的。我们发现，在这项任务中仍然有很大的改进空间：由人类注释者评估的生成解释的平均可解释性最多为51%（使用GPT-3），而人类解释的可解释性为76%。我们希望FEB和我们建议的方法将激励社区接受很少的自我合理化挑战。
Self-rationalization models that predict task labels and generate free-text elaborations for their predictions could enable more intuitive interaction with NLP systems. These models are, however, currently trained with a large amount of human-written free-text explanations for each task which hinders their broader usage. We propose to study a more realistic setting of self-rationalization using few training examples. We present FEB -- a standardized collection of four existing English-language datasets and associated metrics. We identify the right prompting approach by extensively exploring natural language prompts on FEB. Then, by using this prompt and scaling the model size, we demonstrate that making progress on few-shot self-rationalization is possible. We show there is still ample room for improvement in this task: the average plausibility of generated explanations assessed by human annotators is at most 51% (with GPT-3), while plausibility of human explanations is 76%. We hope that FEB and our proposed approach will spur the community to take on the few-shot self-rationalization challenge.
登录
查看更多内容
DOI：
10.1162/tacl_a_00290
发表时间：
2019-01-01
影响因子：
10.9
作者：
Warstadt, Alex;Singh, Amanpreet;Bowman, Samuel R.
通讯作者：
Bowman, Samuel R.
DOI：
--
发表时间：
2022-01
期刊：
ArXiv
影响因子：
--
作者：
Jason Wei;Xuezhi Wang;Dale Schuurmans;Maarten Bosma;E. Chi;F. Xia;Quoc Le;Denny Zhou
通讯作者：
Jason Wei;Xuezhi Wang;Dale Schuurmans;Maarten Bosma;E. Chi;F. Xia;Quoc Le;Denny Zhou
影响因子：
--
作者：
Neema Kotonya;Francesca Toni
通讯作者：
Neema Kotonya;Francesca Toni
DOI：
10.18653/v1/2021.naacl-main.410
发表时间：
2021-04
期刊：
ArXiv
影响因子：
--
作者：
Guanghui Qin;J. Eisner
通讯作者：
Guanghui Qin;J. Eisner
DOI：
10.18653/v1/2020.emnlp-main.747
发表时间：
2020-10
期刊：
--
影响因子：
--
作者：
Samuel Carton;Anirudh Rathore;Chenhao Tan
通讯作者：
Samuel Carton;Anirudh Rathore;Chenhao Tan