Cold-start and Interpretability: Turning Regular Expressions into Trainable Recurrent Neural Networks
Cold-start and Interpretability: Turning Regular Expressions into Trainable Recurrent Neural Networks
复制标题
冷启动和可解释性：将正则表达式转变为可训练的循环神经网络
DOI：
10.18653/v1/2020.emnlp-main.258
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Kewei Tu
中科院分区：
文献类型：
--
作者：
Chengyue Jiang;Yinggong Zhao;Shanbo Chu;Libin Shen;Kewei Tu
神经网络可以在许多自然语言处理应用中实现令人印象深刻的性能，但它们通常需要大量标记数据进行训练，并且不容易解释。另一方面，符号规则（如正则表达式）是可解释的，不需要训练，并且通常可以达到相当的准确性;但是规则无法从可用的标记数据中受益，因此在资源丰富的场景中表现不佳。在本文中，我们提出了一种称为FA-RNNs的递归神经网络，它联合收割机结合了神经网络和正则表达式规则的优点。FA-RNN可以从正则表达式转换，并部署在零触发和冷启动场景中。它还可以利用标记数据进行训练，以提高预测精度。在训练之后，FA-RNN通常保持可解释性，并且可以转换回正则表达式。我们将FA-RNNs应用于文本分类，并观察到FA-RNNs在零触发和低资源设置中的性能显着优于以前的神经方法，并且在丰富资源设置中仍然非常有竞争力。
Neural networks can achieve impressive performance on many natural language processing applications, but they typically need large labeled data for training and are not easily interpretable. On the other hand, symbolic rules such as regular expressions are interpretable, require no training, and often achieve decent accuracy; but rules cannot benefit from labeled data when available and hence underperform neural networks in rich-resource scenarios. In this paper, we propose a type of recurrent neural networks called FA-RNNs that combine the advantages of neural networks and regular expression rules. An FA-RNN can be converted from regular expressions and deployed in zero-shot and cold-start scenarios. It can also utilize labeled data for training to achieve improved prediction accuracy. After training, an FA-RNN often remains interpretable and can be converted back into regular expressions. We apply FA-RNNs to text classification and observe that FA-RNNs significantly outperform previous neural approaches in both zero-shot and low-resource settings and remain very competitive in rich-resource settings.
登录
查看更多内容
神经有限状态传感器：超越理性关系
DOI：
10.18653/v1/n19-1024
发表时间：
2019
期刊：
Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT
影响因子：
--
作者：
Lin, Chu-Cheng;Zhu, Hao;Gormley, Matthew R.;Eisner, Jason
通讯作者：
Eisner, Jason
模拟复发性心律失常。
影响因子：
2.7
作者：
Pritchett,EL;Wilkinson,WE
通讯作者：
Wilkinson,WE
DOI：
--
发表时间：
2017-11
期刊：
--
影响因子：
--
作者：
Jingyi Xu;Zilu Zhang;Tal Friedman;Yitao Liang;Guy Van den Broeck
通讯作者：
Jingyi Xu;Zilu Zhang;Tal Friedman;Yitao Liang;Guy Van den Broeck
DOI：
10.18653/v1/2020.acl-main.752
发表时间：
2020-04
期刊：
--
影响因子：
--
作者：
Bill Yuchen Lin;Dong-Ho Lee;Minghan Shen;Ryan Rene Moreno;Xiao Huang;Prashant Shiralkar;Xiang Ren
通讯作者：
Bill Yuchen Lin;Dong-Ho Lee;Minghan Shen;Ryan Rene Moreno;Xiao Huang;Prashant Shiralkar;Xiang Ren