LSTM recurrent networks learn simple context-free and context-sensitive languages
LSTM recurrent networks learn simple context-free and context-sensitive languages
复制标题
DOI：
10.1109/72.963769
复制
发表时间：
2001-11-01
影响因子：
--
通讯作者：
Schtmidhuber, J
中科院分区：
文献类型：
--
作者：
Gers, FA;Schtmidhuber, J
之前从示例性训练序列中学习常规语言的工作表明，长短期记忆 (LSTM) 的性能优于传统的循环神经网络 (RNN)。在这里，我们展示了 LSTM 在 RNN 的上下文无关语言 (CFL) 基准上的卓越性能，并表明它比以前的硬连线或高度专业化的架构甚至更好。据我们所知，LSTM 变体也是第一个学习简单上下文相关语言（CSL）的 RNN，即 a(n)b(n)c(n)。
Previous work on learning regular languages from exemplary training sequences showed that long short-term memory (LSTM) outperforms traditional recurrent neural networks (RNNs). Here we demonstrate LSTMs superior performance on context-free language (CFL) benchmarks for RNNs, and show that it works even better than previous hardwired or highly specialized architectures. To the best of our knowledge, LSTM variants are also the first RNNs to learn a simple context-sensitive language (CSL), namely a(n)b(n)c(n).