Efficient Neural Architecture Search via Parameter Sharing
Efficient Neural Architecture Search via Parameter Sharing
复制标题
DOI：
--
复制
发表时间：
2018-02
期刊：
影响因子：
--
通讯作者：
Hieu Pham;M. Guan;Barret Zoph;Quoc V. Le;J. Dean
中科院分区：
文献类型：
--
作者：
Hieu Pham;M. Guan;Barret Zoph;Quoc V. Le;J. Dean
我们提出了高效神经结构搜索（ENAS），一种快速，廉价的自动模型设计方法。在ENAS中，控制器通过在大型计算图中搜索最优子图来学习发现神经网络架构。控制器使用策略梯度进行训练，以选择最大化验证集上的期望奖励的子图。同时，训练与所选子图对应的模型，以最小化典型交叉熵损失。由于子模型之间的参数共享，ENAS速度很快：它使用比所有现有自动模型设计方法少得多的GPU时间来提供强大的经验性能，特别是比标准神经架构搜索便宜1000倍。在Penn Treebank数据集上，ENAS发现了一种新的架构，其测试困惑度为55.8，在所有方法中建立了一种新的最先进的方法，而无需后训练处理。在CIFAR-10数据集上，ENAS设计了新的架构，其测试误差为2.89%，与NASNet相当（Zoph等人，2018年），其测试误差为2.65%。
We propose Efficient Neural Architecture Search (ENAS), a fast and inexpensive approach for automatic model design. In ENAS, a controller learns to discover neural network architectures by searching for an optimal subgraph within a large computational graph. The controller is trained with policy gradient to select a subgraph that maximizes the expected reward on the validation set. Meanwhile the model corresponding to the selected subgraph is trained to minimize a canonical cross entropy loss. Thanks to parameter sharing between child models, ENAS is fast: it delivers strong empirical performances using much fewer GPU-hours than all existing automatic model design approaches, and notably, 1000x less expensive than standard Neural Architecture Search. On the Penn Treebank dataset, ENAS discovers a novel architecture that achieves a test perplexity of 55.8, establishing a new state-of-the-art among all methods without post-training processing. On the CIFAR-10 dataset, ENAS designs novel architectures that achieve a test error of 2.89%, which is on par with NASNet (Zoph et al., 2018), whose test error is 2.65%.