NAS研究要点分析
第一篇NAS：NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING[ICLR'17]
搜索每层的filter数量、filter的高和宽，以及卷积的步长。
采用强化学习的方法，RNN作为controller，用策略梯度(policy gradient)最大化controller采样网络的期望reward,这个reward就是validation accuracy。
Cifar数据集上800块gpu跑了近一个月。
第二篇NAS:Learning Transferable Architectures for Scalable Image Recognition[CVPR'18]
不再搜索整个网络结构，搜索cell结构，然后将cell堆叠起来。
仍然采用强化学习的方式。
第三篇NAS:Regularized Evolution for Image Classifier Architecture Search[AAAI'19]
搜索空间同第二篇，但是优化方法改变为regularized evolution，进化算法。
第四篇NAS:Efficient Neural Architecture Search via Parameter Sharing[ICML'18]
通过weight sharing加速validation。
将NAS的采样过程变成在一个DAG里面采样子图的过程，采样到的子图里面的操作(卷积等)是参数共享的。
第五篇NAS:DARTS: Differentiable Architecture Search[ICLR'19]
也是cell堆叠，但是转换为连续空间的优化问题。
第六篇NAS:EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[ICML'19]
适合落地应用，有很强的人工设计色彩。
放大MobileNet，但是如何放大该网络是优化出来的。
第七篇NAS:ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware[ICLR'19]
目标函数上加入硬件latency的损失项.
