DARTS论文笔记
Differentiable Architecture Search
Abstract：
将离散域的结构搜索问题转化为连续域的搜索问题，将计算速度提升了几个量级。
Contribution:
- 提出了一种基于双层优化的可微网络结构搜索算法，该算法适用于卷积和递归结构。
DARTS流程：(a)边上的操作最初是未知的。(b)通过在每条边上混合放置候选操作来松弛搜索空间。(c)通过求解双层优化问题来联合优化混合概率和网络权重。(d)从学习到的混合概率中得到最终的网络结构。
- 效果很好，PTB上达到了SOTA
-
将 NAS 的搜索时间降到 GPU*day 的级别
-
在 CIFAR、PTB 上搜索到的网络架构可以移植到其它数据集。
