PID optimizer

如何评价PID optimizer？

论文链接：
作者github：
论文中只跟Momentum作了比较，没有跟其他优化器做过比较。不知道有没有大佬试过？

 

作者：知乎用户
链接：https://www.zhihu.com/question/322746326/answer/671758212
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

我觉得这篇文章相比于算法PID本身，他在自动控制和深度学习之间建立起的connection更有意思一点。

在控制理论中建立起的对应：

Error \leftrightarrow Update \\ Controller \leftrightarrow Optimizer\\ Feedback \leftrightarrow Backpropagation

虽然他没有严格理论证明，不过从直观上来看，还是挺make sense的。这样就说明，我们可以大胆地吧自动控制里面的公式拿进来疯狂水文章了hh

就算法本身来讲，个人认为他的新算法是不是真的比旧有的算法好还是有待商榷的。

他在本文中建立起了一个挺大的筐，等式右边第一项是proportional (P)，第二项integral (I)和第三项derivative (D)：

u(t)=K_{p} e(t)+K_{i} \int_{0}^{t} e(t) d t+K_{d} \frac{d}{d t} e(t)

并且说明旧有的算法（SGD、Momentum、Nesterov0s Momentum）都是可以被这个框架含括的。看起来很美好。

但是，您测试的时候，敢不敢稍微认真点啊！能不能别专挑弱鸡打啊！

  1. 数据集：MNIST、CIFAR10、Tiny-ImageNet，这都是演示用的数据集吧，是男人就上ImageNet和coco！
  2. 优化器：前人已经搞出不少专门针对SGD和momentum优化的优化器了，比如AdaGrad、RMSProp和Adam，你为什么不跟他们比呢？这不是有欺负老头老太太的嫌疑么？
  3. 引用文献：虽然这个颇有鸡蛋里面挑骨头的意味，但是都9102年了，您的论文引用连一篇2018年的文章都没有。对于像深度学习这样比较火，比较讲究前沿的学科，不太合适吧？
posted @ 2019-05-08 17:19  Django's blog  阅读(418)  评论(0)  编辑  收藏  举报