2017年2月6日

CNN4 参数优化

摘要： 之前在Caffe学习 一 网络参数和自定义网络包含一些参数的设置项。 momentum是梯度下降法中一种常用的加速技术。对于一般的SGD，其表达式为 w沿负梯度方向下降。 而带momentum项的SGD则写生如下形式： 即如果上次的v与这次的负梯度方向相同，那本次下降的幅度就会加大，以达加速收敛。 阅读全文

posted @ 2017-02-06 20:08 1357 阅读(383) 评论(0) 推荐(0) 编辑

导航