2017年12月15日
调参过程中的参数 学习率，权重衰减，冲量(learning_rate , weight_decay , momentum)
摘要： 无论是深度学习还是机器学习，大多情况下训练中都会遇到这几个参数，今天依据我自己的理解具体的总结一下，可能会存在错误，还请指正. learning_rate , weight_decay , momentum这三个参数的含义. 并附上demo. 我们会使用一个例子来说明一下： 比如我们有一堆数据，我们 阅读全文
posted @ 2017-12-15 11:18 龚细军 阅读(11558) 评论(1) 推荐(1) 编辑