随笔- 54
文章- 0
评论- 1
阅读-
16787
随笔分类 - NN_learning
余弦退火
摘要：1. 学习率调整 https://www.cnblogs.com/kailugaji/p/11230474.html function lr = fcn(t,Lr_max,Lr_min,decay_steps) n=floor(t/decay_steps); cosine_decay = 0.5 *
阅读全文
深度学习中Epoch、Batch以及Batch size
摘要：Batch gradient descent，批梯度下降 第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。 这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习. 随机梯度下降，stochastic gradient desce
阅读全文
学习率调整CLR
摘要：三种 Cyclical Learning Rate (CLR) 周期性学习率遵从从小到大再从大到小，然后又是从小到大再从大到小，如此这般循环下去。 1个Cycle定义为从小到大再从大到小的变化。1个Cycle由两个step_size组成，见下图1： 对于CLR，需要设定一个最大的学习率(max_lr
阅读全文
机器学习与深度学习
摘要：深度学习在本质上属于可统计不可推理的统计机器学习范畴。很多时候呈现出来的就是一个黑箱（Black Box）系统，其性能很好，却不知道为何而好，缺乏解释性。深度学习中的“end-to-end（端到端）：输入的是原始数据（始端），然后输出的直接就是最终目标（末端），中间过程不可知。 深度学习的学习对象同
阅读全文
