摘要:
学习率设置原则(在这主要以迁移学习为主): 由于模型已经在原始数据上收敛,所以应该设置较小学习率,在新数据上微调。若非迁移学习则先将学习率设置在0.01~0.001为宜,一定轮数之后再逐渐减缓,接近训练结束学习率的衰减应在100倍以上。 目标函数损失值 曲线(理想状态应该为绿色滑梯式下降曲线): 曲 阅读全文
摘要:
batch size大小选取原则: CPU是非常讨厌16,32,64…… 这样大小的(2^*)数组的;(具体原因网上好像有说明,但没太细看:Data alignment and caches) GPU好像没有类似的问题,但我还是要劝大家,超参的选取随意点。而且GPU上好像推荐取32 的倍数 个人觉得 阅读全文