摘要:
先定义什么是优化,优化是求损失最小值情况下的参数。这里的调参不包括超参数,超参数怎么调可以参考。 1.梯度下降算法 小批量随机梯度下降(mini-batch stochastic gradient descent)在深度学习中被广泛使用。 它的算法很简单: 先选取一组模型参数的初始值,如随机选取; 阅读全文
摘要:
概念区分 性能度量vs损失函数 损失函数、代价函数与目标函数 损失函数(Loss Function):是定义在单个样本上的,是指一个样本的误差,度量模型一次预测的好坏。代价函数(Cost Function)=成本函数=经验风险:是定义在整个训练集上的,是所有样本误差的平均,也就是所有损失函数值的平均 阅读全文
摘要:
使用tensorflow2.0提供的GradientTape来自动求梯度。 1.tf.GradientTape基本使用方法 偏导,同时求多个偏导,二阶导,多个,两个函数对一个参数求导…… 参考: https://www.liulinlong.cn/index.php/archives/180/ 《动 阅读全文