摘要:
蓝色线前向传播(从左到右)大致过程 反向传播: 如果要计算dj/dv由j=3v 得当v由11变成11.001时,j由33变成33.003,对于任意的v的变化量,j变成原来的3倍,因此dj/dv的导数为3 如果要计算dj/da,由下图计算可知dj/da也是3 下图是接着反向传播计算db和dc以及dc的 阅读全文
摘要:
下图中由给定的每个样本的值和样本对应的标签值得到最终的概率值 Loss函数是在单个训练样本中定义的,它衡量了在单个训练样本上的表现,而成本函数cost,它衡量的是在全体训练样本上的表现,表明参数w和b在训练集上的效果 如何使用梯度下降法莱训练或学习训练集上的参数w和b 下图中阿尔法表示学习率,可以控 阅读全文