梯度下降法

 神经网络是怎样学习的？
 ​
 算法会调整权重和偏差值，训练好后我们可以给更多它未见过的图像进行测试
 将每个输出激活值，与想要的值之间的差的平方加起来，称之为训练单个样本的“代价”
 注意下，网络能对图像进行正确的分类时，这个平分和就比较小，如果网络找不着点，这个平分和就很大
 代价函数取决于网络对于上万个训练数据的综合表现

多元微积分，函数的梯度指出了函数的最陡增长方向，就是说，按梯度的方向走，函数值增长的就最快，那沿梯度的负方向，函数值自然就降低的最快

按照负梯度倍数不停调整函数输入值的过程，叫做梯度下降法（Gradient descent）。可以让你收敛到代价函数图中一个局部最小值的地方