2016年12月27日
梯度下降法
给定损失函数，随机初始化一个位置（w0,b0）,在该位置，沿着梯度方向是损失函数下降最快的方向，具体的证明是在该点的局部将函数进行泰勒展开，并取零次项以及一次项对函数进行近似之后，可以将目标函数化简为常数项以及两个向量相加的形式，为了使目标函数最小，则需要使得向量中的可变者与原来的向量（梯度组成的向 Read More
posted @ 2016-12-27 17:16 rainsoul Views(1068) Comments(0) Diggs(0) Edit