批剃度下降算法 Batch Gradient Descent Algorithm

名词解释

batch 指的是每一次迭代计算参数的时候都是对整个样本进行遍历

计算流程

对于样本数量为m个的训练集

首先初始化参数值(对于有多个局部极值local optimum的问题 不同的初始化值会得到不同的局部极值)

即令每一个θ都为某一个值

然后利用公式

h是预测值

y是样本输出值

x是样本输入值

j是样本数

α是剃度速率 也就是控制每次收敛幅度的一个系数

 

迭代计算更新θ值，直至变化量为0等。

原理解释

h与y的差值表示预测值与样本实际值之间的差距

通过减小这个差距来拟合 也就是得到更接近样本的输入与输出关系

然后通过拟合来的关系函数来计算需要的预测

 

公式推导

x表示样本的输入值 θ表示输入值前面的参数

定义为差值

求最值的情况利用偏导数

最后得到结果

 

矩阵计算

以上为原创，未经许可，不可转载。