摘要：
专门看一下代价函数的求解参数求解：上式这个更新公式就叫做LMS(least mean square)更新规则，也叫Widrow-Hoff学习规则。这是一维的情况，我们可以拓展到多维的情况，由此得到两种不同的学习（迭代方法），即批处理梯度下降法和随机梯度下降法。1.批处理梯度下降法（每次迭代都遍历所有... 阅读全文
摘要：
线性回归模型是最简单的监督式学习模型：所谓的监督式学习模型就是需要通过已有的数据训练出一个最优的模型，能够表示这些已有的模型并能够预测新的数据。怎么判断模型是不是最优的呢？这就需要引入代价函数（Cost Function）：怎么得到最优的模型呢？这就需要求解代价函数的最小值，也就需要引入梯度下降法。... 阅读全文