机器学习--cost function
常见的代价函数
代价函数(cost fuction,也称损失函数或优化目标)是出现在监督学习模型中,在已知的标签y的情况下,根据h(x)得到的预测值计算学习算法要到达真实情况所需要付出的代价
P. S. 不熟悉常见监督学习模型可以看吴恩达机器学习系列课程笔记——监督学习常见模型
通过最小化代价函数可以得到算法的最优解,从而训练更有效的模型
其中代价函数被期望得到的是凸函数(convex function,也称单弓形函数),而不是非凸函数(non-convex),因为后者拥有众多局部最低点,导致算法可能无法获得全局最优解
非凸函数和凸函数
1. 平方误差代价函数(Square Error Cost Function)
该代价函数常在回归问题中使用
对于线性回归模型来说,为使得预测值与实际值更好的拟合,最简单的办法即求得预测与实际之间的垂直距离,并使其逐渐减小到合适的距离
因此使用平方误差函数作为代价函数的核心,下面是只考虑特征θ0(偏差)和θ1的单变量线性回归代价函数公式
简化参数后的假设函数与代价函数示例图
多元线性回归模型的代价函数即为单变量的拓展,对于特征θ公式为
感兴趣的同学可以看多元线性回归的代价函数推导
二元变量的线性回归模型的代价函数如下图所示,同样也是凸函数
二维代价函数立体图
为方便理解,可以通过绘制等高线图观察平方差代价函数,如下图所示
等高线示意图