摘要:
问题描述:m examples : (x(1),y(1)), (x(2),y(2)),..., (x(m),y(m)) and n features; 计算方法:θ = (XTX)-1XTy; 计算过程: (1) x(i) = [ x0(i) x1(i) ... xn(i) ] 为列矩阵; (2)d 阅读全文
摘要:
引言 上节介绍了特征缩放,可以使梯度下降算法效率更高,但是还没有解决收敛问题,这节介绍的自动收敛测试就是解决收敛问题。 为什么要收敛测试? 因为在梯度下降算法中,θ值是一步一步逼近最佳的,而且J(θ)和θ的图像是u型,所以步幅就很重要,如果步幅过大可能会引起θ值在最佳之间往返或者越来越远的问题,所以 阅读全文
摘要:
引言 在梯度下降算法(1)中我们了解了梯度下降算法的执行过程,但是还存在很多问题,诸如代价函数收敛速度或者代价函数是否能够收敛等问题,这节我们主要解决收敛速度问题,其解决方案就是应用特征缩放(Feature Scaling)。 特征缩放的定义 特征缩放是用来标准化数据特征的范围。 为什么使用特征缩放 阅读全文
摘要:
在单变量线性回归问题中,主要有两个功能函数,分别为假设函数(Hypothesis)和代价函数(Cost Function), 其中假设函数为线性函数,本文中设为hθ(x) = θ0 + θ1*x; 其代价函数为J(θ0,θ1) = 1 / ( 2 * m ) * Σ(h(x(i)) - y(i))2 阅读全文