多项式拟合与线性回归

https://blog.csdn.net/qq_31852975/article/details/72354578

设M次多项式为 $f_{M} (x, w) = w_{0} + w_{1} + w_{2} x^{2} + . . . + w_{M} x^{M} = \sum_{j = 0}^{M} w_{j} x^{j}$

当损失函数为 $L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

时，通过解L(w)最小的问题，可以拟合出该多项式。
这个问题在《统计学习方法》李航的第一章中介绍。不过其中1.18带入后的结果不正确。
具体错误见勘误表http://www.hangli-hl.com/uploads/3/4/4/6/34465961/errata.pdf
具体推导过程http://blog.csdn.net/xiaolewennofollow/article/details/46757657

这里的多项表达式中，f是关于x的一个函数，式中只有一个变量x。

线性回归假设特征与结果满足线性关系。这里为什么可以假设为线性关系？为什么可以假设数据是独立同分布的

这里使用Andrew Ng讲义中的公式定义。
对于n个特征的特征向量

h θ (x) = θ 0 + θ 1 x

$L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

J (θ) = 1 2 \sum i = 1 M (

$L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

而使得 $J (θ)$

$L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

求偏导数的反方向。
这里为什么是反方向是梯度下降最小的方向？

对于每一个特征x，对 $J (θ)$

求偏导。

\partial \partial θ J ( θ ) = ( h ( θ ) ( x j )

$L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

遍历n个样本直至收敛

θ j : = θ j - a (y (i)

$L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

中的一个值，从而减少了遍历的次数，否则每次都需要遍历更新

θ^{T}

通过直接对 $J (θ)$

求导可得最小二乘优化方法。

θ = (X T X) - 1 X T y

posted on 2018-10-12 17:44 枫飞飞阅读(1595) 评论(0) 编辑收藏举报

刷新页面返回顶部