线性回归

1.机器学习的一些概念

有监督学习(supervised learning)：使用预定义的“训练示例”集合，训练系统，

无监督学习(unsupervised learning)：无监督学习适用于具有数据集但无标签的情况，比如你是一个T恤制造商，拥有一堆人的身体测量值。需要确定决定你生产的XS，S，M，L和XL号衬衫。

泛化能力(generalization ability)：是指算法对新样本的适应能力

过拟合(over fitting)：在训练数据不够多时，或者over-training时，经常会导致过拟合，比如我们识别叶子时训练集只有枫叶的图片，当测试集中有其他类型的叶子时就很有可能判定为不是叶子。可以通过正则化.，增加训练数据样本等方法

欠拟合(under fitting)：与过拟合相对应的就是欠拟合。可以通过增加特征点解决。

2.线性回归

当一些输入的参数的函数值等于其函数值的线性组合为线性方程，最基本的当 $x$ 和 $f(x)$ 为标量的时候 $f(x)=a+bx$ 。若 $\boldsymbol{x}=(x_1,x_2,\cdot\cdot\cdot,x_n)$ ，这时 $f$ 的形式为

$f(\boldsymbol{x})=a+b_1x_1+\cdot\cdot\cdot+b_nx_n=a+\boldsymbol{b}\boldsymbol{x}$

其中 $\boldsymbol{b}=(b_1,b_2,\cdot\cdot\cdot,b_n)$ 。

这里我们借助齐次坐标式避免将 $a$ 单独表示。记 $\boldsymbol{b}=(a,b_1,b_2,\cdot\cdot\cdot,b_n)$ ， $\boldsymbol{x}=(1,x_1,x_2,\cdot\cdot\cdot,x_n)$ 。则得到了 $f(\boldsymbol{x})=\boldsymbol{b}\boldsymbol{x}$ 。

一元线性回归

清楚了以上的概念后，我们来推导线性回归的参数。首先是最简单的单特征的情况，也就是一元线性回归 $f(\boldsymbol{x})=\boldsymbol{b}\boldsymbol{x}$ 。这里我们采用最小二乘法。

真值与估计值的差 $\epsilon=f(x_i)-\hat{f}(x_i)$ 。而最小二乘法就是求得 $\begin{matrix} \sum_{i=1}^n\epsilon \end{matrix}_i^2$ 最小时的 $\hat{f}$ 。

对于一元线性回归。我们希望利用最小二乘法求得参数 $a$ 和 $b$ 。

将式子 $\sum_{i=1}^n (y_i-bx_i-a)^2$ 展开得到 $\sum_{i=1}^n (y_i^2-2y_ia_i-2y_ib+a^2x_i^2+2ax_ib+b^2)$

分别对 $a$ 和 $b$ 求偏导得到

$\begin{cases} 2\begin{matrix} \sum_{i=1}^n (-y_i+ax_i+b) \end{matrix} \\ \begin{matrix} \sum_{i=1}^n (-2y_ix_i+2ax_i^2+2bx_i) \end{matrix} \end{cases}$

联立两个式子，这里将 $b=\dfrac{\begin{matrix} \sum_{i=1}^n (y_i-ax_i)\end{matrix}}{n}$ 入第二个式子中就可以求出

$a=\dfrac{\begin{matrix} \sum_{i=1}^n y_i(x_i-\overline{x})\end{matrix}}{\begin{matrix} \sum_{i=1}^n x_i^2-\dfrac{1}{n}(\begin{matrix} \sum_{i=1}^n x_i\end{matrix})^2\end{matrix}}$ ， $b=\dfrac{1}{n}\begin{matrix} \sum_{i=1}^n (y_i-ax_i)\end{matrix}$

多元线性回归

对于多元线性回归

$\mathbf{x}=\begin{bmatrix} 1 &x_1^{(1)}& \cdots & x_n^{(1)} \\ \vdots & \vdots & \vdots \\ 1 &x_1^{(m)}& \cdots & x_n^{(m)} \end{bmatrix}$

$\theta=[\theta_0 & \cdots &\theta_n]$

$y=\theta\mathbf{x}$

我们需要求得 $min(Y-X\theta)^T(Y-X\theta)$ 。对 $\theta$ 求偏导得到

$\dfrac{\partial[(Y-X\theta)^T(Y-X\theta)]}{\partial\theta}$

$=\dfrac{2\partial(Y-X\theta)^T}{\partial\theta}(Y-X\theta)$

$=2X^T(X\theta-Y)$

另上式为0，即可求得

$\theta=(X^TX)^{-1}X^TY$

3.sklearn 线性回归

sklearn中已经实现了多元线性回归，我们用下面的方法使用

from sklearn import linear_model
lg = linear_model.LinearRegression()

LinearRegression函数实现了多元线性回归。下面是各参数的解释

fit_intercept : 默认为True,是否计算该模型的截距。

normalize: 默认为false. 当fit_intercept设置为false的时候，这个参数会被自动忽略。如果为True,回归器会标准化输入参数：减去平均值，并且除以相应的L2范数。

copy_X : 默认为True。

n_jobs: int 默认为1。

posted @ 2019-03-01 21:01 mambakb 阅读(248) 评论(0) 编辑收藏举报

刷新页面返回顶部

mambakb