机器学习粗略认识--线性模型

 给定样本示例x=（x₁,x₂,x₃....x_d），线性模型的目标是学得一个线性函数，即属性的线性组合

f(x)=w₁x₁+w₂x₂+...+w_dx_d+b。所以训练线性模型的目标就是求w、b.得到线性模型后就可以预测新的样本。

一、线性回归

给定数据集D={（x₁,y₁）,(x₂,y₂)...(x_m，y_m)}，x_i是向量，y_i属于R。线性回归试图学得一个线性模型

来预测输出的实际值。回归的输出是连续值，分类的输出是离散值，两者本质上一样。

讨论输入值一维的情况。

m个样本。f(x)=wx+b。均方误差

通过最小化均方误差求得w、b，采用的是最小二乘参数估计。即分别对w,b求导

并令导数为零。可得

       

同样，多元线性回归也可通过该方法解出w,b。