线性回归

线性回归

机器学习类别:监督学习

数据集特点:label是一般是连续数值

模型

模型:\(y = f(x)=b + \sum w_ix_i\)

  • \(y\): 变量的输出
  • \(x_i\):变量第\(i\)维的特征
  • \(w_i\):第\(i\)维特征的权重

损失函数

损失函数: \(L(f)=\sum_{n=1}^N(y^n - f(x^n))^2\)

  • \(y^n\): 第\(n\)个数据的标签(实际值)
  • \(N\) : 训练数据的数量
  • \(f(x^n)\):利用当前参数下的模型计算得到第\(n\)个数据的输出

最优模型

\(f* = arg\ minL(f)\)

\[w*, b* = arg \ min L(w,b) \]

即是要找到参数\(w\)\(b\)使损失函数的值最小,这样就找到了最好的模型。

方法

最小二乘法

梯度下降法

posted @ 2019-09-09 21:26  YajunRan  阅读(128)  评论(0编辑  收藏  举报