riverstar

线性模型

目标：预测输入的响应/输出

步骤：

第一步：线性假设；

第二步：定义一个标准，损失函数，优化

第三步：模型的泛化问题

问题：

—选择什么样的模型

—采用什么养的损失函数去判断拟合？

—对于未知的数据，怎么优化模型（泛化）？

简单的线性模型: 

h_\omega (x) = \omega _0 + \omega_1 *x;

更一般的 ，X有多个维度的属性，X = (x_1,x_2,x_3,x_4,...,x_d),则有h_\omega(X) = \omega_0 + \omega_1 * x_1 + \omega_2 *x_2 +...\omega_d * x_d

可以用矩阵表示； W = [\omega_0,\omega_1,...\omega_d]^T,X = [1,x_1,x_2,...x_d]^T;h_w(X) = W^T X

损失函数：

loss(y,h_w(X)) = \frac{1}{n} \displaystyle\sum_{i=1}^{n} (y^i- h_\omega(x^i))^2

目标：min_\omega J(W)

解法： 解析法：正规方程解

数值法：梯度下降法，高斯-牛顿法，列文虎克-马夸尔特法

解析法求解太过复杂O(n^3),主要用数值法。

梯度下降法：

按照误差减小的方向调整权重,(梯度)。

 

泛化

训练误差 training error 最小化训练误差。泛化误差 true error

如何估计泛化误差 ：1理论上 大数定理 ；2 实际上测试误差 test error

 

posted on 2022-04-06 16:19  RVIER  阅读(79)  评论(0)  编辑  收藏  举报

导航