线性模型
目标:预测输入的响应/输出
步骤:
第一步:线性假设;
第二步:定义一个标准,损失函数,优化
第三步:模型的泛化问题
问题:
—选择什么样的模型
—采用什么养的损失函数去判断拟合?
—对于未知的数据,怎么优化模型(泛化)?
简单的线性模型:
;
更一般的 ,X有多个维度的属性,,则有
可以用矩阵表示; ,
;
损失函数:
目标:
解法: 解析法:正规方程解
数值法:梯度下降法,高斯-牛顿法,列文虎克-马夸尔特法
解析法求解太过复杂,主要用数值法。
梯度下降法:
按照误差减小的方向调整权重,(梯度)。
泛化
训练误差 training error 最小化训练误差。泛化误差 true error
如何估计泛化误差 :1理论上 大数定理 ;2 实际上测试误差 test error