摘要：
[TOC] 带约束条件的最小二乘法 单纯的最小二乘法容易过拟合, 带约束的最小二乘法能控制模型复杂度, 降低过拟合. 1. 部分空间约束的LS 含参线性模型, 使用全体参数空间: 将参数空间限制在一定范围内, 防止过拟合: P是$bxb$维矩阵,是P的值域$R(P)$的 正交投影矩阵 部分空间约束的 阅读全文
摘要：
[TOC] 本文主要介绍 最小二乘法原理, 线性模型中的应用, 最小二乘解的本质以及在大规模数据集上的求解方法. 1. 最小二乘法介绍 对模型均方误差最小化时的参数$\theta$学习的方法. 均方误差: $$ J_{LS}(\theta) = \frac{1}{2}\sum_{i=1}^n(f_\ 阅读全文
摘要：
模型种类模型图示补充 线性模型 一般线性模型: , x为向量向量时: 多维基函数构造: 1.乘法模型: 2.加法模型: 二者对比:乘法模型表现力丰富,但易引入维数灾难;加法模型参数个线性增长,但表现力不足: 核模型 一般核模型:高斯核函数: 一维高斯核模型: 二维高斯核模型: 带宽为h, 均值为c的 阅读全文