所以燃

摘要： 1.零均值化（消常数项）往往用于线性回归问题：y=wx+b，消除求参数w时截距b的影响。零均值处理即数据减其均值（x=x-mean(x),y=y-mean(y)）。如何求截距b呢？只要代入最初的均值mean(y)=w*mean(x)+b，b便可知。matlab:x=x-mean(x);y=y-mean(y);2.白化/空间解相关（消除各分量相关性，去相关加缩放）一随机信号向量x，其协方阵矩阵为：Cov(x)=E((x-m)*(x-m)')≠I（半正定）。要解除x各分量的相关性就是要找到一个空间解相关矩阵（白化矩阵）B，使得：Cov(Bx)=E(B(x-m)*(x-m)'B 阅读全文

摘要： 一、Least squares最小二乘回归（高斯似然+均匀先验）因为先验是均匀分布，因此求最小二乘回归即求高斯最大似然。在泛化的线性模型里，x为多项式基：高斯似然函数为：让似然函数最大，即令残差平方和RSS最小，RSS/N即为均方误差MSE。-log似然（NLL）对w求偏导等于0，得：*注：最小二乘回归计算方法1.数值计算（有解析解，精确，但速度慢）a. QR分解：稳定b. SVD奇异值分解（广义的特征值分解）SVD分解，得右奇异向量：奇异值：左奇异向量：最小二乘计算结果：2.梯度下降法（有数值解，速度快。利用所有样本，也称批处理梯度下降）3.随机梯度下降法（SGD，每次只用一个样本，速度更快 阅读全文

摘要： 一、SVMSVM:支持向量机，即用不多的几个向量（二维是点）撑起分类界面，如图：固定间隔为1，目标是让几何间隔越大越好（类分得越开越好），即找出最小的||w||。这里间隔定义为：|g|=y*(w'x+b)，几何间隔定义为：|g|/||w||（即点到直线的距离）。为方便运算，把w的二范式平方（即权重平方和），最后就把SVM转变为二次规划问题：解规划问题，自然想到拉格朗日乘子法，定义拉格朗日函数：此式对w求偏导，便得最小w（a是一个稀疏向量，非零项对应的x为支持向量）：因此判别函数便出来了：将测试的点x带入上式，与训练的点xi算内积，得出的结果大于1便是+类，小于1便是-类。以上为理想情况 阅读全文