摘要： 线性回归之梯度下降法 1.梯度的概念 梯度是一个向量，对于一个多元函数$f$而言，$f$在点$P(x,y)$的梯度是$f$在点$P$处增大最快的方向，即以f在P上的偏导数为分量的向量。以二元函数$f(x,y)$为例，向量$\{\frac{\partial f}{\partial x},\frac{\ 阅读全文

摘要： ###线性回归之最小二乘法 1.最小二乘法的原理 最小二乘法的主要思想是通过确定未知参数$\theta$（通常是一个参数矩阵），来使得真实值和预测值的误差（也称残差）平方和最小，其计算公式为$E=\sum_{i=0}^ne_i^2=\sum_{i=1}^n(y_i-\hat{y_i})^2$，其中$ 阅读全文