回归问题

1、最大似然估计解释最小二乘

2、求解参数

为啥加入扰动可以保证参数可解

3、正则化  L1 L2  （加入正则项的目的是为了防止过拟合）

当参数过拟合数据时，得到的参数分布不均衡，可能存在前边的参数很大，后边的参数很小的情况，所以在目标函数中加入参数的平方和乘以一个系数，来保证参数均衡，不至于有太大参数出现。

Ridge回归，加入L2正则项

LASSO回归，加入L1正则项，能保证稀疏，可用于降维

Elastic Net，将L1和L2结合，分配系数

4、正则化与稀疏

5、SVD求解参数

如果X为方阵，并且可逆，则

5、随机梯度下降    批量梯度下降    mini-batch

6、线性回归到logistic回归到softmax回归

7、