极大似然、最小二乘和梯度下降

今天学习回归算法的过程中，对于常见到的名词：极大似然、最小二乘以及梯度下降做一个总结

机器学习的基本框架大都是模型、目标和算法！

如何让模型尽可能好的拟合或者分类数据呢？那么就需要有目标函数，所以要定下模型的cost function，其中的获取损失函数的方法。

对于线性回归，可以采用他的似然函数、或根据最小二乘，写出他的损失函数。

对于逻辑回归，采用似然函数求他的损失函数。

 而采用何种优化算法，则可以使用最小二乘法、梯度下降法等。

问题1：最小二乘和最小均方误差的区别？

最小二乘：预测值和真实值差的平方和

均方误差：预测值和真实值差的期望，是一种加权最小二乘，权值为概率！

加权最小二乘：根据实际问题考虑每个求和项的重要程度，即加权值w，

 

均方误差估计是针对概率模型，二乘估计是针对确定性模型

 

 问题2：为什么逻辑回归不用最小二乘？

主要是逻辑回归采用最小二乘获得损失函数的话，比较复杂，容易陷入局部最优