最大似然法理解
说的通俗一点啊，最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法： 我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为：
P(黑=8)=p^8*（1-p）^2,现在我想要得出p是多少啊，很简单，使得P(黑=8)最大的p就是我要求的结果，接下来求导的的过程就是求极值的过程啦。
可能你会有疑问，为什么要ln一下呢，这是因为ln把乘法变成加法了，且不会改变极值的位置（单调性保持一致嘛）这样求导会方便很多~
同样，这样一道题：设总体X 的概率密度为
已知 X1,X2..Xn是样本观测值，求θ的极大似然估计
这也一样啊，要得到 X1,X2..Xn这样一组样本观测值的概率是
P{x1=X1,x2=X2,...xn=Xn}= f(X1,θ)f(X2,θ)…f(Xn,θ)
然后我们就求使得P最大的θ就好啦，一样是求极值的过程，不再赘述。
例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法： 我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为：
P(黑=8)=p^8*（1-p）^2,现在我想要得出p是多少啊，很简单，使得P(黑=8)最大的p就是我要求的结果，接下来求导的的过程就是求极值的过程啦。
可能你会有疑问，为什么要ln一下呢，这是因为ln把乘法变成加法了，且不会改变极值的位置（单调性保持一致嘛）这样求导会方便很多~
同样，这样一道题：设总体X 的概率密度为
已知 X1,X2..Xn是样本观测值，求θ的极大似然估计
这也一样啊，要得到 X1,X2..Xn这样一组样本观测值的概率是
P{x1=X1,x2=X2,...xn=Xn}= f(X1,θ)f(X2,θ)…f(Xn,θ)
然后我们就求使得P最大的θ就好啦，一样是求极值的过程，不再赘述。
作者：渣君
链接：https://www.zhihu.com/question/20447622/answer/23902715
来源：知乎
著作权归作者所有，转载请联系作者获得授权。
最小二乘：找到一个（组）估计值，使得实际值与估计值的距离最小。本来用两者差的绝对值汇总并使之最小是最理想的，但绝对值在数学上求最小值比较麻烦，因而替代做法是，找一个（组）估计值，使得实际值与估计值之差的平方加总之后的值最小，称为最小二乘。“二乘”的英文为least square，其实英文的字面意思是“平方最小”。这时，将这个差的平方的和式对参数求导数，并取一阶导数为零，就是OLSE。
作者：稻花香
链接：https://www.zhihu.com/question/20447622/answer/23848605
来源：知乎
著作权归作者所有，转载请联系作者获得授权。
作者：稻花香
链接：https://www.zhihu.com/question/20447622/answer/23848605
来源：知乎
著作权归作者所有，转载请联系作者获得授权。
先说结论：误差服从高斯分布的情况下， 最小二乘法等价于极大似然估计。
最小二乘法是基于最大似然估计推导出来的
最小二乘法的
目的： 通过已有的数据来预测未知的数据。一般做一条 多元一次直线方程。
原理：假设在一个 2维坐标上，有很多个点，我们划一条 直线，直线满足：坐标上所有的点到直线上的距离和最小。（注意，这个距离不是 过点在该直线上做垂线，而是 过该点 做一条与Y轴平行的线，形成的距离）
最后补充一点，在很多的数据分析中，人们往往更加愿意 用“距离”来描述数与数之间的关系，还有什么马氏距离法、广义平方距离法等等
目的： 通过已有的数据来预测未知的数据。一般做一条 多元一次直线方程。
原理：假设在一个 2维坐标上，有很多个点，我们划一条 直线，直线满足：坐标上所有的点到直线上的距离和最小。（注意，这个距离不是 过点在该直线上做垂线，而是 过该点 做一条与Y轴平行的线，形成的距离）
最后补充一点，在很多的数据分析中，人们往往更加愿意 用“距离”来描述数与数之间的关系，还有什么马氏距离法、广义平方距离法等等
作者：咪总
链接：https://www.zhihu.com/question/20447622/answer/15732404
来源：知乎
著作权归作者所有，转载请联系作者获得授权。
