点估计
(原创文章，转载请注明出处！)
用样本数据来估计分布函数未知参数的问题，称为参数的点估计问题。
一、矩估计
样本矩作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。
由辛钦定理知道，样本矩依概率收敛到总体矩，而以样本矩为参数的连续函数依概率收敛到以相应总体矩为参数的连续函数。
总体均值与方差的矩估计量的表达式不因不同的总体分布而异。
二、极大似然估计
总体的概率密度为f(x;θ)， θ为待估计参数。X1，X2，X3，... , Xn是X的样本，则它们的联合密度为：
L(x1,x2,x3,...,xn;θ) = f(x1;θ)•f(x2;θ)•f(x3;θ)•...•f(xn;θ) #乘积
既然X1，X2，X3，... , Xn已经发生了，那就说明他们出现的机率大，那么就考虑挑选将它们发生的概率最大化的参数θ。
max{L(x1,x2,x3,...,xn;θ)}
L(x1,x2,x3,...,xn;θ)与ln(L(x1,x2,x3,...,xn;θ))的最优化解是一致的。故考虑最优化问题max{ln(L(x1,x2,x3,...,xn;θ))}。
令ln(L(x1,x2,x3,...,xn;θ))对θ的偏导数为0，即可就得相应的θ。
（这通常是一个无约束最优问题，在全局最优解与局部最优解相同的情况下，可以用上述方法求解。但在很多情况下，需要用到别的优化求解算法。另外对有约束的情况，可以使用拉格朗日方法。）
