B-概率论-极大似然估计


更新、更全的《机器学习》的更新网站,更有python、go、数据结构与算法、爬虫、人工智能教学等着你:https://www.cnblogs.com/nickchen121/p/11686958.html

极大似然估计

一、最大似然原理

极大似然估计原理

二、极大似然估计

极大似然估计是建立在最大似然原理的基础上的一个统计方法。极大似然估计提供了一种给定观察数据来评估模型参数的方法,即“模型已定,参数未知”。通过观察若干次实验的结果,利用实验结果得到某个参数值能够使样本出现的概率最大,则称为极大似然估计。

简而言之,极大似然估计的目的是利用已知的样本结果,反推最有可能导致这样结果的参数值。

三、似然函数

假设一个样本集Dn个样本都是独立同分布的,并且该样本集为

D=x1,x2,,xn

似然函数(likelihood function):联合概率密度函数p(D|θ)称为相对于x1,x2,,xnθ的似然函数。

l(θ)=p(D|θ)=p(x1,x2,,xn|θ)=i=1np(xi|θ)

四、极大似然函数估计值

如果θ^θ参数空间中能使似然函数l(θ)最大的θ值,则θ^是最可能的参数值,那么θ^θ的最大似然估计量,记作

θ^=d(x1,x2,,xn)=d(D)

并且θ^(x1,x2,,xn)称作极大似然函数估计值。

五、求解极大似然函数

给出求解最大θ值的公式

θ^=argmaxθl(θ)=argmaxθi=1np(xi|θ)

为了方便计算,定义对数似然函数H(θ),即对似然函数求对数

H(θ)=lnl(θ)

因此求最大θ值的公式变成了

θ^=argmaxθH(θ)=argmaxθlnl(θ)=argmaxθi=1nlnp(xi|θ)

并且可以发现公式中只有一个变量θ

5.1 未知参数只有一个

如果θ为标量,在似然函数满足连续、可微的情况下,则极大似然估计量是下面微分方程的解

dH(θ)dθ=dlnl(θ)dθ=0

5.2 位置参数有多个

如果θk维向量,可以把θ记作θ=[θ1,θ2,,θk]T,对θ1,θ2,,θk求梯度,可得

Δθ=[θ1,θ2,,θs]T

如果似然函数满足连续、可导的情况下,则最大似然估计量就是如下方程的解:

ΔθH(θ)=Δθlnl(θ)=i=1nΔθln(p(xi|θ))=0

5.3 总结

方程的解只是一个估计值,只有在样本趋于无限多的时候,才会逐渐接近真实值。

posted @ 2020-12-10 23:04  ABDM  阅读(193)  评论(0编辑  收藏  举报