最大熵模型

1.最大熵模型

终极目标
P(Y|X)

H(P)=xP(x)logP(x)
将终极目标代入熵
H(P)=xP(y|x)logP(y|x)
做些改变,调整为条件熵
H(P)=H(y|x)=xP~(x)P(y|x)logP(y|x)
P~(x),

2.约束条件

P~(x)(X=x,Y=y)=v(X=x,Y=y)N
P~(x)(X=x)=v(X=x)N
v(X=x,Y=y)(X=x,Y=y)

3.特征函数

f(x,y)={1,Xy0,
f(x,y)P~(x,y)
Ep~(f)=x,yP~(x,y)f(x,y)=x,yP~(x)P~(y|x)f(x,y)

4.优化方程

maxPCH(P)=xP~(x)P(y|x)logP(y|x)
s.t. Ep~(fi)Ep(fi)=0,i=1,2,...,n
yP(y|x)=1

minPCH(P)=xP~(x)P~(y|x)logP(y|x)
s.t. Ep~(fi)Ep(fi)=0,i=1,2,...,n
yP(y|x)=1

5.拉格朗日乘子法

posted @   筷点雪糕侠  阅读(51)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· .NET10 - 预览版1新功能体验(一)
点击右上角即可分享
微信分享提示