1.最大熵模型
终极目标
P(Y|X)
熵
H(P)=−∑xP(x)logP(x)
将终极目标代入熵
H(P)=−∑xP(y|x)logP(y|x)
做些改变,调整为条件熵
H(P)=H(y|x)=−∑x~P(x)P(y|x)logP(y|x)
~P(x)代表经验分布,从训练集中统计出来的
2.约束条件
~P(x)(X=x,Y=y)=v(X=x,Y=y)N
~P(x)(X=x)=v(X=x)N
v(X=x,Y=y)表示统计训练集中满足(X=x,Y=y)的样本数量
3.特征函数
f(x,y)={1,X与y满足某一事实0,其他
特征函数f(x,y)关于经验分布~P(x,y)的期望值
E~p(f)=∑x,y~P(x,y)f(x,y)=∑x,y~P(x)~P(y|x)f(x,y)
4.优化方程
maxP∈CH(P)=−∑x~P(x)P(y|x)logP(y|x)
s.t. E~p(fi)−Ep(fi)=0,i=1,2,...,n
∑yP(y|x)=1
minP∈CH(P)=−∑x~P(x)~P(y|x)logP(y|x)
s.t. E~p(fi)−Ep(fi)=0,i=1,2,...,n
∑yP(y|x)=1
5.拉格朗日乘子法
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· .NET10 - 预览版1新功能体验(一)