《统计学习方法》第11章习题
习题11.1
由题,根据公式 P(Y)=1∑Y∏CΨC(YC)∏CΨC(YC)
概率无向图模型的因子分解为将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作
图11.3 的最大团为 {Y1,Y2,Y3} 和 {Y2,Y3,Y4}
所以 ,P(Y)=Ψ(1,2,3)(Y(1,2,3))∗Ψ(2,3,4)(Y(2,3,4))∑Y[Ψ(1,2,3)(Y(1,2,3))∗Ψ(2,3,4)(Y(2,3,4))]
习题11.2
第1步,证明 Z(x)=αTn(x)∗1
根据条件随机场的矩阵形式, (Mn+1(x))i,j={1,j=stop0,otherwise
根据前向向量的定义 ,α0(y0|x)={1,y0=start0,otherwise
所以,Zn(x)=(M1(x)M2(x)...Mn+1(x))stop,end=αT0(x)M1(x)M2(x)...Mn(x)∗1=αTn(x)∗1
第二步,证明 Z(x)=1T∗βT1(x)
根据后向向量的定义,βn+1(yn+1|x)={1,yn+1=stop0,otherwise
所以,Zn(x)=(M1(x)M2(x)...Mn+1(x))stop,end=(M1(x)M2(x)...Mn(x)βn+1(x))start=(β1(x))start=1T∗β1(x)
综上所述,Z(x)=αTn(x)∗1=1T∗βT1(x)
习题11.3
条件随机场的极大似然函数为 L(w)=N∑j=1K∑k=1wkfk(yj,xj)−N∑j=1logZw(xj)
极大化似然函数就是极小化损失函数,所以 f(w)=−L(w)
损失函数的梯度为 g(w)=∇f(w)=(∂f(w)∂wi...)
其中, ∂f(w)∂wi=−N∑j=1wifi(yj,xj)+N∑j=11Zw(xj)⋅∂Zw(xj)∂wi=−N∑j=1wifi(yj,xj)+N∑j=11Zw(xj)∑y(exp∑Kk=1wkfk(y,xj))wifi(y,xj)
后面就可以用梯度下降法进行求解
习题11.4
以start=2为起点,stop=2为终点的所有路径的状态序列y的概率为:
路径为:2->1->2->1->2 概率为:0.21
路径为:2->2->1->1->2 概率为:0.175
路径为:2->2->1->2->2 概率为:0.175
路径为:2->1->2->2->2 概率为:0.14
路径为:2->2->2->1->2 概率为:0.09
路径为:2->1->1->1->2 概率为:0.075
路径为:2->1->1->2->2 概率为:0.075
路径为:2->2->2->2->2 概率为:0.06
概率最大的状态序列为2->1->2->1->2
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· DeepSeek 解答了困扰我五年的技术问题
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· Deepseek官网太卡,教你白嫖阿里云的Deepseek-R1满血版
· 2分钟学会 DeepSeek API,竟然比官方更好用!
· .NET 使用 DeepSeek R1 开发智能 AI 客户端
· DeepSeek本地性能调优
· 一文掌握DeepSeek本地部署+Page Assist浏览器插件+C#接口调用+局域网访问!全攻略