摘要：
$\cos\theta_T=\frac{\boldsymbol w_f}{||\boldsymbol w_f||}\frac{\boldsymbol w_T}{||\boldsymbol w_T||}$ 因为$\boldsymbol w_T=\sum_t y_{n(t)}\boldsymbol x_ 阅读全文
2017年2月18日
摘要：
考察$\boldsymbol u\cdot\boldsymbol y$的几何意义。 把向量$\boldsymbol y$拆成两个分量：$\boldsymbol y=\boldsymbol{\hat y}+\boldsymbol z$。其中$\boldsymbol{\hat y}=\alpha\bol 阅读全文
2017年2月1日
摘要：
第一节 概述 1. 预备知识：我们前面讨论的贝叶斯网的似然值，是基于所有的数据都已经被观察到的情况下。 考虑一个简单的图$X\to Y$，其中XY都是二项分布。 $L(D:\theta)=P(x_0)^{M[x_0]}P(x_1)^{M[x_1]}P(y_0|x_0)^{M[x_0,y_0]}P(y 阅读全文
2017年1月30日
摘要：
第一节 结构学习概述 1. 为什么引入结构学习：(1)某些领域专家不够牛，给不出好的结构 (2) 对于一些特定问题来说，结构的发现本身就是任务 2. 精确结构的重要性： (1)少了边，可能引入一些不存在的独立性，无法学习到目标分布，可能欠拟合 (2)多了边，可能引入多余的依赖关系，增加多余参数。可以 阅读全文
2017年1月28日
摘要：
第一节 马尔科夫随机场(MRF)参数估计 1. 回顾贝叶斯网$A\to B\to C$ (1) $P(a,b,c)=P(a)P(b|a)P(c|b)$ (2) $L(D:\theta)=\prod_mP(a[m])P(b[m]|a[m])P(c[m]|b[m])$ $=(\prod_mP(a[m]) 阅读全文
摘要：
1. 假定已知电影分为K种类型 为每个电影定义K个特征$\mathbf x^{(i)}$，$x_k^{(i)}$表示电影i有多么符合类型k。现在假设所有电影的这些特征值都已知。 同时为某用户定义K个系数$\mathbf \theta$，$\mathbf \theta^T\mathbf x^{(i)} 阅读全文
2017年1月24日
摘要：
1.1 概论 1. 根据目标概率分布P*（或对应的概率图M*)的数据样本，以及专家给出的预设，学习出一个概率图网络 2. 几种不同的情况： (1)已知结构，数据完整 (2)未知结构，数据完整 (3)已知结构，数据不完整 (4)未知结构，数据不完整（有可能需要增加隐藏结点） 3. PGM学习的几个任务 阅读全文
2017年1月17日
摘要：
从前一章可知，用精确推理来获得系统的整体或局部概率分布（比如某些选定变量的边缘分布，比如某种条件分布），往往计算量过于庞大，而采样往往是一种代价更低的近似方法。 1.1 简单取样 1. 用独立等概率取样的方式取M个样本D，$E_p[f]\approx \frac1M \sum_{m=1}^{M}f( 阅读全文
2017年1月16日
摘要：
一、MAP消息传递 1.1 最大和消息传递 1.把$\phi$做log之后，原本的相乘变成求和。而Factor的和与积的计算步骤一样，指数最后的相乘变成相加。 2.原本的求和变成求Max。 (1)$\max_A\phi(A,B)$是一个$B$的函数，也就是$B$取不同值的时候，$A$取什么值函数获得 阅读全文
2017年1月12日
摘要：
一、簇图中的消息传递 1.1 消息传递 一种简单的建模： 用factor作为顶点，factor之间的共有变量的子集作为边，生成一个传递网络。 严格定义（簇图）： (1)顶点=簇=一系列变量的集合$C_i$ (2)边=sepset=顶点之间的共有变量的子集$S_{i,j}$，注意可以是子集。一条边可以 阅读全文
