七月算法--12月机器学习在线班-第十三次课笔记—贝叶斯网络
七月算法--12月机器学习在线班-第十三次课笔记—贝叶斯网络
七月算法(julyedu.com)12月机器学习在线班学习笔记http://www.julyedu.com
1.1 贝叶斯公式带来的思考:给定结果推原因;
1.2朴素贝叶斯的假设
1,一个特征出现的概率,与其他特征(条件)独立(特征独立性)
2, 每个特征同等重要
例如:文本分类 ,词出现为1,不出现为0
贝叶斯公式:
分解:
拉普拉斯平滑
判断两个文档的距离:夹角余弦
判断分类器的正确率:交叉验证
若一个词出现的次数多,一个次少,则可以采用计数的方法(但以往的经验,效果一般)
1.3贝叶斯网络
贝叶斯网络:有向无环图模型,一种概率图模型,根据概率图的拓扑结构,考察一组随机变量及其n组条件概率分布
两个随机变量之间有关系,但是不是因果关系
1.3.1 简单地贝叶斯网络
上面的式子和右边的图是等价的
1.3.2全连接贝叶斯网络
5个节点的全连接图
1.3.3 正常的贝叶斯网络
上面的公式和右图是一个意思
1,x1和x2独立
2,x6和x7在x4给定的条件下独立
全部随机变量的联合分布:
1.3.4 特殊的贝叶斯网络
结点形成一条链式网络,称作马尔科夫模型
只与
有关, 与
……
无关
伪随机发生器:
1.3.5 通过贝叶斯网络判定条件独立(三种情况)
1,第一种情况(tail-to-tail),
2,第二种(head-to-tail),
3,第三种(head-to-head),
N个节点,N阶的马尔科夫模型:全连接模型
总结:不要过得累加模型的复杂度,适时使用奥卡姆剃刀(Occam's Razor)。
1.3.6 贝叶斯网络的构建
生成模型:NB,HMM
判别模型:SVM,Logistic,RF
一个例子如下: