机器学习之朴素贝叶斯&贝叶斯网络
- 贝叶斯决决策论
在所有相关概率都理想的情况下，贝叶斯决策论考虑基于这些概率和误判损失来选择最优标记，基本思想如下：
（1）已知先验概率和类条件概率密度（似然）
（2）利用贝叶斯转化为后验概率
（3）根据后验概率的大小进行决策分类
1、风险最小化
风险：根据后验概率可以获得将样本分为某类所产生的期望损失，即在该样本上的“条件风险”。
目的：寻找最小化总体风险，只需在每个样本上选择能使条件风险最小的类标记
2、决策风险最小化---后验概率最大化
获得后验概率有两种方法，机器学习也因为这两种方法被分为判别模型和生成模型。
判别模型：对于给定的x, 通过建模P(c|x)来预测c.
生成模型：先对联合分布P(c,x)建模，在算出P(c|x)
- 朴素贝叶斯（NB）
假设：属性之间需要相互独立
算法：
input： 训练集T={(xi,yi)|i=1...N}
output：实例x的分类
- 半朴素贝叶斯（SNB）
适当地考虑一些属性之间的相互依赖关系
问题变为：寻找被依赖的属性，即父属性。
SPODE：所有属性都依赖于同一属性，通过交叉验证的方法确定超父属性。
TAN（最大带权生成树）：
（1）计算量属性之间的互信息，作为两节点之间边的权重
（2）插入最大权重边
（3）找到下一个最大边，并加入到树中，要求不成为环
（4）重复上述过程，直到插入n-1条边
（5）标出方向
AODE：
集成学习机制，更强大的独依赖分类器，尝试将每个属性作为超父来构建SPODE
- 贝叶斯网络（NB）
经典的概率图模型（有向无环图模型）
把某个研究系统中涉及的随机变量，根据能否条件独立的绘制在一张有向图中，就成了贝叶斯网络。一个贝叶斯网络由结构和参数两部分组成。
三个变量间的典型依赖关系：
（1）同父结构（tail-to-tail）
c已知的情况下，P(a,b,c)=P(a)P(b|c)P(b|c)，无法得出a,b独立。
c未知的情况下，a,b独立
（2）V型结构（head-to-head）
c未知时，a,b独立
（3）顺序结构（head-to-tail）
c已知时，a,b独立；反之，不独立。
- 如何学习构成一个贝叶斯网络
根据训练集学习出好的贝叶斯网络是解决问题的关键，“评分搜索”是常用的学习方法。
爬山算法：
（1）选择一个网络结构G（一般为空）
（2）计算这一结构的得分，并取最大得分
（3）随着得分的增大，循环进行：对边的增加和修正，更新最大得分
（4）返回一个有向图。
- R语言代码实现：
朴素贝叶斯：
贝叶斯网络：
