机器学习，模型——生成模型（generative model）和判别模型（Discriminative model）

1.生成模型与判别模型区别

生成模型：学习得到联合概率分布P(x,y)，即特征x和标记y共同出现的概率，然后求条件概率分布。能够学习到数据生成的机制。

判别模型：学习得到条件概率分布P(y|x)，即在特征x出现的情况下标记y出现的概率。

数据要求：生成模型需要的数据量比较大，能够较好地估计概率密度；而判别模型对数据样本量的要求没有那么多。

典型的判别模型：k近邻，感知机，决策树，逻辑斯蒂回归(逻辑回归)，最大熵模型，SVM，boosting方法和条件随机场等。

典型的生成模型：朴素贝叶斯，隐马尔可夫(HMM)，马尔科夫模型(VMM)，高斯混合模型。这种方法一般建立在统计学和Bayes理论的基础之上。

 

详细：https://blog.csdn.net/u010358304/article/details/79748153

 

 

2.马尔科夫模型与隐马尔科夫模型

（1）马尔科夫模型（VMM）

①马尔科夫模型（VMM）：它描述了一类重要的随机过程。

　　随机过程：是随时间而随机变化的过程。又称为随机函数。

②马尔科夫模型可以视为一个随机的有限状态机。一个马尔科夫链的状态序列的概率可以通过状态转移矩阵上的状态转移概率计算。

（2）隐马尔科夫模型（HMM）

①隐马尔科夫模型（HMM）：我们不知道模型所经过的状态序列（模型的状态转换过程是不可观察的，是隐蔽的），只知道状态的随机函数。

②由一个向量和两个矩阵(pi,A,B)描述的隐马尔科夫模型对于实际系统有着巨大的价值，虽然经常只是一种近似，但它们却是经得起分析的。

③HMM是个两层结构的模型，包含不可观测的底层与可观测到的上层：

　　底层是：随时间变化的马尔可夫过程，即状态的变化过程；

　　上层是：与隐藏层（底层）某种程序相关的可观测的状态集合；

④隐马尔科夫模型通常解决的问题包括：
　　1. 对于一个观察序列匹配最可能的系统——评估，使用前向算法（forward algorithm）解决；
　　2. 对于已生成的一个观察序列，确定最可能的隐藏状态序列——解码，使用Viterbi 算法（Viterbi algorithm）解决；
　　3. 对于已生成的观察序列，决定最可能的模型参数——学习，使用前向-后向算法（forward-backward algorithm）解决。

详细：https://www.cnblogs.com/weilen/p/9167061.html

 

 

 

参考：

https://blog.csdn.net/u010358304/java/article/details/79748153

https://blog.csdn.net/u010358304/article/details/79748153