隐马尔可夫模型---《数学之美》读书笔记

隐马尔可夫模型是一个不复杂的模型，目前为止，是解决大多数自然语言处理问题最为有效、快速的方法。在语音处理、机器翻译中都有应用。早期的自然语言处理都集中在语法、语义、和知识表述上，如今更多的是将自然语言处理回归到通信系统中的解码问题。隐马尔可夫模型是由美国数学家鲍姆等人在20世纪六七十年代发表的一些论文中提出的，隐马尔可夫模型的训练方法（鲍姆-韦尔奇算法）也是以他的名字命名的。首先我们要去了解一下马尔可夫链，到了19世纪概率论的发展从相对静态的随机变量的研究发展到对随机变量的时间变量，即随机过程动态的研究。马尔可夫为了简化问题，提出了一种假设，即随机过程中的各个状态的概率分布，只与它的前一个状态有关，比如明天的天气只与今天的天气有关，尽管二者的相关性不大，这里只是一个假设。这个假设后来被命名为马尔可夫假设，符合这个过程的随机过程称为马尔可夫过程，也称为马尔可夫链。

围绕着隐马尔可夫模型有三个基本问题：

1、给定一个模型，如何计算某个特定的输出序列的概率。

2、给定一个特定的模型和某个特定的输出序列，如何找到最可能产生这个输出的状态序列。

3、给定足够量的观测数据，如何来估计出隐马尔可夫模型的参数。

对于第一个问题对应的算法是Forward-Backward算法，第二个问题可以使用维比特算法，第三个问题就是隐马尔可夫模型训练的问题。训练隐马尔可夫模型较为实用的方法就是无监督训练方法，通过大量的数据推算出模型的参数。其中主要使用的是鲍姆-韦尔奇算法（https://blog.csdn.net/watermelon12138/article/details/90736787）。