HMM和Viterbi

1. 隐马尔可夫模型的定义和构成

2. 隐马尔可夫模型的三个问题

3. 基于隐马尔可夫模型的分词算法实现

1.1. 介绍隐马尔科夫模型之前首先说一下几个重要的概念，

（1）马尔可夫假设：模型的当前状态仅仅依赖于前面n个状态，可以看到这种假设有可能会丢失信息。

（2）马尔可夫过程：状态间的转移仅仅依赖于前n个状态的过程，也就是当前的状态跟前n个状态之前的状态无关。

（3）马尔可夫链：时间和状态都是离散的马尔可夫过程叫做马尔可夫链，这里的重点是离散

（4）马尔科夫模型：独立于时间t的随机过程，也就是跟时间t没关系,状态跟具体哪个时刻没关系，t只用来说明状态的顺序

1.2 隐马尔可夫模型（hidden Markov model, HMM）

马尔可夫模型有时又叫做可视马尔可夫模型，因为状态是可以看到的，隐马尔可夫模型的状态是看不的，可以观察到的是一些观察值，这些观察值是由状态按照一定的概率产生的，所以可以看到这里有两个随机过程，一个是一个状态到另一个状态的随机，一个是状态到观察值的随机。

一个HMM由如下几个部分组成：

（1）状态的数目N

（2）观察值得数目M

（3）状态的概率转移矩阵A={aij}，即从第i个状态到第j个状态的概率，且概率和为1。

（4）状态到观察值的概率B={bij}，即从第i个状态到第j个观察值得概率，且概率和为1。

（5）第一次选择哪个状态的概率qi，即一个序列中第i个状态为第一个状态的概率，概率和为1。

例：一个暗室里有N个口袋，每个口袋中有M种不同颜色的球，一个人按照一定的概率分布（p1）随机的选取一个初始口袋，从中根据不同颜色的概率分布p2选取一个球，并报告该球的初始颜色，然后再根据口袋的概率分布p3选取另外一个口袋，根据不同颜色球的概率分布选取一个球并报告该球的颜色，重复这个过程。这里的N个口袋就是HMM的N个状态，M个颜色就是HMM的M个观察值，p1就是HMM的初始状态概率，p3就是HMM的状态转移概率A，p2HMM的状态到观察值的概率B

2. 隐马尔科夫模型的三个问题

2.1 估值问题，如何根据已知的参数，估计一个观察值的概率。就是在1.2中5个部分已知的情况下，估计一个观察值的概率。

例如：给定一个观察序列   和模型，计算在给定u的情况下，观察序列O的概率，即P(O|u)

解决方法：前向算法

具体的程序实现为：

/**
     * 前向算法
     * @param phmm
     * @param O
     * @return：输出所有的前向概率，p(O|u)只要将T时刻的前向概率求和即可
     */
    public static double [][] forward(HMMEntity phmm, int []O){

        int i,j;
        int t;
        double sum;
        int T = O.length;
        double [][] alpha = new double[T][phmm.getN()];

        //初始化，计算t1时刻所有状态的局部概率
        for(i=0;i<phmm.getN();i++){
            alpha[0][i] = phmm.getPi()[i] * phmm.getB()[i][O[0]];
            System.out.println("alpha[0]["+i+"] = "+alpha[0][i]);
        }

        //递归计算每个时间点的局部概率
        for(t=0;t<T-1;t++){
            for(j=0;j<phmm.getN();j++){
                sum = 0.0;
                for(i=0;i<phmm.getN();i++){
                    sum += alpha[t][i] * phmm.getA()[i][j];
                }
                alpha[t+1][j] = sum * phmm.getB()[j][O[t+1]];
                System.out.println("alpha["+(t+1)+"]["+j+"] = "+alpha[t+1][j]);
            }
        }
        return alpha;
    }

2.2 解码问题：给定一个观察序列和模型，如何快速有效的选择最优的状态序列，是的该状态序列最好的解释观察序列

解决方法：维特比算法

实现：

/**
     * 维特比算法
     * @param phmm
     * @param O
     */
    public static int[] viterbi(HMMEntity phmm,int []O){

        int i,j;
        int t;

        int maxvalind;
        double maxval,val;
        int T = O.length;
        double[][] delta = new double[T][phmm.getN()];
        int[][]psi = new int[T][phmm.getN()];

        for(i=0;i<phmm.getN();i++){
            delta[0][i] = phmm.getPi()[i]* phmm.getB()[i][O[0]];
            psi[0][i] = 0;
        }

        for(t=1;t<T;t++){
            for(j=0;j<phmm.getN();j++){
                maxval = 0.0;
                maxvalind = 1;
                for(i=0;i<phmm.getN();i++){
                    val = delta[t-1][i]*phmm.getA()[i][j];
                    if(val > maxval){
                        maxval = val;
                        maxvalind = i;
                    }
                }
                delta[t][j] = maxval*phmm.getB()[j][O[t]];
                psi[t][j] = maxvalind;
            }
        }

        double pprob = 0;
        int q[] = new int[T];
        for(i=0;i<phmm.getN();i++){
            if(delta[T-1][i]>pprob){
                pprob = delta[T-1][i];
                q[T-1] = i;
            }
        }

        for(t=T-2;t>=0;t--){
            q[t] = psi[t+1][q[t+1]];
        }

        return q;

    }