应用HTK搭建语音拨号系统3：创建绑定状态的三音素HMM模型
选自：http://maotong.blog.hexun.com/6261873_d.html
苏统华
哈尔滨工业大学人工智能研究室
2006年10月30日
声明：版权所有，转载请注明作者和来源
该系统能够识别连续说出的数字串和若干组姓名。建模是针对子词(sub-word, eg. 音素)，具有一定的可扩充性。当加入一个新名字时，只需修改发音词典和任务语法即可。模型为连续混合高斯输出，运用语音决策树聚类形成的绑定状态式三音素。
3. 创建绑定状态的三音素HMM模型
目的是加入上下文依赖（context-dependent）三音素模型并得到稳健的训练。包括两步，先由单音素得到三音素并重估参数，第二步就是绑定三音素的状态以使输出分布更加稳健。
[step 9]得到三音素HMM
上下文依赖三音素模型可以用单音素作为初始，再进行重估。由于重估时要三音素级标注文本，就先生成标注文本。
HLEd -n .\lists\triphones1 -l * -i .\labels\wintri.mlf mktri.led .\labels\aligned.mlf
编辑脚本mktri.led包括如下命令：
|
文件名：mktri.led |
|
WB sp WB sil TC |
其中文件wintri.mlf是由单音素标注文本文件aligned.mlf转换成的等价三音素标注文本。一个三音素的列表保存到了triphones1。
下面利用HMM编辑器初始化三音素模型。所用命令为：
HHEd -H .\hmms\hmm9\macros -H .\hmms\hmm9\hmmdefs -M .\hmms\hmm10 mktri.hed .\lists\monophones1
其中的mktri.hed文件由perl脚本生成：
perl .\scripts\maketrihed .\lists\monophones1 .\lists\triphones1
修改mktri.hed文件，把第一行的.\lists\triphones1改成./lists/triphones1。
运行HHEd得到如下警告，没有大碍的：
WARNING [-2631] ApplyTie: Macro T_sp has nothing to tie of type t in HHEd
WARNING [-2631] ApplyTie: Macro T_sil has nothing to tie of type t in HHEd
重估两次：
HERest -C .\config\config1 -I .\labels\wintri.mlf -t 250.0 150.0 1000.0 -S train.scp -H .\hmms\hmm10\macros -H .\hmms\hmm10\hmmdefs -M .\hmms\hmm11 .\lists\triphones1
HERest -C .\config\config1 -I .\labels\wintri.mlf -t 250.0 150.0 1000.0 -s stats -S train.scp -H .\hmms\hmm11\macros -H .\hmms\hmm11\hmmdefs -M .\hmms\hmm12 .\lists\triphones1
两次均会有如下警告，不用理会：
Pruning-On[250.0 150.0 1000.0]
WARNING [-2331] UpdateModels: ax-n[7] copied: only 1 egs in HERest
WARNING [-2331] UpdateModels: l-y+ax[26] copied: only 1 egs in HERest
WARNING [-2331] UpdateModels: y-ax+n[39] copied: only 1 egs in HERest
WARNING [-2331] UpdateModels: uw-l+y[43] copied: only 1 egs in HERest
试着执行一下识别任务，看看怎么样：
HVite -H .\hmms\hmm12\macros -H .\hmms\hmm12\hmmdefs -S test.scp -l * -i recout_step9.mlf -w wdnet -p 0.0 -s 5.0 .\dict\dict2 .\lists\triphones1
暂时未通过，报错：
ERROR [+8231] GetHCIModel: Cannot find hmm [y-]uw[+???]
FATAL ERROR - Terminating program HVite
令config2在config1基础上加入FORCECXTEXP=T，ALLOWXWRDEXP=F，仍没有改善。通过分析dict2，发现y-uw+?出现在单词SUE的第二种发音上。注释掉这一行，仍然报错，但跟上次的错误有了可喜的差别：
ERROR [+8231] GetHCIModel: Cannot find hmm [ao-]r[+???]
FATAL ERROR - Terminating program HVite
看来路子是对的。ao-r+?出现在单词FOUR的第二种发音上，再次注释掉，把进行了如上两行注释的字典存为dict4。重新运行HVite，不再出错：
HVite -H .\hmms\hmm12\macros -H .\hmms\hmm12\hmmdefs -S test.scp -l * -i .\results\recout_step9.mlf -w wdnet -p 0.0 -s 5.0 .\dict\dict4 .\lists\triphones1
dict4字典如下所示：
|
文件名：.\dict\dict4 |
|
CALL k ao l sp DAVE d ey v sp DIAL d ay ax l sp EIGHT ey t sp FIVE f ay v sp FOUR f ao sp #FOUR f ao r sp JULIAN jh uw l ia n sp JULIAN jh uw l y ax n sp LAW l ao sp LEE l iy sp NINE n ay n sp OH ow sp ONE w ah n sp PHIL f ih l sp PHONE f ow n sp SENT-END [] sil SENT-START [] sil SEVEN s eh v n sp SIX s ih k s sp STEVE s t iy v sp SUE s uw sp #SUE s y uw sp THREE th r iy sp TWO t uw sp TYLER t ay l ax sp WOOD w uh d sp YOUNG y ah ng sp ZERO z ia r ow sp |
进行识别验证：
HResults -I .\labels\testwords.mlf .\lists\monophones1 .\results\recout_step9.mlf
所得结果如下：
|
====================== HTK Results Analysis ======================= Date: Mon Oct 30 22:45:31 2006 Ref : .\labels\testwords.mlf Rec : .\results\recout_step9.mlf ------------------------ Overall Results -------------------------- SENT: %Correct=93.33 [H=14, S=1, N=15] WORD: %Corr=100.00, Acc=97.06 [H=68, D=0, S=0, I=2, N=68] ============================================================== |
可以看出，基于三音素的HMM比基于单音素的HMM有较大的性能提升。
我们进一步进行讨论dict4的由来。由于在step 8中对标记文本和语音数据进行了校准，对于象FOUR，SUE这样有多个发音的单词，在Vitebi算法的作用下，会选择最大化似然率的单词，而不是象step 4那样选择第一种读音。结果使dict2中的发音在扩展成三音素时在音素级真值文本中没有实例，当然也就找不到该三音素的HMM模型。这时会报错。根据这个原理，可以编一个Perl脚本自动对字典中没用到的单词注释掉。我把这个脚本命名为makedict.pl，包含在scripts文件夹里。它可以代替上面的手工注释工作，使用下面的命令可以得到dict4：
perl .\scripts\makedict.pl .\dict\dict2 .\dict\dict4 .\lists\triphones1
注8：hmm11下的模型文件并没有包含在压缩包里。
[step 10]绑定三音素
在上一步估计模型时，因数据不足导致很多分布的方差只好用截至方差vFloors。这一步就是通过绑定状态来共享数据，使输出分布更加的稳健。HHEd提供两种聚类状态的机制，这里采用的是决策树：
HHEd -H .\hmms\hmm12\macros -H .\hmms\hmm12\hmmdefs -M .\hmms\hmm13 tree.hed .\lists\triphones1 > log
上面的tree.hed用perl脚本mkclscript.prl (.\scripts\目录下)生成：
perl mkclscript.prl TB 350.0 .\lists\monophones1>tree.hed
这时候的tree.hed的内容：
|
文件名：中间tree.hed |
|
TB 350 "k_s2" {("k","*-k+*","k+*","*-k").state[2]} TB 350 "ao_s2" {("ao","*-ao+*","ao+*","*-ao").state[2]} …… TB 350 "z_s4" {("z","*-z+*","z+*","*-z").state[4]}
|
还要往tree.hed中插入问题集和trace等信息。最终形式如下：
|
文件名：最终tree.hed |
|
RO 100.0 stats TR 0 QS "R_NonBoundary" { *+* } …… QS "L_z" { z-* } TR 2 TB 350 "k_s2" {("k","*-k+*","k+*","*-k").state[2]} TB 350 "ao_s2" {("ao","*-ao+*","ao+*","*-ao").state[2]} …… TB 350 "z_s4" {("z","*-z+*","z+*","*-z").state[4]} TR 1 ST trees CO ./lists/tiedlist AU ./lists/fulllist |
在tree.hed中，tiedlist是绑定后的不同三音素列表。fulllist是输入参数，代表绑定前的所有三音素列表，所以要事先制作。HTK book的制作方法：
HDMan -b sp -n .\lists\fulllist -g global2.ded -l flog .\dict\beep-tri .\dict\beep
其中，文件global2.ded是在global.ded基础上加入了TC命令：
|
文件名：global2.ded |
|
AS sp RS cmu MP sil sil sp TC |
HDMan这里所做的工作包括1）按照global.ded的配置把beep字典中的发音扩展成（词内）三音素形式，保存到beep-tri字典；2）提取beep-tri中出现的所有不同三音素保存到fulllist列表中。但是你会发现，按照上述方式制作的fulllist在执行HHEd时会引发错误，下面是我得到的一个例子：
ERROR [+2662] FindProtoModel: no proto for k-b+l in hSet
FATAL ERROR - Terminating program HHEd
这是什么原因呢？其实上面错误提示中的k-b+l并没在我们的演示任务中出现。正因为没出现，所以HMM模型文件里没它的位置。要解决这个错误，有两种解决途径。第一个路子，既然提示模型文件里没有三音素的模型，那就给它制作一个。可以把单音素*-b+*的模型复制一份给k-b+l，对于其他没模型的三音素也这样处理。我们这里不用这个路子，因为工作量太大了一点点。我们走第二条路，这条路在htk的maillist中有人提到过，详见2006年4月24日的一封信，作者是Moustafa Nabil。这条路不用beep字典，而使用我们制作的任务字典。我们对dict2进行修改，另存为dict5，其中去掉了下述两项：
SENT-END [] sil
SENT-START [] sil
执行HDMan生成fulllist：
HDMan -b sp -n .\lists\fulllist -g global3.ded -l flog .\dict\dict5-tri .\dict\dict5
上面的global3.ded是在global2.ded基础上去掉了AS sp一行，因为dict5中的每一单词发音后已经存在sp了。文件global3.ded的内容如下：
|
文件名：global3.ded |
|
RS cmu MP sil sil sp TC |
重新执行HHEd，不会再出错了。我们重估两次：
HERest -C .\config\config1 -I .\labels\wintri.mlf -t 250.0 150.0 1000.0 -S train.scp -H .\hmms\hmm13\macros -H .\hmms\hmm13\hmmdefs -M .\hmms\hmm14 .\lists\tiedlist
出现如下错误：
ERROR [+5010] InitSource: Cannot open source file sil
ERROR [+7010] LoadHMMSet: Can't find file
ERROR [+2321] Initialise: LoadHMMSet failed
FATAL ERROR - Terminating program HERest
在fulllist中加入sil。重新运行HHEd一次，这时的HERest只有一个警告：
Pruning-On[250.0 150.0 1000.0]
WARNING [-2331] UpdateModels: ax-n[7] copied: only 1 egs in HERest
再重估一次：
HERest -C .\config\config1 -I .\labels\wintri.mlf -t 250.0 150.0 1000.0 -S train.scp -H .\hmms\hmm14\macros -H .\hmms\hmm14\hmmdefs -M .\hmms\hmm15 .\lists\tiedlist
这次的警告与上次相同，没有关系的。
