语料切词算法研究
语料切词算法研究
1，语料切词需求
实际工程中，常有将文字转为语音播放的需求。比如车辆进场时播放“京B123Y5欢迎光临”，车辆离场时播放“请缴费15元，一路顺风”等。
语料指基础的语音材料，是控制系统提供的可播放的语音片段。语料库一般包括：单个的字母数字、使用汉字、常用的词语组合如“欢迎光临”、“一路顺风”等。如下表：
|
语音索引号 |
语音内容 |
|
0 |
0 |
|
1 |
1 |
|
。。。 |
|
|
9 |
9 |
|
10 |
十 |
|
11 |
百 |
|
12 |
千 |
|
13 |
万 |
|
14 |
年 |
|
15 |
月 |
|
16 |
日 |
|
17 |
天 |
|
18 |
欢迎光临 |
|
19 |
一路平安 |
|
20 |
此卡 |
|
21 |
已过期 |
|
22 |
无效 |
|
23 |
有效 |
|
24 |
有效期 |
|
。。。 |
|
|
37 |
A |
|
38 |
B |
|
。。。 |
|
|
61 |
Y |
|
62 |
Z |
|
63 |
京 |
|
64 |
黑 |
|
。。。 |
|
|
96 |
学 |
|
97 |
警 |
|
。。。 |
|
|
101 |
请缴费 |
|
102 |
点 |
|
103 |
元 |
|
。。。 |
|
|
112 |
您 |
|
113 |
好 |
|
114 |
谢谢 |
|
115 |
欢迎回家 |
|
。。。 |
|
|
161 |
欢迎 |
|
162 |
泊车 |
|
163 |
一路顺风 |
|
。。。 |
|
表1，语料库
比如，要播放“京B123Y5欢迎光临”，按照上述语料库，分别对应：京à63，Bà38，1à1，2à2，3à3，Yà61，5à5，欢迎光临à18，就需要按顺序传递“语音索引号”参数列表：63，38，1,2,3,61,5,18
本文研究对于给定的语料库，输入任意文字字符串，如何高效转换为语料库中对应的“语音索引号”列表。
显然，要实现上述需求，就要对输入的文字串进行切分（即切词），同时切分之后的各部分片段应满足以下要求：
1) 尽可能多地对应于语料库元素，即无法读出的片段尽量少
2) 优先采用语料库中较长元素，使语音读出更加自然。如，假设语料库中有“有效期”、“有效”、“期”三种元素，那么切词应将“有效期”切为一个词，而不是切为“有效”、“期”2个词。
3) 计算速度尽可能快，耗用CPU和内存尽可能少。
2，基本思路
首先，由于切词的位置和长度不确定，造成切词结果的可能性组合非常大。如输入一个20字符的句子，对于一个语料长度最多10字符的1000条语料库来说，完全的匹配计算次数为：
1000*10^20次。参照主流PC机每秒100亿次浮点运算的能力，需要时间为10^13秒。而一般实际要求均需要毫秒级反馈，因此采用有效算法进行查找十分必要。
有效算法依赖于有效的查找表，构建一个适合顺序查找的“语料查找表（PLT）”很有必要。以下为构建要点：
1) 基于语料库
2) 按语料栏位排序，而不是按索引号排序
3) 为满足“要求3“，应从第一个字符开始比对和定位，因此对于语料库中不存在首单字索引的语料，要增加“虚拟”语料。如语料库中有“欢迎”一词，但没有“欢”这个字，就增加一条语料“欢”，其索引为 -１，表示不存在。
4) 扩展PLT栏位：除了语音元素（语料）、索引号以外，增加长度、标记。
a) 长度为语音元素的字节数。如A长度为1，“欢迎光临“长度为8
b) 标记为语料查找提供提示。详见第5条。
5) 为满足“要求2“，在已经查找到语料时，应继续向后查找，看看是否能匹配到更长的语料。假设第L条语料的语音元素为Y（L），若Y(L)不包含在Y(L+1)中，则不必向后查找，此时第L条语料的“标记”栏位设置为0；否则设置为1，其后凡包含Y(L)的语料，设置“标记”栏位为2.
3，编制“语料查找表（PLT）”
语料查找表（PLT，Part Lookup Table）编制原理如上，具体编制过程可编程实现。
如下是依据“表1，语料库”实现的一个PLT。
|
语音元素 |
长度 |
标记 |
索引号 |
|
0 |
1 |
0 |
0 |
|
1 |
1 |
0 |
1 |
|
。。。 |
|
|
|
|
9 |
1 |
0 |
9 |
|
A |
1 |
0 |
37 |
|
B |
1 |
0 |
38 |
|
。。。 |
|
|
|
|
Y |
1 |
0 |
61 |
|
Z |
1 |
0 |
62 |
|
澳 |
2 |
0 |
152 |
|
百 |
2 |
0 |
11 |
|
。。。 |
|
|
|
|
成 |
2 |
1 |
133 |
|
成功 |
4 |
2 |
30 |
|
川 |
2 |
0 |
77 |
|
。。。 |
|
|
|
|
光 |
2 |
1 |
-1 |
|
光临 |
4 |
2 |
165 |
|
欢 |
2 |
1 |
-1 |
|
欢迎 |
4 |
2 |
161 |
|
欢迎光临 |
8 |
2 |
18 |
|
欢迎回家 |
8 |
2 |
115 |
|
及 |
2 |
1 |
-1 |
|
及时 |
4 |
2 |
186 |
|
。。。 |
|
|
|
|
按 |
2 |
1 |
-1 |
|
按临时车计费 |
12 |
2 |
204 |
表2，语料查找表（PLT）
4，基于“语料查找表”的切词算法
输入：InSentence字符串
1) N=0
2) N=n+1
3) N>length(InSentence)? 若是，结束算法；否则继续4
4) 取InSentence第N个字节ByteN
5) ByteN是否在为0-9或A-Z之间？若是，则转100；否则转3
6) N=n+1
7) 取InSentence第N个汉字符CharN
8) 在PLT中查找长度为2的元素，是否有匹配M？若无，转2；若有，转9
9) 记录下M的索引为Idx，标记为F
10) F是否为0？若是，转100；若否，转11
11) M=M+1
12) 记录M的标记是否为2？若否，转200；否则转13
13) 设M的长度为L，语音元素为CharM， 索引号为IdxM。
14) 取InSentence长度为L的字符串与CharM比对是否一致。
15) 若一致，则N=n+L，将索引号IdxM，加入结果集，转2；否则转11
100)在PLT中查找ByteN的索引号Idx，加入结果集，转2
200)将索引号Idx，加入结果集，转2
5，算法测试
输入：你好AB请等待欢迎回来请及时缴费
返回：,-1,113,37,38,98,161,-1,-1,155,186,174
语料切词表如下：
|
语料切词 |
语料索引 |
|
你 |
-1 |
|
好 |
113 |
|
A |
37 |
|
B |
38 |
|
请等待 |
98 |
|
欢迎 |
161 |
|
回 |
-1 |
|
来 |
-1 |
|
请 |
155 |
|
及时 |
186 |
|
缴费 |
174 |
可见，除了语料库中不存在的“你”、“回”、“来”这3个词以外，其余输入均进行了正确切分，算法实现了语料切词的3条需求。
