ASR性能测试方案--详细见云盘
目录：
1. 什么是WER
2. WER计算原理
3. WER测试设计方案
4. 当前业界识别水平
1. 什么是WER
在语音识别（Automatic Speech Recognition, ASR）中，常用的评估标准为词错误率WER（Word Error Rate），当测试语言为中文时，也会使用CER（Character Error Rate）字符错误率，两者计算原理是一样的，英文基本单位是单词Word，中文基本单位是Character。本文中统一使用WER。
WER计算方式为：为了使识别出来的词序列和标准的词序列之间保持一致，需要进行替换，删除，或者插入某些词。这些插入，替换，删除的词的总个数，除以标准的词序列中词的个数的百分比，即为WER，其计算公式如下所示：
字准确率Word Accuracy，简写为 W.Acc，则有W.Acc计算公式：W.Acc = 1 – WER
由于存在计算关系，所以我们测试时只需要测WER即可。
2. WER计算原理
第一行为标准的词序列（REF reference 参照），第二行为识别出来的词序列（HYP hyphen连字符），第三行为字符分类（Eval evaluate 评价）。
那么上述的WER计算如下所示：
增加词3个，替换的词6个，删除的词1个，那么WER为：
WER = （6 + 3 + 1）/ 13 = 76.9%
同理，中文例子如下：
|
REF |
今 |
天 |
* |
天 |
气 |
怎 |
么 |
样 |
|
HYP |
惊 |
天 |
田 |
天 |
气 |
* |
* |
* |
|
Eval |
S |
|
I |
|
|
D |
D |
D |
WER = （1 + 1 + 3）/ 7 = 71.4%
3. WER测试设计方案
本次测试方案分为：
a) 准备好一个标准测试集的txt文本（或其他格式）作为“参考字串集合“，以txt文本为例，记录内容如下
1 今天天气怎么样
2 你叫什么名字
3 .......
b) 准备好测试Demo程序，测试Demo会将测试过程中ASR生成的语句记录到一个文件中，作为”识别结果集合”，格式和步骤a)中的文件一致，便于字串的比较
c) 将“参考字串集合“和”识别结果集合”中的字串按照上文中”2.WER计算原理“进行计算，
输出WER测试结果
4. 当前业界识别水平
英语-WER：
IBM：行业标准Switchboard语音识别任务，2016年 6.9%，2017年 5.5%
微软：行业标准Switchboard语音识别任务，2016年 6.3% -> 5.9%，2017年 5.1%，这个目前最低的。
说明：ICASSP2017上IBM说人类速记员WER是5.1%，一般认为5.9% 的WER字错率是人类速记员的水平。
中文-WER/CER：
小米：2018年 小米电视 2.81%
百度：2016年 短语识别 3.7%
中文-W.Corr（W.Corr = W.Acc = 1-WER）：
百度：2016年 识别准确率 97%
搜狗：2016年 识别准确率 97%
讯飞：2016年 识别准确率 97%
数据来源：
微软WER 5.9%：https://arxiv.org/abs/1610.05256
微软WER 5.1%：
https://www.microsoft.com/en-us/research/wp-content/uploads/2017/08/ms_swbd17-2.pdf
小米电视CER 2.81% ：https://arxiv.org/pdf/1707.07167.pdf
国内百度等同时宣布识别准确率97% ： https://www.zhihu.com/question/53001402
