盘古分词 V1.2 版本发布

V1.2 增加如下功能

1. 未登录词识别的开关，可以允许关闭未登录词识别功能

在搜索应用中，打开未登录词识别功能将会产生大量的新词，有些新词其实不是一个真正的词，这样将增加倒排索引的负担，所以盘古分词V1.2版本提供了这个选项，让用户可以关闭未登录词识别，关闭后，未登录词将转换为单字输出。

2. 英文忽略大小写功能

这个功能在处理英文时还是很有用的。

 

3. 过滤掉大于指定长度的英文的功能

有时候我们不想输出英文，这是只要打开这个开关，并将过滤长度设置为0，就可以了。有时候我们只想输出小于某个长度的英文，这个功能就可以用上。

 

4. 过滤掉大于指定长度的数字的功能

同上。

 

下载地址

http://pangusegment.codeplex.com/