超强敏感词过滤算法第二版 可以忽略大小写、全半角、简繁体、特殊符号、HTML标签干扰
摘要：
上一篇 发一个高性能的敏感词过滤算法 可以忽略大小写、全半角、简繁体、特殊符号干扰改进主要有几点： 用BitArray取代Dictionary用空间换时间性能进一步提升大概会增加词库的 6k*字符数的内存开销按1000个词库平均长度为4 30MB左右。 增加防HTML标签的过滤干扰、特殊符号突破ASIIC范围。 添加一个极限优化的unsafe类FilterKeyWordsFast用指针取代原有的char[]数组性能大概提高2-3倍左右。目测已优化到极致了。欢迎做各种对比测试。 /// /// 敏感词过滤 已忽略大小写 全半角 简繁体差异 特殊符号 html标签 干扰 ... 阅读全文
posted @ 2013-12-07 15:48 passer.net 阅读(2100) 评论(10) 推荐(2) 编辑
