【敏感词检测】用DFA构建字典树完成敏感词检测任务
任务概述
敏感词检测是各类平台对用户发布内容（UGC）进行审核的必做任务。
对于文本内容做敏感词检测，最简单直接的方法就是规则匹配。构建一个敏感词词表，然后与文本内容进行匹配，如发现有敏感词，则提交报告给人工审核或者直接加以屏蔽。
当然也可以用机器学习的方法来做，不过需要收集及标注大量数据，有条件的话也可以加以实现。
任务难点及解决策略
1）对抗检测的场景：比如同音替换、字形替换、隐喻暗指、词中间插入特殊字符等。
解决策略：特殊字符可以使用特殊字符词表过滤，其他几种不好解决，主要通过扩大敏感词表规模来。
2）断章取义的问题：从语义上理解没有问题，但按窗口大小切出几个字来看，却属于敏感词，造成误报。
解决策略：这个问题主要是分词错误导致的，应当考虑分词规则，而不是无脑遍历，或者用正则匹配。
3）检测效率问题：随着词表的增大，循环查找词表的速度会变得很慢。
解决策略：使用DFA算法构建字典树。
4）词的歧义问题：一个词某个义项是违规的，但其他义项或许是正常的。
解决策略：这个要结合上下文考虑，机器学习类的方法比较容易解决这一问题。
5）词表质量问题：从网络上获取得到的敏感词词表，要么包含词汇较少，不能满足检测需求，要么包含词汇过多，检测出了很多当前业务场景下不需要屏蔽的词。
解决策略：需要定期人工整理。
敏感词字典树的构建
构建字典树使用的是确定有限自动机（DFA）。DFA算法的核心是建立了以敏感词为基础的许多敏感词树。
它的基本思想是基于状态转移来检索敏感词，只需要扫描一次待检测文本（长度n），就能对所有敏感词进行检测。
且DFA算法的时间复杂度O(n)基本上是与敏感词的个数无关的，只与文本长度有关。
如下图所示，比如abcd,abd,bcd,efg,hij这几个词在树中表示如下。
中文的常用字只有四五千个，但由这些字构成的词却难以计数，如果循环遍历，时间消耗极大，而通过字典树，沿着根节点向下，每走一步就可以极大地缩小搜索空间。
代码实现
import jieba
min_match = 1 # 最小匹配原则
max_match = 2 # 最大匹配原则
class SensitiveWordDetect:
def __init__(self, sensitive_words_path, stopWords_path):
#============把敏感词库加载到列表中====================
temp_line_list = []
with open(sensitive_words_path, 'r', encoding='utf-8') as file:
temp_line_list = file.readlines()
self.sensitive_word_list = sorted([i.split('\n')[0] for i in temp_line_list])
# print(self.sensitive_word_list[-10:])
#============把停用词加载到列表中======================
temp_line_list_2 = []
with open(stopWords_path, 'r', encoding='utf-8') as file:
temp_line_list_2 = file.readlines()
self.stop_word_list = [i.split('\n')[0] for i in temp_line_list_2]
#==============得到sensitive字典=======================
self.sensitive_word_map = self.init_sensitive_word_map(self.sensitive_word_list)
#print(self.sensitive_word_map)
#print(len(self.sensitive_word_map))
# 构建敏感词库
def init_sensitive_word_map(self, sensitive_word_list):
sensitive_word_map = {}
# 读取每一行，每一个word都是一个敏感词
for word in sensitive_word_list:
now_map = sensitive_word_map
# 遍历该敏感词的每一个特定字符
for i in range(len(word)):
keychar = word[i]
word_map = now_map.get(keychar)
if word_map != None:
# now_map更新为下一层
now_map = word_map
else:
# 不存在则构建一个map, isEnd设置为0，因为不是最后一个
new_next_map = {}
new_next_map["isEnd"] = 0
now_map[keychar] = new_next_map
now_map = new_next_map
# 到这个词末尾字符
if i == len(word)-1:
now_map["isEnd"] = 1
# print(sensitive_word_map)
return sensitive_word_map
def check_sensitive_word(self, txt, begin_index=0, match_mode=min_match):
'''
:param txt: 输入待检测的文本
:param begin_index:输入文本开始的下标
:return:返回敏感词字符的长度
'''
now_map = self.sensitive_word_map
sensitive_word_len = 0 # 敏感词的长度
contain_char_sensitive_word_len = 0 # 包括特殊字符敏感词的长度
end_flag = False #结束标记位
for i in range(begin_index, len(txt)):
char = txt[i]
if char in self.stop_word_list:
contain_char_sensitive_word_len += 1
continue
now_map = now_map.get(char)
if now_map != None:
sensitive_word_len += 1
contain_char_sensitive_word_len += 1
# 结束位置为True
if now_map.get("isEnd") == 1:
end_flag = True
# 最短匹配原则
if match_mode == min_match:
break
else:
break
if end_flag == False:
contain_char_sensitive_word_len = 0
#print(sensitive_word_len)
return contain_char_sensitive_word_len
def get_sensitive_word_list(self, txt):
# 去除停止词
new_txt = ''
for char in txt:
if char not in self.stop_word_list:
new_txt += char
# 然后分词
seg_list = list(jieba.cut(new_txt, cut_all=False))
cur_txt_sensitive_list = []
# 注意，并不是一个个char查找的，找到敏感词会增强敏感词的长度
for i in range(len(txt)):
length = self.check_sensitive_word(txt, i, match_mode=max_match)
if length > 0:
word = txt[i:i+length]
cur_txt_sensitive_list.append(word)
i = i+length-1 # 出了循环还要+1 i+length是没有检测到的，下次直接从i+length开始
# 对得到的结果和分词结果进行匹配，不匹配的不要
rst_list = []
for line in cur_txt_sensitive_list:
new_line = ''
for char in line:
if char not in self.stop_word_list:
new_line += char
if new_line in seg_list:
rst_list.append(line)
return rst_list
def replace_sensitive_word(self, txt, replace_char='*'):
lst = self.get_sensitive_word_list(txt)
#print(lst)
# 如果需要加入的关键词，已经在关键词列表存在了，就不需要继续添加
def judge(lst, word):
if len(lst) == 0:
return True
for str in lst:
if str.count(word) != 0:
return False
return True
# 最严格的打码，选取最长打码长度
for word in lst:
replace_str = len(word) * replace_char
txt = txt.replace(word, replace_str)
new_lst = []
for word in lst:
new_word = ""
# newWord是除去停用词、最精炼版本的敏感词
for char in word:
if char in self.stop_word_list:
continue
new_word += char
length = self.check_sensitive_word(new_word, 0, match_mode=min_match)
if judge(new_lst, new_word[:length]):
new_lst.append(new_word[:length])
else:
continue
return txt, new_lst # 最终返回的结果是屏蔽敏感词后的文本，以及检测出的敏感词
