PHP 扩展 trie-tree, swoole过滤敏感词方案

在一些app，web中评论以及一些文章会看到一些*等，除了特定的不显示外，我们会把用户输入的一些敏感字符做处理，具体显示为*还是其他字符按照业务区实现。

下面简单介绍下业务处理。

原文地址：小时刻个人博客 > http://small.aiweimeng.top/index.php/archives/18.html

php扩展安装说明：

?

1 2	1.安装php扩展trie-tree，安装教程 http://blog.41ms.com/post/39.html 2.安装swoole扩展，安装教程 http://www.swoole.com/

**代码说明:**

1.reload_dict.php，提供自动更新字典库到trie-tree文件的过程

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

/** * 词库维护更新. * Date: 2018/11/7 * Time: 9:42 */   // 设置内存 ini_set('memory_limit','128M');   // 读取敏感词字典库 $handle = fopen('dict.txt','r');   // 生成空的trie-tree-filter $resTrie = trie_filter_new();   while (! feof($handle)) { $item = trim(fgets($handle));   if(empty($item)) { continue; }   // 把敏感词逐个加入trie-tree trie_filter_store($resTrie, $item); }   // 生成trie-tree文件 $blackword_tree = 'blackword.tree';   trie_filter_save($resTrie, $blackword_tree);

2、trie树对象获取工具类

FilterHelper.php，提供获取trie-tree对象，避免重复生成trie-tree对象和保证tree文件与敏感词库的同步更新

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

/** * 过滤器助手. * getResTrie 提供trie-tree对象 * getFilterWords 提取过滤出的字符串 * Date: 2018/11/7 * Time: 9:49 */ class FilterHelper {   // trie-tree对象 private static $_resTrie = null;   // 字典树的更新时间 private static $_mtime = null;        /** * 方式初始化 */ public function __construct(){}     /** * 防止克隆对象 */ public function __clone(){}        /** * 提供trie-tree对象 * * @param string $tree_file 字典文件树路径 * @param string $new_time 当前调用时字典树的更新时间 * @return null */ static public function getRecTrie($tree_file, $new_time) { if(is_null(self::$_mtime)) { self::$_mtime = $new_time; }   if(($new_time != self::$_mtime) || is_null(self::$_resTrie)) { self::$_resTrie = trie_filter_load($tree_file); self::$_mtime = $new_time;   // 输出字典文件重载时间 echo date('Y-m-d H:i:s') . "\tdictionary reload success!\n"; }   return self::$_resTrie;   }        /** * 在源字符串中提取过滤出的敏感词 * * @param string $str 源字符串 * @param array $res 1-3 表示 从位置1开始，3个字符长度 * @return array */ static public function getFilterWords($str, $res) { $result = array(); foreach ($res as $k => $v) { $word = substr($str, $v[0], $v[1]);   if (!in_array($word, $result)) { $result[] = $word; } }   return $result; }     } ```     3、对外提供过滤HTTP访问接口   filter.php，使用swool，对外提交过滤接口访问   ```php /** * 对外提供过滤HTTP访问接口. * Date: 2018/11/7 * Time: 9:59 */     // 设置脚本最大运行内存，根据字典大小调整 ini_set('memory_limit', '512M');   // 设置时区 date_default_timezone_set('PRC');   // 加载助手文件 require_once('FilterHelper.php');   // http服务绑定的ip及端口 $serv = new \swoole_http_server("127.0.0.1", 9502);     /** * 处理请求 */ $serv->on('Request', function($request, $response) {   // 接收get请求参数 $content = isset($request->get['content']) ? $request->get['content']: '';   $result = '';   if (!empty($content)) {   // 字典树文件路径，默认当时目录下 $tree_file = 'blackword.tree';   // 清除文件状态缓存 clearstatcache();   // 获取请求时，字典树文件的修改时间 $new_mtime = filemtime($tree_file);   // 获取最新trie-tree对象 $resTrie = FilterHelper::getResTrie($tree_file, $new_mtime);   // 执行过滤 $arrRet = trie_filter_search_all($resTrie, $content);   // 提取过滤出的敏感词 $a_data = FilterHelper::getFilterWords($content, $arrRet);   $result = json_encode($a_data); }   // 定义http服务信息及响应处理结果 $response->cookie("User", "W.Y.P"); $response->header("X-Server", "W.Y.P WebServer(Unix) (Red-Hat/Linux)"); $response->header('Content-Type', 'Content-Type: text/html; charset=utf-8'); $response->end($result); });   $serv->start();