AC-BM算法

AC-BM算法将待匹配的字符串集合转换为一个类似于Aho-Corasick算法的树状有限状态自动机,但构建时不是基于字符串的后缀而是前缀。匹配时,采取自后向前的方法,并借用BM算法的坏字符跳转(Bad Character Shift)和好前缀跳转(Good Prefix Shift)技术。
   坏字符跳转即当字符串树中的字符与被匹配内容x失配时,将字符串树跳转到下一个x的出现位置,如果x的字符串树不存在,则将字符串树向左移动字符串树的最小字符串长度。好前缀跳转即当字符串树中的字符与被匹配内容x失配时,将字符串树跳转到字符串树中一个与被测正文部分等同的位置。这个等同部分可以是字符串树中某字符串的子串(子串跳转),也可以是一个字符串的后缀(后缀跳转)。
   当既有好后缀跳转,又有坏字符跳转时,则判断如果有后缀跳转,就使用好前缀跳转(子串跳转与后缀跳转的最小值);否则,使用好前缀跳转与坏字符跳转的最大值。
具体C实现代码如下:
AC-BM.h文件:
[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. #ifndef _AC_BM_H  
  2. #define _AC_BM_H  
  3. #define PATTERN_LEN 1024  
  4. #define MAX_ITEMS 20  
  5.    
  6. /// 模式树节点结构  
  7. typedef struct _pattern_tree_node  
  8. {  
  9.  int label ;         // 标识, -2 根节点, -1 中间节点, n 第n个字串尾节点  
  10.  int depth ;           // 节点深度  
  11.    
  12.  unsigned char ch ;       // 节点对应的字符  
  13.  int GSshift ;        // 好字串位移  
  14.  int BCshift ;  
  15.  unsigned char one_child ;     // 其中的一个子索引字符  
  16.  struct _pattern_tree_node *childs[256] ; // 256个字符的对应节点指针  
  17.  int nchild ;                             // 子节点个数  
  18.  struct _pattern_tree_node *parent ;      // 父节点  
  19. } pattern_tree_node ;  
  20.   
  21. // 关键字数据结构  
  22. typedef struct _pattern_data  
  23. {  
  24.  unsigned char data[PATTERN_LEN] ; // 关键字字串  
  25.  int len ;                         // 关键字字串长  
  26. } pattern_data ;  
  27.   
  28. // 模式树结构  
  29. typedef struct _pattern_tree  
  30. {  
  31.  pattern_tree_node *root ;  // 树根节点  
  32.  int max_depth ;     // 最大字串深度  
  33.  int min_pattern_size ;          // 最短的字串长度  
  34.  int BCshift[256] ;             // 256个字符中坏字符的shift  
  35.  pattern_data *pattern_list ;  // 指向节点数组第一个字串的指针  
  36.  int pattern_count ;             // 包含的字串个数  
  37. } pattern_tree ;  
  38.   
  39. // 匹配信息结构体  
  40. typedef struct _matched_info  
  41. {  
  42.  int pattern_i ;               // 关键字在关键字数组中的index  
  43.  unsigned long offset ;        // 在待匹配文本text中的偏移值  
  44. } matched_info_t ;  
  45. // 创建 模式树  
  46. int ACtree_build (pattern_tree *ptree,  
  47.       pattern_data *patterns,  
  48.       int npattern) ;  
  49. // 打印 当前节点及其所有后缀节点  
  50. void _print_tree (pattern_tree_node *root) ;  
  51. // 打印 整个模式树  
  52. void ACtree_print_tree (pattern_tree *ptree);  
  53. // 打印 搜索结果  
  54. int match_resualt_printf_ex (unsigned char *text,  
  55.         pattern_data *patterns,  
  56.         int npattern,  
  57.         matched_info_t matched_items[],  
  58.         int nmatched);  
  59. // 释放 模式树空间  
  60. void _clean_tree(pattern_tree_node *root) ;  
  61. // 设置 模式树的BCshift  
  62. int ACtree_compute_BCshifts (pattern_tree *ptree) ;  
  63. // 创建 ac_bm模式树  
  64. pattern_tree *acbm_init (pattern_data *patterns, int npattern) ;  
  65. // 释放 ac_bm模式树空间  
  66. void acbm_clean (pattern_tree *ptree) ;  
  67. // ac_bm搜索算法改进版  
  68. int acbm_search (pattern_tree *ptree,   
  69.      unsigned char *text,  
  70.      int text_len,  
  71.      matched_info_t matched_items[],   
  72.      int nmax_index);  
  73. // 计算并调整ACTree模式树的BCshift和GSshift  
  74. int ACtree_compute_shifts(pattern_tree *ptree) ;  
  75. // 计算并调整ACTree模式树的GSshift  
  76. int ACtree_compute_GSshifts(pattern_tree *ptree) ;  
  77. // 初始化ACTree的GSshift  
  78. int ACtree_init_GSshifts(pattern_tree *ptree) ;  
  79. // 初始化当前节点的GSshift  
  80. int _init_GSshifts(pattern_tree_node *root, int shift) ;  
  81. // 调整ACTree中关键字pat1的GSshift  
  82. int set_GSshift (pattern_tree *ptree,  
  83.      unsigned char *pat,   
  84.      int depth,  
  85.      int shift) ;  
  86. // 调整ACTree中关键字pat1因pat2而发生变化的GSshift  
  87. int compute_GSshift(pattern_tree *ptree,  
  88.         unsigned char *pat1,  
  89.      int pat1_len,  
  90.      unsigned char *pat2,  
  91.      int pat2_len) ;  
  92. #endif  

AC-BM.c文件如下:
[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. #include <stdio.h>  
  2. #include <stdlib.h>  
  3. #include <string.h>  
  4. #include <time.h>  
  5. #include "ac_bm.h"  
  6. // 宏定义  
  7. //#define CASE_SENSITIVE  
  8. //#define DEBUG_SEARCH  
  9.   
  10. unsigned char mychar[100];  
  11.   
  12. /*-------------------------------------------------------------------------- 
  13. * 函数名: 
  14. *    ACTree_bulid 
  15.  
  16. * 函数功能: 
  17. *    创建ACtree模式树,包括各个节点,字符索引,及其他的信息,ptree指向根节点 
  18.  
  19. * 参数说明: 
  20. *    pattern_tree *ptree    : 指向ACTree的指针 
  21. *    pattern_data *patterns : 关键字字串数组 
  22. *    int npattern           : 关键字字串个数 
  23.  
  24. * 返回值类型:   int 
  25. *    0 : 创建成功 
  26. *   -1 : 出错 
  27. ----------------------------------------------------------------------------*/  
  28. int ACtree_build (pattern_tree *ptree,  
  29.       pattern_data *patterns,  
  30.       int npattern)  
  31. {  
  32.  int i ;  
  33.  pattern_tree_node *root = NULL, *parent = NULL ;  
  34.  unsigned char ch ;  
  35.  int max_pattern_len = 0, min_pattern_len = PATTERN_LEN ;  
  36.  if (NULL == ptree || NULL == patterns || npattern < 0)  
  37.  {  
  38.   goto err ;  
  39.  }  
  40.    
  41.  root = (pattern_tree_node *) malloc (sizeof (pattern_tree_node)) ;  
  42.  if (NULL == root)  
  43.  {  
  44.   goto err ;  
  45.  }  
  46.  memset (root, 0, sizeof (pattern_tree_node)) ;  
  47.  root->label = -2 ;    // 树根标志  
  48.  root->depth = 0 ;     // 树根深度  
  49.  // 对输入的字串循环处理添加进ACTree  
  50.  for (i = 0 ; i < npattern ; i++)  
  51.  {  
  52.   int pat_len ;  
  53.   int ch_i ;  
  54.   pat_len = (patterns+i)->len ;  
  55.   if (pat_len == 0)  
  56.   {  
  57.    continue ;  
  58.   }  
  59.   else  
  60.   {  
  61.    if (pat_len > PATTERN_LEN)  
  62.    {  
  63.     pat_len = PATTERN_LEN ;  
  64.    }  
  65.    if (pat_len > max_pattern_len)  
  66.    {  
  67.     max_pattern_len = pat_len ;  
  68.    }  
  69.    if (pat_len < min_pattern_len)  
  70.    {  
  71.     min_pattern_len = pat_len ;  
  72.    }  
  73.    parent = root ;  
  74.    for (ch_i = 0 ; ch_i < pat_len ; ch_i++)  
  75.    {  
  76.     ch = ((patterns+i)->data)[ch_i] ;  
  77.     #ifndef CASE_SENSITIVE  
  78.     ch = tolower(ch) ;  
  79.     #endif  
  80.     // 对应的字符索引为NULL  
  81.     if (NULL == parent->childs[ch])  
  82.     {  
  83.      break ;  
  84.     }  
  85.     parent = parent->childs[ch] ;  
  86.    }  
  87.    if (ch_i < pat_len)  
  88.    {  
  89.     // 在父节点下添加新节点  
  90.     for (; ch_i < pat_len ; ch_i++)  
  91.     {  
  92.      pattern_tree_node *node = NULL ;  
  93.      ch = ((patterns+i)->data)[ch_i] ;  
  94.      #ifndef CASE_SENSITIVE  
  95.      ch = tolower(ch) ;  
  96.      #endif  
  97.      node = (pattern_tree_node *) malloc (sizeof (pattern_tree_node)) ;  
  98.      if (node == NULL)  
  99.      {  
  100.       goto err ;  
  101.      }  
  102.      memset (node, 0, sizeof(pattern_tree_node)) ;  
  103.      node->depth = ch_i + 1 ;  
  104.      node->ch = ch ;  
  105.      node->label = -1 ;  
  106.      // 将新节点添加到父节点的对应字符索引指针  
  107.      parent->childs[ch] = node ;  
  108.      // 不考虑大小写的分别  
  109.      #ifndef CASE_SENSITIVE  
  110.      if ((ch >= 'a') && (ch <= 'z'))  
  111.      {  
  112.       parent->childs[ch-32] = node ;  
  113.      }  
  114.      #endif  
  115.      parent->nchild++ ;  
  116.      parent->one_child = ch ;  
  117.      node->parent = parent ;  
  118.      parent = node ;  
  119.     }  
  120.    }  
  121.   }  
  122.   // lable 记录字串来自于第几个输入字串  
  123.   parent->label = i ;  
  124.  }  
  125.  ptree->pattern_list = patterns ;  
  126.  ptree->pattern_count = npattern ;  
  127.  ptree->root = root ;  
  128.  ptree->max_depth = max_pattern_len ;  
  129.  ptree->min_pattern_size = min_pattern_len ;  
  130.  return 0 ;  
  131. err:  
  132.  // 出错处理,释放申请的空间  
  133.  if (ptree->root != NULL)  
  134.  {  
  135.   _clean_tree (ptree->root) ;  
  136.   free (ptree->root) ;  
  137.   ptree->root = NULL ;  
  138.  }  
  139.  return -1 ;  
  140. }  
  141.   
  142. /*-------------------------------------------------------------------------- 
  143. * 函数名: 
  144. *    _print_tree 
  145.  
  146. * 函数功能: 
  147. *    打印当前节点及其所有后缀节点 
  148.  
  149. * 参数说明: 
  150. *    pattern_tree_node *root : 当前的节点的指针 
  151.  
  152. * 返回值类型:  void 
  153. *    无 
  154. ----------------------------------------------------------------------------*/  
  155. void _print_tree (pattern_tree_node *root)  
  156. {  
  157.  int i ;  
  158.  if (NULL == root)  
  159.   return ;  
  160.  printf("ch:%2c   GSshift:%2d   label:%2d   depth:%2d   childs:", root->ch, root->GSshift, root->label, root->depth) ;  
  161.  for (i = 0 ; i < 256 ; i++)  
  162.  {  
  163.   #ifndef CASE_SENSITIVE  
  164.   if ((i >= 'A') && (i <= 'Z'))  
  165.   {  
  166.    continue ;  
  167.   }  
  168.   #endif  
  169.   if (NULL != root->childs[i])  
  170.   {  
  171.    printf("%c ", (root->childs[i])->ch) ;  
  172.   }  
  173.  }  
  174.  printf("\n") ;  
  175.  // 递归打印本节点的所有后缀节点信息  
  176.  for (i = 0 ; i < 256 ; i++)  
  177.  {  
  178.   if (NULL != root->childs[i])  
  179.   {  
  180.    _print_tree (root->childs[i]) ;  
  181.   }  
  182.  }  
  183.  return ;  
  184. }  
  185.   
  186. /*-------------------------------------------------------------------------- 
  187. * 函数名: 
  188. *    ACtree_print_tree 
  189. * 
  190. * 函数功能: 
  191. *    打印整个树ACTree的所有节点字符信息 
  192. * 
  193. *  参数说明: 
  194. *    pattern_tree *ptree    : 指向ACTree模式树的指针 
  195.  
  196. * 返回值类型:  void 
  197. *    无 
  198. ----------------------------------------------------------------------------*/  
  199. //#if 0  
  200. void ACtree_print_tree (pattern_tree *ptree)  
  201. {  
  202.  printf ("--- ACTree information---\n") ;  
  203.  if (NULL == ptree)  
  204.  {  
  205.   return ;  
  206.  }  
  207.  if (NULL != ptree->root)  
  208.  {  
  209.   _print_tree (ptree->root) ;  
  210.  }  
  211.  return ;  
  212. }  
  213. //#endif  
  214.   
  215. /*-------------------------------------------------------------------------- 
  216. * 函数名: 
  217. *    ACtree_compute_BCshifts 
  218. * 
  219. * 函数功能: 
  220. *    设置ptree的BCshift 
  221. * 
  222. *  参数说明: 
  223. *    pattern_tree *ptree    : 指向ACTree模式树的指针 
  224.  
  225. * 返回值:  int 
  226. *    0 : 处理成功 
  227. ----------------------------------------------------------------------------*/  
  228. int ACtree_compute_BCshifts (pattern_tree *ptree)  
  229. {  
  230.  int i, j = 0 ;  
  231.  for (i = 0 ; i < 256 ; i++)  
  232.   ptree->BCshift[i] = ptree->min_pattern_size ;  
  233.  for (i = ptree->min_pattern_size - 1 ; i > 0 ; i--)  
  234.  {  
  235.   for (j = 0 ; j < ptree->pattern_count ; j++)   
  236.   {  
  237.    unsigned char ch ;  
  238.    ch = (ptree->pattern_list+j)->data[i] ;  
  239.      
  240.    #ifndef CASE_SENSITIVE  
  241.    ch = tolower(ch) ;  
  242.    #endif  
  243.    ptree->BCshift[ch] = i ;  
  244.    #ifndef CASE_SENSITIVE  
  245.    if ((ch > 'a') && (ch <'z'))  
  246.    {  
  247.     ptree->BCshift[ch-32] = i ;  
  248.    }  
  249.    #endif  
  250.   }  
  251.  }  
  252.  return 0 ;  
  253. }  
  254.   
  255. /*-------------------------------------------------------------------------- 
  256. * 函数名: 
  257. *    set_GSshift 
  258. * 
  259. * 函数功能: 
  260. *    设置ACTree中关键字pat1的GCshift 
  261. * 
  262. * 参数说明: 
  263. *    pattern_tree *ptree    : 指向ACTree模式树的指针 
  264. *    unsigned char *pat     : 关键字pat1 
  265. *    int depth              : 要改变GSshift字符的深度为depth 
  266. *    int shift              : 拟进行的变化 
  267. * 
  268. * 返回值:  int 
  269. *    0 : 处理成功 
  270. *   -1 : 出错 
  271. ----------------------------------------------------------------------------*/  
  272. int set_GSshift (pattern_tree *ptree, unsigned char *pat, int depth, int shift)  
  273. {  
  274.  int i ;  
  275.  pattern_tree_node *node ;  
  276.  if (NULL == ptree || NULL == ptree->root)  
  277.  {  
  278.   goto err ;  
  279.  }  
  280.  node = ptree->root ;  
  281.  for (i = 0 ; i < depth ; i++)   
  282.  {  
  283.   node = node->childs[pat[i]] ;  
  284.   if (NULL == node)  
  285.   {  
  286.    goto err ;  
  287.   }  
  288.  }  
  289.    
  290.  // 取小位移  
  291.  node->GSshift = node->GSshift < shift ? node->GSshift : shift ;  
  292.  return 0 ;  
  293. err:  
  294.  return -1 ;  
  295. }  
  296.   
  297. /*-------------------------------------------------------------------------- 
  298. * 函数名: 
  299. *    compute_GSshift 
  300. * 
  301. * 函数功能: 
  302. *    调整ACTree中关键字pat1因pat2而发生变化的GSshift 
  303. * 
  304. * 参数说明: 
  305. *    pattern_tree *ptree    : 指向ACTree的指针 
  306. *    unsigned char *pat1    : 关键字pat1 
  307. *    int pat1_len           : 关键字pat1的字串长度 
  308. *    unsigned char *pat2    : 关键字pat2 
  309. *    int pat2_len           : 关键字pat2的字串长度 
  310. * 
  311. * 返回值:  int 
  312. *    0 : 处理成功 或 未出错 
  313. *   -1 : 出错 
  314. ----------------------------------------------------------------------------*/  
  315. int compute_GSshift (pattern_tree *ptree,   
  316.       unsigned char *pat1,   
  317.       int pat1_len,   
  318.       unsigned char *pat2,   
  319.       int pat2_len)  
  320. {  
  321.  unsigned char first_char ;  
  322.  int i ;  
  323.  int pat1_index, pat2_index, offset ;  
  324.  if (NULL == pat1 || NULL == pat2 || pat1_len < 0 || pat2_len < 0)  
  325.  {  
  326.   goto err ;  
  327.  }  
  328.  if (pat1_len == 0 || pat2_len == 0)  
  329.  {  
  330.   return 0 ;  
  331.  }  
  332.  first_char = pat1[0] ;  
  333.    
  334.  #ifndef CASE_SENSITIVE  
  335.  first_char = tolower(first_char) ;  
  336.  #endif  
  337.  // 从pat2第二个字符开始考虑, 为什么不是第一个字符?? 因为第一个比较没有意义。这段代码主要作用于寻找  
  338.  //前缀在字符串中重复出现?为什么只考虑第二位?如果第二位不同直接跳转,如果在第三位出现不是找不到了?  
  339.  for (i = 1 ; i < pat2_len ; i++)  
  340.  {  
  341.   #ifndef CASE_SENSITIVE  
  342.   if (tolower(pat2[i]) != first_char)  
  343.   #else   
  344.   if (pat2[i] != first_char)  
  345.   #endif  
  346.    break ;  
  347.  }  
  348.  set_GSshift (ptree, pat1, 1, i) ;   //计算每个模式串第一个字符的GSshift  
  349.     //ACtree_print_tree (ptree) ;   //测试  
  350.  i = 1 ;               //为什么又重新负值1??  
  351.  while (1)                       //i用来的循环,用途??  
  352.  {  
  353.   // 在pat2中寻找与pat1首字符相同字符的首出现位置,  
  354.   #ifndef CASE_SENSITIVE  
  355.   while (i < pat2_len && tolower(pat2[i]) != first_char)  
  356.   #else  
  357.   while (i < pat2_len && pat2[i] != first_char)          //找到与模式串第一位相等的地方  
  358.   #endif  
  359.    i++ ;  
  360.     
  361.   // pat2剩余字符中未发现有pat1首字符相同字符,结束函数  
  362.   if (i == pat2_len)  
  363.   {  
  364.    break ;  
  365.   }  
  366.     
  367.   // 仍然发现有首字符相同字符  
  368.   pat2_index = i ;                       
  369.   pat1_index = 0 ;  
  370.   offset = i ;                         //移动的距离??  
  371.     
  372.   // 如果偏移反而大于最短关键字长度,不予考虑,因为最大的允许跳转就是min_pattern_size  
  373.   if (offset > ptree->min_pattern_size)  
  374.   {  
  375.    break ;  
  376.   }  
  377.     
  378.   while (pat2_index < pat2_len && pat1_index < pat1_len) // 重复循环直至两关键字中字符首次不同  
  379.   {  
  380.    #ifndef CASE_SENSITIVE  
  381.    if (tolower(pat1[pat1_index]) != tolower(pat2[pat2_index]))  
  382.    #else  
  383.    if (pat1[pat1_index] != pat2[pat2_index])  
  384.    #endif  
  385.     break ;  
  386.    pat1_index++ ;               //是比较位的字符的深度  
  387.    pat2_index++ ;  
  388.   }  
  389.     
  390.   if (pat2_index == pat2_len) // 关键字pat1前缀是关键字pat2后缀  
  391.   {  
  392.    int j ;                    //j的用途?  
  393.    for (j = pat1_index ; j < pat1_len ; j++)   
  394.    {  
  395.     set_GSshift (ptree, pat1, j+1, offset) ;  
  396.                 //ACtree_print_tree (ptree) ;   //测试  
  397.    }  
  398.   }  
  399.   else // pat1的前缀是pat2的子串,被pat2包含  
  400.   {  
  401.    set_GSshift (ptree, pat1, pat1_index+1, offset) ;          //字符所在的深度和序号差一位  
  402.              //ACtree_print_tree (ptree) ;   //测试  
  403.   }  
  404.   i++ ;  
  405.  }  
  406.  return 0 ;  
  407.    
  408. err:  
  409.  return -1 ;  
  410. }  
  411.   
  412. /*-------------------------------------------------------------------------- 
  413. * 函数名: 
  414. *    ACtree_compute_GSshifts 
  415.  
  416. * 函数功能: 
  417. *    计算整个ACTree的GSshifts 
  418.  
  419. * 参数说明: 
  420. *    pattern_tree *ptree    : 指向ACTree的指针 
  421.  
  422. * 返回值:  int 
  423. *    0 : 无意义 
  424. ----------------------------------------------------------------------------*/  
  425. int ACtree_compute_GSshifts (pattern_tree *ptree)  
  426. {  
  427.  int pat_i = 0, pat_j = 0 ;  
  428.    
  429.  for (pat_i = 0 ; pat_i < ptree->pattern_count ; pat_i++)  
  430.  {  
  431.   for (pat_j = 0 ; pat_j < ptree->pattern_count ; pat_j++)   
  432.   {  
  433.    unsigned char *ppat_i = (ptree->pattern_list+pat_i)->data ;  
  434.    int patlen_i = (ptree->pattern_list+pat_i)->len ;  
  435.    unsigned char *ppat_j = (ptree->pattern_list+pat_j)->data ;  
  436.    int patlen_j = (ptree->pattern_list+pat_j)->len ;  
  437.    //只需要计算ppat_i就可以算出每个字符的GSshift;通过set_GSshift计算。  
  438.    compute_GSshift (ptree, ppat_i, patlen_i, ppat_j, patlen_j) ;  
  439. //   printf ("\n函数 ACtree_compute_GSshifts---------------") ; // 测试使用   
  440. //   printf ("\n----调用 compute_GSshift-------------------\n") ; // 测试使用  
  441. //   ACtree_print_tree(ptree) ;  // 测试使用  
  442.   }  
  443.  }  
  444.  return 0 ;  
  445. }  
  446.   
  447. /*-------------------------------------------------------------------------- 
  448. * 函数名: 
  449. *    _init_GSshifts 
  450.  
  451. * 函数功能: 
  452. *    初始化当前节点及其所有后续节点的的GSshifts为参数shift 
  453.  
  454. * 参数说明: 
  455. *    pattern_tree_node *root    : 指向当前节点的指针 
  456. *    int shift                  : 初始化值 
  457.  
  458. * 返回值:  int 
  459. *    0 : 无意义 
  460. ----------------------------------------------------------------------------*/  
  461. int _init_GSshifts (pattern_tree_node *root, int shift)  
  462. {  
  463.  int i ;  
  464.  if (root->label != -2)  
  465.   root->GSshift = shift ;  
  466.      
  467.  for (i = 0 ; i < 256 ; i++)  
  468.  {  
  469.   #ifndef CASE_SENSITIVE  
  470.   if ((i >= 'A') && (i <= 'Z'))  
  471.   {  
  472.    continue ;  
  473.   }  
  474.   #endif  
  475.   if (NULL != root->childs[i])  
  476.   {  
  477.    _init_GSshifts (root->childs[i], shift) ;  
  478.   }  
  479.  }  
  480.  return 0 ;  
  481. }  
  482.   
  483. /*-------------------------------------------------------------------------- 
  484. * 函数名: 
  485. *    ACtree_init_GSshifts 
  486.  
  487. * 函数功能: 
  488. *    初始化整个ACtree模式树的GSshifts 
  489. * 
  490. *  参数说明: 
  491. *    pattern_tree *ptree : 指向ACTree的指针 
  492.  
  493. * 返回值:  int 
  494. *    0 : 无意义 
  495. ----------------------------------------------------------------------------*/  
  496. int ACtree_init_GSshifts (pattern_tree *ptree)  
  497. {  
  498.  _init_GSshifts (ptree->root, ptree->min_pattern_size) ;  
  499.  return 0 ;  
  500. }  
  501.   
  502. /*-------------------------------------------------------------------------- 
  503. * 函数名: 
  504. *    ACtree_compute_shifts 
  505.  
  506. * 函数功能: 
  507. *    计算并调整ACtree的BCshift和GSshift 
  508.  
  509. * 参数说明: 
  510. *    pattern_tree *ptree    : 指向ACTree的指针 
  511.  
  512. * 返回值:  int 
  513. *    0 : 无意义 
  514. ----------------------------------------------------------------------------*/  
  515. int ACtree_compute_shifts (pattern_tree *ptree)  
  516. {  
  517.  ACtree_compute_BCshifts (ptree) ;  
  518. // printf ("\n函数 ACtree_compute_shifts----------------------") ; // 测试使用  
  519. // printf ("\n----调用 ACtree_compute_BCshifts----------------\n") ; // 测试使用  
  520. // ACtree_print_tree(ptree)  ; // 测试使用  
  521.    
  522.  ACtree_init_GSshifts (ptree) ;  
  523. // printf ("\n函数 ACtree_compute_shifts----------------------") ; // 测试使用   
  524. // printf ("\n----调用 ACtree_init_GSshifts-------------------\n") ; // 测试使用  
  525. // ACtree_print_tree(ptree) ;  // 测试使用  
  526.  ACtree_compute_GSshifts (ptree) ;  
  527. // printf ("\n函数 ACtree_compute_shifts----------------------") ; // 测试使用  
  528. // printf ("\n----调用 ACtree_compute_GSshifts----------------\n") ; // 测试使用  
  529. // ACtree_print_tree(ptree) ;  // 测试使用  
  530.  return 0 ;  
  531. }  
  532.   
  533. /*-------------------------------------------------------------------------- 
  534. * 函数名: 
  535. *    acbm_init 
  536.  
  537. * 函数功能: 
  538. *    创建 ac_bm模式树,同时计算并调整BCshift和GSshift 
  539.  
  540. * 参数说明: 
  541. *    pattern_data *patterns    : 指向关键字字串数组的指针 
  542. *    int npattern              : 关键字字串个数 
  543.  
  544. * 返回值:  pattern_tree * 
  545. *    ptree : 处理成功,返回ptree 
  546. *    NULL  : 处理失败,返回空指针 
  547. ----------------------------------------------------------------------------*/  
  548. pattern_tree *acbm_init (pattern_data *patterns, int npattern)  
  549. {  
  550.  pattern_tree *ptree = NULL ;  
  551.    
  552.  ptree = (pattern_tree *) malloc (sizeof (pattern_tree)) ;  
  553.  if (NULL == ptree)  
  554.  {  
  555.   goto err ;  
  556.  }  
  557.  memset (ptree, 0, sizeof(pattern_tree)) ;  
  558.  ACtree_build (ptree, patterns, npattern) ;  
  559. // printf ("\n函数 acbm_init----------------------------") ;  // 测试使用  
  560. // printf ("\n----调用 ACtree_build---------------------\n") ; // 测试使用  
  561. // ACtree_print_tree(ptree) ; // 测试使用  
  562.  ACtree_compute_shifts (ptree) ;  
  563. // printf ("\n函数 acbm_init----------------------------") ; // 测试使用   
  564. // printf ("\n----调用 ACtree_compute_shifts------------\n") ; // 测试使用  
  565. // ACtree_print_tree(ptree) ;  // 测试使用  
  566.  return ptree ;  
  567. err:  
  568.  return NULL ;  
  569. }  
  570. /*-------------------------------------------------------------------------- 
  571. * 函数名: 
  572. *    _clean_tree 
  573.  
  574. * 函数功能: 
  575. *    释放当前节点及其所有后续节点申请的存储空间 
  576.  
  577. * 参数说明: 
  578. *    pattern_tree_node *root : 指向当前节点的指针 
  579.  
  580. * 返回值:  void 
  581. *     无 
  582. ----------------------------------------------------------------------------*/  
  583. void _clean_tree (pattern_tree_node *root)  
  584. {  
  585.  int i ;  
  586.  for (i = 0 ; i < 256 ; i++)  
  587.  {  
  588.   #ifndef CASE_SENSITIVE  
  589.   if ((i >= 'A') && (i <= 'Z'))  
  590.   {  
  591.    continue ;  
  592.   }  
  593.   #endif  
  594.   if (NULL != root->childs[i])   
  595.   {  
  596.    _clean_tree (root->childs[i]) ;  
  597.    free (root->childs[i]) ;  
  598.    root->childs[i] = NULL ;  
  599.   }  
  600.  }  
  601.  return ;  
  602. }  
  603.   
  604. /*-------------------------------------------------------------------------- 
  605. * 函数名: 
  606. *    acbm_clean 
  607. * 
  608. *  函数功能: 
  609. *    释放整个ac_bm模式树申请的空间 
  610.  
  611. * 参数说明: 
  612. *    pattern_tree *ptree   : 指向ACTree的指针 
  613.  
  614. * 返回值:  void 
  615. *     无 
  616. ----------------------------------------------------------------------------*/  
  617. void acbm_clean (pattern_tree *ptree)  
  618. {  
  619.  if (NULL == ptree)  
  620.  {  
  621.   return ;  
  622.  }  
  623.  if (NULL != ptree->root)   
  624.  {  
  625.   _clean_tree (ptree->root) ;  
  626.   free (ptree->root) ;  
  627.   ptree->root = NULL ;  
  628.  }  
  629.  free (ptree) ;  
  630.  return ;  
  631. }  
  632.   
  633. /*-------------------------------------------------------------------------- 
  634. * 函数名: 
  635. *    acbm_search 
  636.  
  637. * 函数功能: 
  638. *    搜索算法,搜索输入的文本text中包含的关键字的个数,并将搜索到的关键字 
  639. *    在关键字数组patterns中的index位置以及在待匹配文本text中的偏移值按搜 
  640. *    索到的先后顺序依次保存到数组matched_items. 
  641.  
  642. * 参数说明: 
  643. *    pattern_tree *ptree   : 指向ACTree的指针 
  644. *    unsigned char *text   : 带匹配的文本 
  645. *    int text_len          : 带匹配文本的长度 
  646. *    matched_info_t matched_items[] : 保存搜索结果信息的数组 
  647. *    int nmax_index        : 可保存匹配结果的最多个数 
  648.      cur_index             : 用来匹配移动右移 
  649. *   base_index            : 用来不匹配移动左移 
  650. * 返回值:  int 
  651. *    nmatched  : 匹配到的关键字的个数 
  652. ----------------------------------------------------------------------------*/  
  653. int acbm_search (pattern_tree *ptree,   
  654.      unsigned char *text,  
  655.      int text_len,  
  656.      matched_info_t matched_items[],   
  657.      int nmax_index)  
  658. {  
  659.  int nmatched = 0 ;  
  660.  register int base_index = 0, cur_index = 0 ;  
  661.  register int real_shift = 0, gs_shift = 0, bc_shift = 0 ;  
  662.  pattern_tree_node *node = NULL ;  
  663.    
  664.  if (text_len < ptree->min_pattern_size)  
  665.  {  
  666.   goto ret ;  
  667.  }  
  668.    
  669.  base_index = text_len - ptree->min_pattern_size ;  
  670.    
  671.  while (base_index >= 0)  
  672.  {  
  673.   cur_index = base_index ;  
  674.   node = ptree->root ;  
  675.     
  676.   #ifdef DEBUG_SEARCH  
  677.   printf ("Checking pattern tree at %d...", base_index) ;  
  678.   #endif  
  679.     
  680.   while (NULL != node->childs[text[cur_index]])   
  681.   {  
  682.    node = node->childs[text[cur_index]] ;  
  683.      
  684.    if (node->label >= 0)  
  685.    {  
  686.     // 匹配到一个关键字,保存到matched_items中  
  687.     #ifdef DEBUG_SEARCH  
  688.     printf ("Matched(%d) ", node->label) ;  
  689.     #endif  
  690.     matched_items[nmatched].pattern_i = node->label ;  
  691.     matched_items[nmatched].offset = base_index ;  
  692.     #ifdef DEBUG_SEARCH  
  693.     printf ("%s\n", text + matched_items[nmatched].offset) ;  
  694.     #endif  
  695.     nmatched++ ;  
  696.     if (nmatched == nmax_index)  
  697.     {  
  698.      goto ret ;  
  699.     }  
  700.    }  
  701.    cur_index++ ;              
  702.    if (cur_index >= text_len)  
  703.    {  
  704.     break ;  
  705.    }  
  706.   }  
  707.     
  708.   if (node->nchild > 0)  
  709.   {  
  710.    // 跳字符,由GSshift和BCshift决定跳字符的位数  
  711.    gs_shift = node->childs[node->one_child]->GSshift ;  
  712.    if (cur_index < text_len)  
  713.    {  
  714.     bc_shift = ptree->BCshift[text[cur_index]]+base_index-cur_index ;  
  715.     //BCshift在不匹配时看的是文本的那个不匹配字符,它的含义是不匹配的那个字符在树中离根节点的距离,  
  716.     //cur_index-base_index文本中不匹配位与根节点的相对距离  
  717.     //bc_shift得到的就是文本中不匹配的那个字符移动到树中这个字符对应位置需要移动的距离  
  718.          
  719.    }  
  720.    else  
  721.    {  
  722.     bc_shift = 1 ;  
  723.    }  
  724.    real_shift = gs_shift > bc_shift ? gs_shift : bc_shift ; // 取大者跳转  
  725.    base_index -= real_shift ;  
  726.    #ifdef DEBUG_SEARCH  
  727.    printf ("Failed, GSshift:%d, BCshift:%d Realshift%d", gs_shift, bc_shift, real_shift) ;  
  728.    #endif  
  729.   }   
  730.   else  
  731.   {  
  732.    // 1个匹配成功结束后,继续往前面处理  
  733.    base_index-- ;  
  734.    #ifdef DEBUG_SEARCH  
  735.    printf ("Matched, shift %d", 1) ;  
  736.    #endif  
  737.   }  
  738.   #ifdef DEBUG_SEARCH  
  739.   printf ("\n") ;  
  740.   #endif  
  741.  }  
  742.    
  743. ret:  
  744.  return nmatched ;  
  745. }  
  746. /*-------------------------------------------------------------------------- 
  747. * 函数名: 
  748. *    match_resualt_printf 
  749. * 
  750. * 函数功能: 
  751. *    按次序打印搜索到的关键字结果 
  752. * 
  753. * 参数说明: 
  754. *    unsigned char *text    : 输入的待搜索的文本 
  755. *    pattern_data *patterns : 关键字数组 
  756. *    int npattern           : 关键字个数 
  757. *    matched_info_t matched_items[] : 保存搜索结果信息的数组 
  758. *    int nmatched        : 搜索到的关键字个数  
  759. * 
  760. * 返回值:  int 
  761. *    0 : 安全返回,无意义 
  762. ----------------------------------------------------------------------------*/  
  763. int match_resualt_printf (unsigned char *text,  
  764.         pattern_data *patterns,  
  765.         int npattern,  
  766.         matched_info_t matched_items[],  
  767.         int nmatched)  
  768. {  
  769.  int i = 0 ;  
  770.  printf ("\n--- key worlds ---\n") ;  
  771.  for (i = 0 ; i < npattern ; i++)  
  772.  {  
  773.   if ((i+1)%6 == 0)  
  774.   {  
  775.    printf ("\n") ;  
  776.   }  
  777.   printf ("%2d %s\n", i+1, (patterns + i)->data) ;  
  778.  }  
  779.  printf ("\n--- input text ---\n %s\n", text) ;  
  780.  printf ("           1         2         3         4         5         6         \n") ;  
  781.  printf (" 0123456789012345678901234567890123456789012345678901234567890123456789\n") ;  
  782.  printf ("\n--- match resualt ---\n") ;  
  783.  for (i = 0 ; i < nmatched ; i++)  
  784.  {  
  785.   printf ("offset in text is    : %i\n", matched_items[i].offset) ;  
  786.   printf ("index in patterns is : %i\n", matched_items[i].pattern_i) ;  
  787.   printf ("key word is          : %s\n\n", (patterns + matched_items[i].pattern_i)->data) ;  
  788.  }  
  789.  return 0 ;  
  790. }  
  791. // 主函数入口  
  792. void main()  
  793. {  
  794.  clock_t start,finish;  
  795.  int i=0;  
  796.  int n;  
  797.  int npattern ; // 关键字个数,随时注意改变  
  798.  int length ;   
  799.  int text_len;// 待匹配文本字串长度,动态改变  
  800.  int success = 0 ;  
  801.  int nmatched = 0 ;  
  802.     pattern_tree *ptree ;   
  803.  pattern_data *patterns ;  
  804.  int nmax_index = MAX_ITEMS ;  
  805.  struct _matched_info matched_items[MAX_ITEMS] ;  
  806.     unsigned char keyword[PATTERN_LEN]; //单词  
  807.     unsigned char text[PATTERN_LEN]; //模式串  
  808.  printf("scanf the number of words-->\n");  
  809.     scanf("%d", &n);  
  810.  npattern=n;  
  811.  printf("scanf the words-->\n");  
  812.  patterns = ( pattern_data *) malloc (sizeof(  pattern_data) * npattern);  
  813.  if (NULL == patterns)  
  814.  {  
  815.   printf ("error\n") ;  
  816.   exit (1) ;  
  817.  }  
  818.     while(n --) {  
  819.   scanf("%s", keyword);  
  820.   length=strlen(keyword);  
  821.   strcpy ((patterns + i)->data, keyword) ;  
  822.   //(patterns + i)->data=keyword;  
  823.   (patterns + i)->len=length;  
  824.   i++;  
  825.     }  
  826.  ptree = ( pattern_tree *) malloc (sizeof( pattern_tree));  
  827.  if (NULL == ptree)  
  828.  {  
  829.   printf ("error\n") ;  
  830.   exit (1) ;  
  831.  }  
  832.  printf("scanf the text string-->\n");  
  833.  scanf("%s", text);  
  834.  text_len=strlen(text);  
  835.     start=clock();  
  836.  ptree = acbm_init (patterns, npattern) ;  
  837. //  ACtree_build(ptree,patterns,npattern);  
  838. //  ACtree_print_tree (ptree) ;  // 测试使用  
  839.  ACtree_compute_BCshifts(ptree);  
  840.  nmatched = acbm_search (ptree, text, text_len, matched_items, nmax_index) ;  
  841. // ACtree_print_tree (ptree) ; // 测试使用  
  842.  success = match_resualt_printf (text, patterns, npattern, matched_items, nmatched) ;  
  843.    
  844.  acbm_clean (ptree) ;  
  845.  finish=clock();  
  846.  printf("%f",(double)(finish-start)/CLOCKS_PER_SEC);  
  847. }  
posted @ 2016-03-19 19:27  StevenLuke  阅读(296)  评论(0编辑  收藏  举报