<正向/反向>最大匹配算法(Java)

算法描述(正向):

  给定最大词长n,待分词文本str,指针f=0,词典dic文档

  1 取子串sub=str(f,f+n)

  2 如果(遍历dic,有匹配sub)  f++;

  3 否则  n--;

  4 注意:边界判定、没有找到词的情况

算法举例分析(正向):

  你有个要分词的文本“你毁了我容忍傻逼的能力”,你给出能最大接受的词长为6

(注意,6为6字节(byte),而一个汉字为2字节,你可能注意到下面的程序里我把6除以2了,因为在java里,char也是两字节的,所以它能装一个汉字,也可以装一个字母或符号。)

  现在指针指向第一个字,第一次取到的子串是“你毁了”,在词典中找有没有这个词,没有,那我们把词长变成4,即两个字,第二次取到的子串是“你毁”,再找,也没有,第三次取到的子串是“你”,在词典中能找到了,这时指针加一,指向“毁”字,词长恢复6,这就是一轮查找了。

  。。。

  跳过几步,假如现在指针指向了“容”字,第一次取到“容忍傻”,第二次取到“容忍”,“容忍”在词典能找到,这个时候,指针需要移动两位指向“傻”字,同理,若你取到三个字的词而且这个词能在词典中找到时,指针也要移三位,即 f+n

反向最大匹配跟正向原理一样,只是指针从最后一位开始向前移动。 

 1 package Algorithm;
 2 
 3 import common.InitializeCorpus;
 4 import java.io.IOException;
 5 import java.util.Stack;
 6 
 7 /**
 8  *
 9  * @author 小振xzh 20140317
10  * 正向/反向最大匹配分词算法
11  */
12 public final class MaximumMatching {
13     public String result;        //结果
14     private int posIndex;        //指针
15     private int len;             //长度
16     private int maxLen;          //最大长度
17     private boolean re;          //false正向,true反向
18     
19     //---正向---
20     public String forwardMaximumMatching(int maxLength, String str) throws IOException{
21         result = "";
22         posIndex = 0;
23         len = maxLength;
24         maxLen = len;
25         re = false;
26         MM(str, maxLen, 0);
27         return result;
28     }
29     
30     //---反向---
31     public String reversedMaximumMatching(int maxLength, String str) throws IOException{
32         result = "";
33         posIndex = 0;
34         len = maxLength;
35         maxLen = len;
36         re = true;
37         MM((new StringBuilder(str)).reverse().toString(), maxLen, 0);  //源串反转
38         return result;
39     }
40 
41     public void MM(String source,int len,int frompos) throws IOException{
42         if(posIndex>source.length()-1){
43             return;
44         }
45         if(source.length()-frompos<len){
46             len = source.length()-frompos;
47         }
48         String tmp = source.substring(frompos, frompos+len);  //获得子串
49         
50         if(!re){
51             if(InitializeCorpus.ChineseDicList.contains(tmp)){  //这是另一个类里定义的静态ArrayList,里面存的是词
52                 result += tmp+"/ ";
53                 posIndex += len;
54                 len = maxLen;  //重置长度
55                 MM(source, len, posIndex);
56             }else if(len>1){
57                 len -= 1;
58                 MM(source, len, posIndex);
59             }else{
60                 result += "字典中没有‘"+tmp+"’字/ ";
61                 posIndex += 1;
62                 len = maxLen;
63                 MM(source, len, posIndex);
64             }
65         }else{
66             tmp = (new StringBuilder(tmp)).reverse().toString();
67             Stack<String> sk = new Stack<String>();  //反向使用stack存储词语
68             if(InitializeCorpus.ChineseDicList.contains(tmp)){
69                 sk.push(tmp+"/ ");
70                 posIndex += len;
71                 len = maxLen;
72                 MM(source, len, posIndex);
73             }else if(len>1){
74                 len -= 1;
75                 MM(source, len, posIndex);
76             }else{
77                 sk.push("字典中没有’"+tmp+"'字/ ");
78                 posIndex += 1;
79                 len = maxLen;
80                 MM(source, len, posIndex);
81             }
82             while(!sk.isEmpty()){
83                 result += sk.pop();
84             }
85         }
86     }
87 }

 ------------------2014年03月22日

关于算法的效率改进的一个地方,就是在构造函数中,把词典读到一个数组里,空间换时间,这样速度可以提高大约10倍?

-------------------2014年04月15日

修改了算法的代码 | 代码整洁之道

posted @ 2014-03-18 14:31  小振xzh  阅读(1879)  评论(0编辑  收藏  举报