TSE中关于分词的算法的改写--最少切分
今天比较闲,想到以前也看了好多tse的代码,还没有上手改过呢,一时也不知从何入手,后来在书上看到了分词的算法,TSE用的是正向最大匹配,其中貌似有个好玩的算法-----最少切分,捣鼓了一下午,终于把代码弄出来了。
如果有人有兴趣的话,在HzSeg中修改SegmentSentenceMM函数的代码,将s2+=SegmentHzStrMM(dict, s1.substr(0,i));
改成s2+=SegmentHzStr_min_cut(dict, s1.substr(0,i));就OK了。
代码显得还是有些冗余,还是有优化的余地的,有时间再改吧。
1 string get_res(map<int,map<int,int> > path, map<int,int> min_path,string s1,int l){ 2 #undef _debug_hzseg 3 #ifdef _debug_hzseg 4 cout<<"s1:"<<s1<<"l"<<l<<endl; 5 for (int i = 0; i < l; i++) { 6 cout<<"<!-- "; 7 for (int j = 0; j < l; j++) { 8 cout<<path[i][j]<<" "; 9 } 10 cout<<"-->"<<endl; 11 } 12 for (int i = 0; i < l; i++) { 13 cout<<min_path[i]; 14 } 15 #endif 16 int i,j,start,next_start,tmp_min; 17 string res; 18 start=0; 19 while(start<l){ 20 tmp_min=min_path[start]; 21 for(j=start;j<l-1;j++){ 22 if((1==path[start][j])&&tmp_min==path[start][j]+min_path[j+1]){//如果这个是最少切分的话,就记录下来 23 res=res+s1.substr(start*2,j*2-start*2+2)+SEPARATOR; 24 start=j+1; 25 break; 26 } 27 } 28 if ((1==path[start][j])&&j == l-1 ) { 29 res = res + s1.substr(start * 2, j * 2 - start * 2 +2) + SEPARATOR;//说明是最后一个了 30 start=l; 31 break; 32 } 33 } 34 return res; 35 } 36 37 38 39 // 最小切分算法 40 string SegmentHzStr_min_cut (CDict &dict, string s1) 41 { 42 int j; 43 int s1_size=s1.size()/2; 44 string tmp; 45 map<int,map<int,int> > path; 46 map<int,int> min_path; 47 bool isw; 48 49 for (int i = 0; i < s1_size; i++) { 50 for (int j = 0; j < s1_size; j++) { 51 path[i][j] = 0; 52 } 53 } 54 55 for(int i=0;i<s1_size;i++){ 56 for(int j=i;j<s1_size;j++){ 57 tmp=s1.substr(i*2,j*2-i*2+2); 58 isw=dict.IsWord(tmp); 59 if(isw) 60 path[i][j]=1; 61 } 62 } 63 for(int i=0;i<s1_size;i++) 64 path[i][i]=1;//每个单独的字认为是一个词 65 66 map<int,int> min_cut; 67 min_path[s1_size-1]=1; 68 for(int i=s1_size-2;i>=0;i--){//动态规划做的 69 min_path[i]=10000; 70 for(j=i;j<s1_size-1;j++){ 71 if(1==path[i][j]&&(min_path[i]>path[i][j]+min_path[j+1])){ 72 min_path[i]=path[i][j]+min_path[j+1]; 73 } 74 } 75 if (path[i][j] ) { 76 min_path[i] = 1; 77 } 78 } 79 string s2=get_res(path,min_path,s1,s1_size);//根据上边算出来的min_path获得最少切分 80 return s2; 81 }
posted on 2012-08-04 22:20 kakamilan 阅读(1485) 评论(0) 编辑 收藏 举报