ICTCLAS中文分词库的使用
ICTCLAS计算所中文分词(当前最好的汉语词法分析器)系统特点：准确度高(98.5%)，性能优越(500KB/s分词速度)，词性标注(POS tagging)且支持多种标注集，支持用户自定义词典，支持用户自定义词性标注，支持多平台，支持模块组合关闭(在
Configure.xml
中设置)，支持多编码(UTF-8, GB(GB2312, GBK, GB10380)和BIG5)且可以自动识别编码等。更多详见官网，文档和FAQ。
使用ICTCLAS库实现中文分词(Linux 32 bit)
下载ICTCLAS:
从ICTCLAS下载
ICTCLAS2011_Linux_32_c
(ICTCLAS 2011，内核版本5.0)。
wget http://www.ictclas.org/down/50/ICTCLAS50_Linux_RHAS_32_C.rar
unrar -x ICTCLAS50_Linux_RHAS_32_C.rar
创建测试目录，并拷贝API到该目录下
mkdir test
cd test
mkdir ICTCLAS_API
cp -fR ICTCLAS50_Linux_RHAS_32_C/API/* ./ICTCLAS_API
在
test
目录下创建用户词典
userdict.txt
，填写：
洛杉矶@@LA
奥巴马@@Obama
最新动态@@nr
在
test
目录下创建文件
test.c
/* 编译
动态: g++ test.c -L./ICTCLAS_API -lICTCLAS50 -DOS_LINUX -o test
静态: g++ test.c -L./ICTCLAS_API -lICTCLAS50 -DOS_LINUX -o test -static
*//* 处理字符串#define ICTCLAS_API_PATH "ICTCLAS_API"#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "ICTCLAS_API/ICTCLAS50.h"int main(int argc, char *argv[]) { //# 初始化
if (!ICTCLAS_Init(ICTCLAS_API_PATH)) {
fprintf(stderr, "Error: init failed, please put the ICTCLAS API under `%s` directory\n\n", ICTCLAS_API_PATH);
exit(EXIT_FAILURE);
}
printf("init ICTCLAS succeed\n"); //# 设置词性标注集
ICTCLAS_SetPOSmap(ICT_POS_MAP_SECOND); //# 处理
const char *srcTxt = "随后奥巴马就离开了洛杉矶，预计奥巴马今天下午就回到华盛顿。以上就是今天上午的最新动态";
int srcLen = strlen(srcTxt); //未导入用户字典之前的处理
char *resTxt = NULL;
resTxt = (char *) malloc(srcLen * 6);
int resLen = 0;
resLen = ICTCLAS_ParagraphProcess(srcTxt, srcLen, resTxt, CODE_TYPE_UNKNOWN, 1);
printf("before:\n%s\n\n", resTxt);
free(resTxt);
resTxt = NULL; //导入用户词典(文本文件：一行一词(词和词性使用`@@`分隔，词性可以省略，且可以自定义任意词性)，例如：中科院@@nr或北京市)
unsigned int itemsNum = ICTCLAS_ImportUserDictFile("./userdict.txt", CODE_TYPE_UNKNOWN);
printf("%d items loaded\n", itemsNum); /*
//也可以以字符串形式导入词典(词与词之间使用`;`分隔，如果指定词性，词与词性之间使用`@@`分隔，例如`中科院@@nr;分词@@v;系统@@adj;`或`中科院;分词;系统;`)
const char *dictStr = "洛杉矶@@LA;奥巴马@@Obama;最新动态@@nr";
unsigned int itemsNum = ICTCLAS_ImportUserDict(dicStr, strlen(dicStr), CODE_TYPE_UNKNOWN);
printf("%d items loaded\n", itemsNum);
*/ //如果保存用户词典，则下次分词的时候依然有效
ICTCLAS_SaveTheUsrDic(); //导入用户词典之后分词
resTxt = (char *) malloc(srcLen * 6);
resLen = ICTCLAS_ParagraphProcess(srcTxt, srcLen, resTxt, CODE_TYPE_UNKNOWN, 1);
printf("after:\n%s\n\n", resTxt);
free(resTxt); //# 释放资源
ICTCLAS_Exit();
return 0;
}
*//*处理文件#define ICTCLAS_API_PATH "ICTCLAS_API"#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "ICTCLAS_API/ICTCLAS50.h"#include <unistd.h>
#include "restart.h"
#include <errno.h>
#include <fcntl.h>
#define BLKSIZE 1024
char buf[BLKSIZE];
int main(int argc, char *argv[]) { if (!ICTCLAS_Init(ICTCLAS_API_PATH)) {
fprintf(stderr, "Error: init failed, please put the ICTCLAS API under `%s` directory\n\n", ICTCLAS_API_PATH);
exit(EXIT_FAILURE);
}
printf("init ICTCLAS succeed\n");
ICTCLAS_SetPOSmap(ICT_POS_MAP_SECOND); char *fromfile=argv[1];
char *tofile=argv[2];
int fromfd;
int tofd;
while (fromfd = open(fromfile, O_RDONLY), fromfd == -1 && errno == EINTR) ; printf("fromfd:\n%d\n\n", fromfd);
while (tofd = open(tofile,O_WRONLY|O_APPEND), tofd == -1 && errno == EINTR); printf("tofd:\n%d\n\n", tofd);
int bytesread,byteswritten;
for( ; ; ) {
if ((bytesread=read(fromfd,buf,BLKSIZE))<=0) break; char resTxt[bytesread * 3];
int resLen = 0;
resLen = ICTCLAS_ParagraphProcess(buf,bytesread, resTxt, CODE_TYPE_UNKNOWN, 1);
printf("before:\n%s\n\n", resTxt);
printf("before:\n%d\n\n", resLen);
resLen=strlen(resTxt);
if((byteswritten = write(tofd,resTxt,resLen))==-1) break; printf("byteswritten:\n%d\n\n", byteswritten); }
ICTCLAS_Exit();
return 0;
}
*/
编译和运行(推荐静态编译)：
g++ test.c -L./ICTCLAS_API -lICTCLAS50 -DOS_LINUX -o test -static
./test
根据输出的结果，可以得到ICTCLAS支持：用户词典，自定义词性等。
