hadoop上利用JNI分词

虽然有streaming方式，但是碍于本人蹩脚的C++，还是决定由JNI方式来进行分词，下面是具体环境：

hadoop：0.201 

linux ：2.6.16.60-0.21-TENCENT64-110923

jdk：Java(TM) SE Runtime Environment (build 1.6.0_17-b04)，Java HotSpot(TM) 64-Bit Server VM (build 14.3-b01, mixed mode)

 

TCWordSeg所必需的文件：

 

 

其中libTCWordSeg.so是分词的库文件，而TCWordSeg.jar中包含了所有的类和方法原型。

还有一个词典文件夹 data，其中包含了分词工具所必需的所有词典文件:

 

 

为了能更好更方便的使用分词，写了一个包装的类，在写代码之前，将TCWordSeg.jar添加到buildpath中。WordSeg4J 代码如下：

 

import java.io.IOException;
import org.mortbay.log.Log;
import com.tencent.research.nlp.*;
 
public class WordSeg4J {
 
public static String dictDir = "data";
public static int SEG_MODE =1; 
static{
System.loadLibrary("TCWordSeg");
SEG_MODE = TCWordSeg.TC_POS | TCWordSeg.TC_S2D
| TCWordSeg.TC_U2L | TCWordSeg.TC_T2S | TCWordSeg.TC_ENGU
| TCWordSeg.TC_CN | TCWordSeg.TC_USR;
 
try {
TCWordSeg.TCInitSeg(to_cstr_bytes(dictDir));
} catch (IOException e) {
// TODO Auto-generated catch block
System.out.println(e.getMessage());
Log.info(e.getMessage());
}
}
 
public static String segString(String str) {
SWIGTYPE_p_void seghandle = TCWordSeg.TCCreateSegHandle(SEG_MODE);
//System.out.println(str);
String line_seg = "";
/* 以 GBK 字节流的方式提供待切分句子 */
try {
TCWordSeg.TCSegment(seghandle, to_cstr_bytes(str));
int rescount = TCWordSeg.TCGetResultCnt(seghandle);
for (int i = 0; i < rescount; i++) {
byte[] word_bytes = TCWordSeg.TCGetWordAt(seghandle, i);
String word = new String(word_bytes, "GBK");
line_seg += word + " ";
}
} catch (IOException e) {
// TODO Auto-generated catch block
System.out.println(e.getMessage());
}
 
return line_seg;
}
 
/*
 * 注意: 在 C 接口中传入参数类型为 char * 的地方， Java 接口中全部 使用参数类型 byte[], 并且 byte[] 数组必须以
 * '\0' 结束。 这是为了解决GBK 编码字符串在 C <-> Java 中转换的问题
 */
public static byte[] to_cstr_bytes(String str) throws IOException {
String s = str + '\0';
return s.getBytes("GBK");
}
}

ps:如果您经常使用这个类，建议将其打包为jar,推荐使用eclipse的fatjar工具，将TCWordSeg.jar一起打包成一个jar,或者用ANT打包。

写完了包装类，就可以在Mapper或者Reducer中使用这个类的静态方法了。但是先别急着些驱动程序，还有两件事最好先完成：

1）分别将libTCWordSeg.so和data文件夹打包成lib.tar和data.tar，当然也可以打包成zip或者jar、gzippedtar等形式。

2）将上面两个tar文件上传到hdfs中，假设它们的hdfs路径分别为 /path/lib.tar 和/path/data.tar

好了，现在就可以写驱动程序了，在写驱动程序的时候，需要注意利用hadoop的一个重要特性：DistributedCache，关于这个东西的详细介绍，网络上一大堆，自己可以去看。

在驱动程序中，需要加入下面这么几行代码：

DistributedCache.createSymlink(conf); 
            
Path filePath = new Path(" /path/lib.tar");
String uriWithLink = filePath.toUri().toString(); DistributedCache.addCacheArchive(new URI(uriWithLink), conf); 
 
Path filePath2 = new Path("/path/data.tar");
String uriWithLink2 = filePath2.toUri().toString();
DistributedCache.addCacheArchive(new URI(uriWithLink2), conf);    

 好了，之后用fatjar将程序打包，将TCWord.jar也一起打入，之后就可以在hadoop上运行程序了。