Hadoop Datajoin例子运行时出错的问题

最近用了用Hadoop，要试从两个数据源读取数据再取交集的功能，查了一下就是Hadoop的DataJoin，大喜之下认真看看，网上搜一下相关贴子还不少（细看之后才知道都是抄《Hadoop in Action》的），不过这篇贴子（http://www.cnblogs.com/xuqiang/archive/2011/06/05/2073155.html）做的注解很通俗易懂，很好。

 

试了一下书上的例子，困难重重（我用的是1.0.3）。不过回想起来主要碰到的是两个问题：

1. 库非要在${HADOOP_HOME}/lib/下才行，所以要做：cp ./contrib/datajoin/hadoop-datajoin-1.0.3.jar ./lib/hadoop-datajoin-1.0.3.jar
2. 运行时在combine阶段空指针出错，解决方案：

    public static class TaggedWritable extends TaggedMapOutput {
        private Writable data;
        //Note: 加上这个默认构造函数
        public TaggedWritable() {
                this.tag = new Text("");
                this.data = new Text("");
        }
        .........
}
 
 
    public static class TestJoinReducer extends DataJoinReducerBase {
        protected TaggedMapOutput combine(Object[] tags, Object[] values) {
                if (tags.length < 2) return null;
                String joinedStr = "";
                for (int i=0; i<values.length; i++) {
                        if (i > 0) joinedStr += ",";
                        //Note:这样即可，不必象原书那么复杂
                        TaggedWritable tw = (TaggedWritable)values[i];
                        String line = ((Text) tw.getData()).toString();
                        String[] tokens = line.split(",", 2);
                        joinedStr += tokens[1];
                }
                TaggedWritable retv = new TaggedWritable(new Text(joinedStr));
                retv.setTag((Text) tags[0]);
                return retv;
        }
    }

 

最后的一点结论：

• Google大神很强大，各位爱分享的大牛很热心，但解决问题自己多动脑才更好，不要太依赖于别人的现有成果；
• Datajoin用的仍是Hadoop旧的MapRed库，不知什么时候能更新到MapReduce库；
• Hive可以更方便的搞定类似问题；