2014年8月22日
【Nutch2.2.1源代码分析之4】Nutch加载配置文件的方法
摘要： 小结：（1）在nutch中，一般通过ToolRunner来运行hadoop job，此方法可以方便的通过ToolRunner.run(Configuration conf,Tool tool,String[] args)来加载配置文件。（2）conf参数会通过NutchConfiguration.c... 阅读全文
posted @ 2014-08-22 21:57 lujinhong 阅读(146) 评论(0) 推荐(0) 编辑
java生成UUID通用唯一识别码 (Universally Unique Identifier)
摘要： 转自：http://blog.csdn.net/carefree31441/article/details/3998553UUID含义是通用唯一识别码 (Universally Unique Identifier)，这 是一个软件建构的标准，也是被开源软件基金会 (Open Software Fou... 阅读全文
posted @ 2014-08-22 16:09 lujinhong 阅读(246) 评论(0) 推荐(0) 编辑
使用ToolRunner运行Hadoop程序基本原理分析
摘要： 为了简化命令行方式运行作业，Hadoop自带了一些辅助类。GenericOptionsParser是一个类，用来解释常用的Hadoop命令行选项，并根据需要，为Configuration对象设置相应的取值。通常不直接使用GenericOptionsParser，更方便的方式是：实现Tool接口，... 阅读全文
posted @ 2014-08-22 11:03 lujinhong 阅读(281) 评论(0) 推荐(0) 编辑