摘要: 1.系统环境Ubuntu12.04 192.168.0.97 root/密码找管理员Ubuntu12.04 192.168.0.99 root/密码找管理员2.安装的必备条件JDK 1.6.24 orlater / 1.7.*已经证明了1.8不支持。内存最好2G以上,硬盘1G以上。3.安装步骤下载文... 阅读全文
posted @ 2014-07-10 23:01 JamesFan 阅读(559) 评论(0) 推荐(0) 编辑
摘要: 1.系统环境Ubuntu12.04 192.168.0.97 root/密码找管理员Ubuntu12.04 192.168.0.99 root/密码找管理员2.安装的必备条件JDK 1.6.24 orlater / 1.7.* 已经证明了1.8不支持。内存最好2G以上,硬盘1G以上。3.安装步骤下载... 阅读全文
posted @ 2014-07-10 22:32 JamesFan 阅读(232) 评论(0) 推荐(0) 编辑
摘要: 如何使用Hadoop的Partitioner博客分类:HadoophadooppartitionHadoop里面的MapReduce编程模型,非常灵活,大部分环节我们都可以重写它的API,来灵活定制我们自己的一些特殊需求。今天散仙要说的这个分区函数Partitioner,也是一样如此,下面我们先来看... 阅读全文
posted @ 2014-07-10 00:31 JamesFan 阅读(294) 评论(0) 推荐(0) 编辑
摘要: 1.解析PartitionMap的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。Mapper的结果,可能送到Combiner做合并,Combiner在系统中并没有自己的基类,而是用... 阅读全文
posted @ 2014-07-10 00:10 JamesFan 阅读(375) 评论(0) 推荐(0) 编辑
摘要: 在默认情况下,一个MapReduceJob如果不设置Reducer的个数,那么Reducer的个数为1。具体,可以通过JobConf.setNumReduceTasks(intnumOfReduceTasks)方法来设置Reducer的个数。那么,如何确定Reducer的个数呢,Hadoopdocu... 阅读全文
posted @ 2014-07-10 00:09 JamesFan 阅读(704) 评论(0) 推荐(0) 编辑