随笔分类 -  Hadoop

关于MapReduce默认分区策略
摘要：MapReduce默认分区策略 mapreduce 默认的分区方式是hashPartition，在这种分区方式下，KV对根据key的hashcode值与reduceTask个数进行取模，决定该键值对该要访问哪个ReduceTask。 以下就是Hadoop MapReduce中对于默认分区的源码 1. 阅读全文
posted @ 2019-11-11 20:47 cosmoswong 阅读(1341) 评论(0) 推荐(0) 编辑
Hadoop的源码编译
摘要：目录 正文 1、准备阶段 使用root登录Centos，并且要求能够正常连接网络。配置清单如下： （1）hadoop-2.7.2-src.tar.gz （2）jdk-8u144-linux-x64.tar.gz （3）apache-ant-1.9.9-bin.tar.gz（build工具，打包用的） 阅读全文
posted @ 2019-08-08 16:48 cosmoswong 阅读(445) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示