crr121 - 博客园

摘要：利用采样器，mapreducer自动将数据按照从大到小的顺序，根据数据分布的概率，自动分区到不同的区域，之前我们是手动设置分区的范围，将数据分区到不同的分区点击打开链接下面我们采用Hadoop内置类-全排序分区类进行自动分区1、mapper类package com.c... 阅读全文

posted @ 2018-01-08 12:43 crr121 阅读(439) 评论(0) 推荐(0) 编辑

摘要： 1、未分区，按照key排序1、mapper，输出都为intwritablepackage com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Long... 阅读全文

posted @ 2018-01-07 18:23 crr121 阅读(150) 评论(0) 推荐(0) 编辑

摘要： 1、未分区，按照key排序1、mapper，输出都为intwritablepackage com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Long... 阅读全文

posted @ 2018-01-07 18:23 crr121 阅读(129) 评论(0) 推荐(0) 编辑

摘要： 1、mapper类package com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.h... 阅读全文

posted @ 2018-01-05 17:27 crr121 阅读(112) 评论(0) 推荐(0) 编辑

摘要： 1、mapper类package com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.h... 阅读全文

posted @ 2018-01-05 17:27 crr121 阅读(101) 评论(0) 推荐(0) 编辑

摘要：错误提示：[xiaoqiu@s150 /home/xiaoqiu]$ hadoop jar wordcounter.jar com.cr.wordcount.WordcountApp hdfs://s150/user/xiaoqiu/data/wc.txt hdfs:... 阅读全文

posted @ 2018-01-05 16:03 crr121 阅读(1045) 评论(0) 推荐(0) 编辑

摘要：错误提示：[xiaoqiu@s150 /home/xiaoqiu]$ hadoop jar wordcounter.jar com.cr.wordcount.WordcountApp hdfs://s150/user/xiaoqiu/data/wc.txt hdfs:... 阅读全文

posted @ 2018-01-05 16:03 crr121 阅读(343) 评论(0) 推荐(0) 编辑

摘要：启动Hadoop集群的时候，所有的datanode启动不了，报错如下java.io.IOException: Incompatible clusterIDs in /home/xiaoqiu/hadoop_tmp/dfs/data:namenode clusterID... 阅读全文

posted @ 2018-01-04 23:24 crr121 阅读(166) 评论(0) 推荐(0) 编辑

摘要：启动Hadoop集群的时候，所有的datanode启动不了，报错如下java.io.IOException: Incompatible clusterIDs in /home/xiaoqiu/hadoop_tmp/dfs/data:namenode clusterID... 阅读全文

posted @ 2018-01-04 23:24 crr121 阅读(318) 评论(0) 推荐(0) 编辑

摘要： 1、处理序列的mapperpackage com.cr.hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.ha... 阅读全文

posted @ 2018-01-04 21:17 crr121 阅读(109) 评论(0) 推荐(0) 编辑

仰望星空脚踏实地