摘要：
今日收获 学习了有关MapReduce的知识点； 背了单词； 学习了软考的相关知识； 明天预计 预计明天下午回学校去； 然后继续我的学习生涯； 继续加油吧！ 阅读全文
摘要：
1、概念和原理 同一个分区的数据会发送给同一个reduce； 可以简单解释为————标记一样，放到一个reduce里面： 2、代码编写步骤（以中奖编号是否>15进行分区） 1、定义Mapper 可以自定义名称为PartitionMapper，并继承Mapper类： 并重写map方法： 2、自定义pa 阅读全文
摘要：
问题描述 MapReduce打包之后，运行出错； 问题解决 加上这么一句代码(在创建好Job对象之后)： job.setJarByClass(JobMain.class); 阅读全文
摘要：
1、yarn集群运行 先将之前写好的MapReduce程序进行打包--Maven-->package； 打包完成之后的jar包在target目录下可以找到！！！ 之后将jar包上传到我们的虚拟机文件夹里面去； 之后输入命令： hadoop jar jar包名称 jar包主类的全路径名称 回车之后开始 阅读全文
摘要：
一、案例概述 1、第一步--变成偏移量的K1，V1（这一步不需要我们自己写） 2、进入Map阶段 输出新的<K2,V2>的键值对； 3、Shuffle阶段 分区、排序、规约、分组 输出新的键值对： 4、Reduce阶段 转换为<K3,V3>的新的形式的键值对； 利用TextOutputFormat的 阅读全文