MapReduce

MapReduce程序开发

1、Demo：WordCount单词计数
    分析WordCount程序数据处理的过程（非常重要）
2、开发自己的WordCount程序
    开发一个MapReduce：求每个部门的工资总额
3、MapReduce的一些高级特性
    （1）序列化：类似Java的序列化
    （2）排序：默认排序：数字 升序
            字符串 字典顺序
            对象的排序：按照员工的薪水排序
    （3）分区：Partition，默认情况下，MapReduce只有一个分区，意思是：只有一个输出文件
    （4）合并：Combiner，在Mapper端，先做一次Reducer，用于减少输出到Reducer中的数据，从而提高效率
    （5）MapReduce的核心：Shuffle（洗牌）

---

 

 

 

 

 

 

 

 

 

 

 

WordCount例子

/root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

执行:
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/mr/wc1213

运行结果：

WordCount程序数据处理的过程

 

---

 

开发自己的WordCount程序

搭建开发环境

需要包含的jar：
/root/training/hadoop-2.7.3/share/hadoop/common
/root/training/hadoop-2.7.3/share/hadoop/common/lib
/root/training/hadoop-2.7.3/share/hadoop/mapreduce
/root/training/hadoop-2.7.3/share/hadoop/mapreduce/lib

在eclipse中新建一个java project

在工程中新建一个lib文件夹，并将需要的jar包放进去。
将所以jar包加到path当中。

实验环境搭建好后新建项目和java文件，将代码写好后打包成jar包。
    
将打包好的jar包上传到Linux中。

在Linux中启动环境： start-all.sh

执行自己的Wordcount程序

等待程序运行完成后查看结果

 

 

 

 

 

 

---