MapReduce入门（一）单词计数
一、MR计算模型的由来
MapReduce最早是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法。Google公司设计MapReduce的初衷，主要是为了解决其搜索引擎中大规模网页数据的并行化处理。
Google公司发明了MapReduce之后，首先用其重新改写了其搜索引擎中的Web文档索引处理系统。但由于MapReduce可以普遍应用于很多大规模数据的计算问题，因此自发明MapReduce以后，Google公司内部进一步将其广泛应用于很多大规模数据处理问题。到目前为止，Google公司内有上万个各种不同的算法问题和程序都使用MapReduce进行处理。
2003年和2004年，Google公司在国际会议上分别发表了两篇关于Google分布式文件系统和MapReduce的论文，公布了 Google的GFS和MapReduce的基本原理和主要设计思想。
2004年，开源项目Lucene（搜索索引程序库）和Nutch（搜索引擎）的创始人Doug Cutting发现MapReduce正是其所需要的解决大规模Web数据处理的重要技术，因而模仿Google MapReduce，基于Java设计开发了一个称为Hadoop的开源MapReduce并行计算框架和系统。
自此，Hadoop成为Apache开源组织下最重要的项目，自其推出后很快得到了全球学术界和工业界的普遍关注，并得到推广和普及应用。 MapReduce的推出给大数据并行处理带来了巨大的革命性影响，使其已经成为事实上的大数据处理的工业标准。
二、MapReduce基本设计思想
对付大数据并行处理：分而治之：
一个大数据若可以分为具有同样计算过程的数据块，并且这些数据块之间不存在数据依赖关系，则提高处理速度的最好办法就是采用“分而治之”的策略进行并行化计算。
MapReduce采用了这种“分而治之”的设计思想，对相互间不具有或者有较少数据依赖关系的大数据，用一定的数据划分方法对数据分片，然后将每个数据分片交由一个节点去处理，最后汇总处理结果。
上升到抽象模型：Map与Reduce：
MapReduce借鉴了函数式程序设计语言Lisp的设计思想。
用Map和Reduce两个函数提供了高层的并行编程抽象模型和接口，程序员只要实现这两个基本接口即可快速完成并行化程序的设计。
MapReduce的设计目标是可以对一组顺序组织的数据元素/记录进行处理。
现实生活中，大数据往往是由一组重复的数据元素/记录组成，例如，一个Web访问日志文件数据会由大量的重复性的访问日志构成，对这种顺序式数据元素/记录的处理通常也是顺序式扫描处理。
MapReduce提供了以下的主要功能：
数据划分和计算任务调度：系统自动将一个作业（Job）待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务（Task），并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点（Map节点或Reduce节点），同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。
数据/代码互定位：为了减少数据通信，一个基本原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点（数据向代码迁移），但将尽可能从数据所在的本地机架上寻 找可用节点以减少通信延迟。
系统优化：为了减少数据通信开销，中间结果数据进入Reduce节点前会进行一定的合并处理；一个Reduce节点所处理的数据可能会来自多个Map节点，为了避免Reduce计算阶段发生数据相关性，Map节点输出的中间结果需使用一定的策略进行适当的划分处理，保证相关性数据发送到同一个Reduce节点；此外，系统还进行一些计算性能优化处理，如对最慢的计算任务采用多备份执行、选最快完成者作为结果。
出错检测和恢复：以低端商用服务器构成的大规模MapReduce计算集群中，节点硬件（主机、磁盘、内存等）出错和软件出错是常态，因此 MapReduce需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务。同时，系统还将维护数据存储的可靠性，用多备份冗余存储机制提 高数据存储的可靠性，并能及时检测和恢复出错的数据
三、MapReduce的编写
1.加入依赖jar包--编写pom.xml
<properties>
<org.apache.hadoop.version>2.7.5</org.apache.hadoop.version>
</properties>
<!--分布式计算-->
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>${org.apache.hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId>
<version>${org.apache.hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
<version>${org.apache.hadoop.version}</version>
</dependency>
<!--分布式存储-->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${org.apache.hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>${org.apache.hadoop.version}</version>
</dependency>
</dependencies>2.在resources中添加core-site.xml文件，配置内容如下：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master2:9000</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master2:8030</value>
</property>
<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
</property>
</configuration>
master2：表示我集群中NameNode的主机名，填写主机名需要在本地机中的hosts中添加IP配置，
如果不配置，请填写主机名所对应的IP。
3..mapreduce函数（类）的编写，有三个类分别是代表map、reduce、job
3.1：编写WCMapper类（map）继承Mapper并重写map这个方法，具体内容如下：
package com.day01;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
/**
* java基本数据类型步支持序列化--存放在内存中不在磁盘中（不能被持久化）
* 用来处理map任务：映射
* map任务接收的是kv,输出的也是kv 1（行号），hello world
* 第一个泛型表示：输入key的数据类型 输入的数据相当于文件开头的偏移量（行号）没有实际意义
* 第二个泛型表示：输入value的数据类型 输入的文件的一行内容
* 第三个泛型表示：输出key的数据类型 输出的key是一个字符串
* 第四个泛型表示：输出value的数据类型
*
* LongWritable：等价于java中的long
* Text ：等价与java中的string
* IntWritable:等价于java中的int
*
* XXXWritable 是hadoop定义的基本数据类型，相当于对java中的数据类型做一个封装，同时序列化（可以网络传输以及存储到磁盘上）
*
*/
public class WCMapper extends Mapper<LongWritable,Text,Text,IntWritable> {
//map方法每次执行一行数据，会被循环调用map方法（有多少行就调用多少次）
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
//将一行数据（text类型）变为string类型
String line = value.toString();
String[] words = line.split(" ");
//定义value
IntWritable one = new IntWritable(1);
//便利单词，输出word 1
for (int i = 0; i < words.length; i++) {
Text keyOut = new Text(words[i]);
//输出word 1
context.write(keyOut,one);
}
}
}
3.2、编写WCReducer类（reduce）继承Reducer并重写reduce这个方法，具体内容如下：
package com.day01;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
import java.util.Iterator;
/**
* 用来处理reduce任务：合并
* 在reduce端框架会将相同的key的value放在一个集合（迭代器）
*/
public class WCReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
//每次处理一个key,会被循环调用，有多少个key就会调用几次
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
//获取迭代器
Iterator<IntWritable> iterator = values.iterator();
int count = 0;
while (iterator.hasNext()){
IntWritable one = iterator.next();
count+=one.get();
}
//context的write只接受hadoop的数据类型，不接受java的数据类型
context.write(key,new IntWritable(count));
}
}
3.3、编写WCJob类（job），具体内容如下：
package com.day01;
import com.google.common.io.Resources;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.LineNumberReader;
import java.util.ArrayList;
//mapred是hadoop的1.X的包，mapreduce是2.X的API
/**
* 测试-设定任务的运行
* 输入与输出的路径
*/
public class WCJob {
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
Configuration coreSiteConf = new Configuration();
coreSiteConf.addResource(Resources.getResource("core-site.xml"));
//设置一个任务,后面是job的名称
Job job = Job.getInstance(coreSiteConf, "wc");
//设置job的运行类，就是此类
job.setJarByClass(WCJob.class);
//设置Map和Reduce处理类
job.setMapperClass(WCMapper.class);
job.setReducerClass(WCReducer.class);
//设置map输出类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
//设置job/reduce输出类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
//设置任务的输入路径
FileInputFormat.addInputPath(job, new Path("/wc"));
//设置任务的输出路径--保存结果(这个目录必须是不存在的目录)
//删除存在的文件
deleteFileName("/wcout");
FileOutputFormat.setOutputPath(job, new Path("/wcout"));
//运行任务 true：表示打印详情
boolean flag = job.waitForCompletion(true);
if (flag){
System.out.println(flag);
readContent("/wcout/part-r-00000");
}else {
System.out.println(flag+",读取文件失败");
}
}
//删除已经存在在hdfs上面的文件文件
private static void deleteFileName(String path) throws IOException {
//将要删除的文件
Path fileName = new Path(path);
Configuration entries = new Configuration();
//解析core-site-master2.xml文件
entries.addResource(Resources.getResource("core-site.xml"));
//获取客户端文件系统
FileSystem fileSystem = FileSystem.get(entries);
if (fileSystem.exists(fileName)){
System.out.println(fileName+"已经存在，正在删除它...");
boolean flag = fileSystem.delete(fileName, true);
if (flag){
System.out.println(fileName+"删除成功");
}else {
System.out.println(fileName+"删除失败");
return;
}
}
//关闭资源
fileSystem.close();
}
//读取文件内容
private static void readContent(String path) throws IOException {
//将要读取的文件路径
Path fileName = new Path(path);
ArrayList<String> returnValue = new ArrayList<String>();
Configuration configuration = new Configuration();
configuration.addResource(Resources.getResource("core-site.xml"));
//获取客户端系统文件
FileSystem fileSystem = FileSystem.get(configuration);
//open打开文件--获取文件的输入流用于读取数据
FSDataInputStream inputStream = fileSystem.open(fileName);
InputStreamReader inputStreamReader = new InputStreamReader(inputStream);
//一行一行的读取数据
LineNumberReader lineNumberReader = new LineNumberReader(inputStreamReader);
//定义一个字符串变量用于接收每一行的数据
String str = null;
//判断何时没有数据
while ((str=lineNumberReader.readLine())!=null){
returnValue.add(str);
}
//打印数据到控制台
System.out.println("文件内容如下：");
for (String read :
returnValue) {
System.out.println(read);
}
//关闭资源
lineNumberReader.close();
inputStream.close();
inputStreamReader.close();
}
}
-----在本地运行
a.在你的集群的hdfs上创建/wc
hadoop fs -mkdir /wc
b.将两个文件写入内容，内容间以空格隔开，并将文件put到hdfs中的/wc上
c.在C:\Windows\System32中添加hadoop.dll与winutils.exe文件
hadoop.dll与winutils.exe这两个文件的链接：https://pan.baidu.com/s/10xa7wC3BwlH3oF7DoYFE1A
提取码：c7ie
d.在D:\soft\hadoop\hadoop-2.7.5\bin中添加hadoop.dll与winutils.exe文件
e.将idea中core-site.xml中关于yarn的配置删除掉、
-经过以上a-b-c-d-e操作之后，直接Run，出现以下内容就恭喜你成功!!!!!!!
----------在linux上运行
将写的项目打包
1.点击左下角的方框，再店家maven projects-->找到想要打包的项目
-->点击Lifecycle-->双击package就会开始打包
2.将jar包上传并改名（可改可不改）
3.开始运行jar包
例如运行mrdemo.jar中的WEJob类
hadoop jar mrdemo.jar com.day01.WCJob
也可以在web中输入http://192.168.228.13:8088/cluster/apps/FINISHED
192.168.228.13:修改成自己的主机IP，出现SUCCEEDED表示执行成功
过程中出现下面异常，在网上查看说是hadoop的一个BUG
java.lang.InterruptedException
at java.lang.Object.wait(Native Method)
at java.lang.Thread.join(Thread.java:1252)
at java.lang.Thread.join(Thread.java:1326)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:716)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:476)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:652)
异常问题：
保证本地运行成功
上传jar包到hdfs上运行找不到类异常--没有将第三方依赖一起打包
---将第三方jar包放在lib里面，再打包（就会自动加载lib里面的jar包）就解决了--如下图
还有其他异常，欢迎分享一起解决....
