MapReduce
将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序
MapReduce优缺点
优点
- MapReduce 易于编程
- 良好的扩展性
- 高容错性
- 适合PB级以上海量数据的离线处理
缺点
-
不擅长实时计算
-
不擅长流式计算
-
不擅长DAG（有向无环图）计算（多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出，在这种情况下，MapReduce并不是不能做，而是使用后，每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下）
MapReduce编程模型简述
以词频统计为例进行说明
- input : 读取文本文件；
- splitting : 将文件按照行进行拆分，此时得到的
K1行数，V1表示对应行的文本内容； - mapping : 并行将每一行按照空格进行拆分，拆分得到的
List(K2,V2)，其中K2代表每一个单词，由于是做词频统计，所以V2的值为 1，代表出现 1 次； - shuffling：由于
Mapping操作可能是在不同的机器上并行处理的，所以需要通过shuffling将相同key值的数据分发到同一个节点上去合并，这样才能统计出最终的结果，此时得到K2为每一个单词，List(V2)为可迭代集合，V2就是 Mapping 中的 V2； - Reducing : 这里的案例是统计单词出现的总次数，所以
Reducing对List(V2)进行归约求和操作，最终输出。
MapReduce 编程模型中 splitting 和 shuffing 操作都是由框架实现的，需要我们自己编程实现的只有 mapping 和 reducing，这也就是 MapReduce 这个称呼的来源。
MapReduce核心思想
常用数据序列化类型
| Java类型 | Hadoop Writable类型 |
|---|---|
| Boolean | BooleanWritable |
| Byte | ByteWritable |
| Int | IntWritable |
| Float | FloatWritable |
| Long | LongWritable |
| Double | DoubleWritable |
| String | Text |
| Map | MapWritable |
| Array | ArrayWritable |
| Null | NullWritable |
Hadoop序列化
什么是序列化
序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输
为什么不用Java的序列化
Java的序列化是一个重量级序列化框架，序列化后会附带很多额外的信息（校验信息，Header，继承体系），不便于高效传输
Hadoop序列化特点
- 紧凑：高效使用存储空间
- 快速：读写数据的额外开销小
- 可扩展：随着通信协议的升级而可升级
- 互操作：支持多语言的交互
自定义bean对象实现序列化接口（Writable）注意反序列化的顺序和序列化的顺序完全一致
MapReduce框架原理
InputFormat数据输入
InputFormat 将输出文件拆分为多个 InputSplit，并由 RecordReaders 将 InputSplit 转换为标准的<key，value>键值对，作为 map 的输出。这一步的意义在于只有先进行逻辑拆分并转为标准的键值对格式后，才能为多个 map 提供输入，以便进行并行处理。
切片与MapTask并行度决定机制
数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。
数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是MapReduce程序计算输入数据的单位，一个切片会对应启动一个MapTask。
Job提交流程源码和切片源码
waitForCompletion()
submit();
// 1建立连接
connect();
// 1）创建提交Job的代理
new Cluster(getConfiguration());
// （1）判断是本地运行环境还是yarn集群运行环境
initialize(jobTrackAddr, conf);
// 2 提交job
submitter.submitJobInternal(Job.this, cluster)
// 1）创建给集群提交数据的Stag路径
Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);
// 2）获取jobid ，并创建Job路径
JobID jobId = submitClient.getNewJobID();
// 3）拷贝jar包到集群
copyAndConfigureFiles(job, submitJobDir);
rUploader.uploadFiles(job, jobSubmitDir);
// 4）计算切片，生成切片规划文件
writeSplits(job, submitJobDir);
maps = writeNewSplits(job, jobSubmitDir);
input.getSplits(job);
// 5）向Stag路径写XML配置文件
writeConf(conf, submitJobFile);
conf.writeXml(out);
// 6）提交Job,返回提交状态
status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());
FileInputFormat切片源码解析
-
程序先找到你数据存储的目录
-
开始遍历处理（规划切片）目录下的每个文件
-
遍历第一个文件22.txt
-
获取fs.sizeOf(ss.txt)
-
计算切片大小
computeSplitSize(Math.max(MathSize,Math.min(maxSize,blocksize)))
默认情况下，切片大小=blocksize =128M
-
每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片
-
将切片信息写到一个切片规划文件中
-
整个切片的核心过程在getSplit()方法中完成
-
InputSplit只记录了切片的元数据信息（起始位置，长度以及所在节点列表）
-
-
提交切片规划文件到YARN上，YARN上的MrAppMaster就可以根据切片规划文件计算开启MapTask
FileInputFormat常见的接口实现类
- TextInputFormat
- KeyValueTextInputFormat
- NLineInputFormat
- CombineTextInputFormat
- 自定义InputFormat
TextInputFormat
TextInputFormat是默认的FileInputFormat实现类，按行读取每条记录。键是存储该行在整个文件中的起始字节偏移量，LongWritable类型。值是这行的内容，不包括任何行终止符（换行符和回车符）
框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。
CombineTextInputFormat切片机制
用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。
-
虚拟存储切片最大值设置
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m
注意：虚拟存储切片最大值设置最好根据实际的小文件大小情况来设置具体的值。
-
切片机制
MapReduce工作流程
Shuffle机制
Shuffle机制
- MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中
- 从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件
- 多个溢出文件会被合并成大的溢出文件
- 在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序
- ReduceTask根据自己的分区号，去各个MapTask机器上取相应的结果分区数据
- ReduceTask会抓取到同一个分区的来自不同MapTask的结果文件，ReduceTask会将这些文件再进行合并（归并排序）
- 合并成大文件后，Shuffle的过程也就结束了，后面进入ReduceTask的逻辑运算过程（从文件中取出一个一个的键值对Group，调用用户自定义的reduce()方法）
Partition分区
-
默认partitioner分区
默认分区是根据key的hashCode对ReduceTasks个数取模得到的。用户没法控制哪个key存储到哪个分区
-
自定义partitioner
- 自定义类继承partitioner，重写getPartition()方法
- 在Job驱动中，设置自定义Partitioner
- 自定义Partition后，要根据自定义Partitioner的逻辑设置相应数量的ReduceTask
-
分区总结
- 如果ReduceTask的数量>getParition的结果数，则会多产生几个空的输出文件part-r-000xx
- 如果1<ReduceTask的数量<getPartition的结果数，则有一部分分区数据无处安放，会Exception
- 如果ReduceTask的数量=1，则不管MapTask端输出多少个分区文件，最终结果都会交给这一个ReduceTask，最终也就只会产生一个结果文件part-r-00000；
- 分区好必须从零开始，逐一累加
WritableComparable排序
-
排序概述
排序是MapReduce框架中最重要的操作之一
MapTask和ReduceTask均会对数据按照key进行排序，该操作属于Hadoop的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是否需要
默认排序是按照字典顺序排序，且实现该排序的方法是快速排序
-
MapTask
它会将处理的结果暂时放到环形缓冲区中，当环形缓冲区使用率达到一定阈值后，再对缓冲区中的数据进行一次快速排序，并将这些有序数据溢写到硬盘上，而当数据处理完毕后，它会对磁盘上所有文件进行归并排序。
-
ReduceTask
它从每个MapTask上远程拷贝相应的数据文件，如果文件大小超过一定阈值，则溢写磁盘上，否则存储在内存中。如果磁盘上文件数目达到一定阈值，则进行一次归并排序以生成一个更大文件；如果内存中文件大小或者数目超过一定阈值，则进行一次合并后将数据溢写到磁盘上。当所有数据拷贝完毕后，ReduceTask统一对内存和磁盘上的所有数据进行一次归并排序。
-
-
排序分类
-
部分排序
MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部有序
-
全排序
最终输出结果只有一个文件，且文件内部有序。实现方式是只设置一个ReduceTask。但该方法在处理大型文件时效率极低，因为一台机器处理所有文件，完全丧失了MapReduce所提供的并行架构
-
辅助排序
在Reduce端对key进行分组。应用于：在接收的key为bean对象时，想让一个或几个字段相同（全部字段比较不相同）的key进入到同一个Reduce方法时，可以采用分组排序
-
二次排序
在自定义排序过程中，如果compareTo中的判断条件为两个即为二次排序
-
-
自定义排序WritableComparable原理分析
bean对象做为key传输，需要实现WritableComparable接口重写compareTo方法，就可以实现排序。
@Override public int compareTo(FlowBean bean) { int result; // 按照总流量大小，倒序排列 if (this.sumFlow > bean.getSumFlow()) { result = -1; }else if (this.sumFlow < bean.getSumFlow()) { result = 1; }else { result = 0; } return result; }
Combiner合并
-
Combiner是MR程序中Mapper和Reducer之外的一种组件
-
Combiner组件的父类就是Reducer
-
Combiner和Reducer的区别在于运行的位置
Combiner是在每个MapTask所在的节点运行
Reducer是接收全局所有Mapper的输出结果
-
Combiner的意义就是对每个MapTask的输出进行局部汇总，以减小网络传输量
-
Combiner能够应用的前提是不能影响的业务逻辑，而且，Combiner的输出kv应该跟Reducer的输入kv类型要对应起来
-
自定义Combiner实现步骤
-
自定义一个Combiner继承Reducer，重写Reduce方法
public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritable>{ @Override protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException { // 1 汇总操作 int count = 0; for(IntWritable v :values){ count += v.get(); } // 2 写出 context.write(key, new IntWritable(count)); } } -
在Job驱动类中设置
job.setCombinerClass(WordcountCombiner.class);combiner是map运算后的可选操作，它实际上是一个本地化的reduce操作，它主要是在map计算出中间文件后做一个简单的合并重复key值的操作。这里以词频统计为例：map在遇到一个 hadoop 的单词时就会记录为 1，但是这篇文章里 hadoop 可能会出现 n 多次，那么map输出文件冗余就会很多，因此在reduce计算前对相同的 key 做一个合并操作，那么需要传输的数据量就会减少，传输效率就可以得到提升。但并非所有场景都适合使用
combiner，使用它的原则是combiner的输出不会影响到reduce计算的最终输入，例如：求总数，最大值，最小值时都可以使用combiner，但是做平均值计算则不能使用combiner。不使用 combiner 的情况：
使用 combiner 的情况：
可以看到使用 combiner 的时候，需要传输到 reducer 中的数据由 12keys，降低到 10keys。降低的幅度取决于你 keys 的重复率，下文词频统计案例会演示用 combiner 降低数百倍的传输量。
-
MapTask工作机制
-
Read阶段：MapTask通过InputFormat获得的RecordReader，从输入InputSplit中解析出一个个key/value。
-
Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。
-
Collect收集阶段：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/value分区（调用Partitioner），并写入一个环形内存缓冲区中。
-
Spill阶段：即“溢写”，当环形缓冲区满后，MapReduce会将数据写到本地磁盘上，生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并、压缩等操作。
溢写阶段详情：
步骤1：利用快速排序算法对缓存区内的数据进行排序，排序方式是，先按照分区编号Partition进行排序，然后按照key进行排序。这样，经过排序后，数据以分区为单位聚集在一起，且同一分区内所有数据按照key有序。
步骤2：按照分区编号由小到大依次将每个分区中的数据写入任务工作目录下的临时文件output/spillN.out（N表示当前溢写次数）中。如果用户设置了Combiner，则写入文件之前，对每个分区中的数据进行一次聚集操作。
步骤3：将分区数据的元信息写到内存索引数据结构SpillRecord中，其中每个分区的元信息包括在临时文件中的偏移量、压缩前数据大小和压缩后数据大小。如果当前内存索引大小超过1MB，则将内存索引写到文件output/spillN.out.index中。
-
Merge阶段：当所有数据处理完成后，MapTask对所有临时文件进行一次合并，以确保最终只会生成一个数据文件。
- 当所有数据处理完后，MapTask会将所有临时文件合并成一个大文件，并保存到文件output/file.out中，同时生成相应的索引文件output/file.out.index。
- 在进行文件合并过程中，MapTask以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方式。每轮合并mapreduce.task.io.sort.factor（默认10）个文件，并将产生的文件重新加入待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件。
- 让每个MapTask最终只生成一个数据文件，可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。
ReduceTask工作机制
-
Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。
-
Merge阶段：在远程拷贝数据的同时，ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。
-
Sort阶段：按照MapReduce语义，用户编写reduce()函数输入数据是按key进行聚集的一组数据。为了将key相同的数据聚在一起，Hadoop采用了基于排序的策略。由于各个MapTask已经实现对自己的处理结果进行了局部排序，因此，ReduceTask只需对所有数据进行一次归并排序即可。
-
Reduce阶段：reduce()函数将计算结果写到HDFS上。
-
设置ReduceTask并行度（个数）
ReduceTask的并行度同样影响整个Job的执行并发度和执行效率，但与MapTask的并发数由切片数决定不同，ReduceTask数量的决定是可以直接手动设置：
job.setNumReduceTasks(4);
-
- 注意事项
- ReduceTask=0，表示没有Reduce阶段，输出文件个数和Map个数一致
- ReduceTask默认值就是1，所以输出文件个数为一个
- 如果数据分布不均匀，就有可能Reduce阶段产生数据倾斜
- ReduceTask数量并不是任意设置，还要考虑业务逻辑需求，有些情况下，需要计算全局总结果，就只能有1个ReduceTask
- 具体多少ReduceTask，需要根据集群性能而定
- 如果分区数不是1.但是ReduceTask为1，是否执行分区过程。答案是：不执行分区过程。因为在MapTask的源码中，执行分区的前提是否判断ReduceNum个数是否大于1.不大于1肯定不执行
OutputFormat数据输出
OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了OutputFormat接口。
-
文本输出TextOutputFormat
默认的输出格式是TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任意类型，因为TextOutputFormat调用toString()方法把它们转换为字符串
-
SequenceFileOutputFormat
将SequenceFileOutputFormat输出作为后续MapReduce任务的输入，这便是一种好的输出格式，因为它的格式紧凑，很容易被压缩
-
自定义OutputFormat
根据用户需求，自定义实现输出
-
使用场景
为了实现控制最终文件的输出路径和输出格式，可以自定义OutputFormat
例如：要在一个MapReduce程序中根据数据的不同输出两类结果到不同目录，这类灵活的输出需求可以通过自定义OutputFormat来实现
-
自定义OutputFormat
- 自定义一个类继承FileOutputFormat
- 改写RecordWriter，具体改写输出数据的方法write()
-
Join多种应用
Reduce Join
-
Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出
-
Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录（在Map阶段已经打标志）分开，最后进行合并就ok了
-
Reduce join缺点及解决方案
缺点：这种方式中，合并的操作是在Reduce阶段完成，Reduce端的处理压力太大，Map节点的运算负载则很低，资源利用率不高，且在Reduce阶段极易产生数据倾斜
解决方案：Map端实现数据合并
Map join
- 使用场景
Map Join适用于一张表十分小、一张表很大的场景。
- 优点
思考：在Reduce端处理过多的表，非常容易产生数据倾斜。怎么办？
在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。
- 具体办法：采用DistributedCache
-
在Mapper的setup阶段，将文件读取到缓存集合中。
-
在Driver驱动类中加载缓存。
//缓存普通文件到Task运行节点。 job.addCacheFile(new URI("file:///e:/cache/pd.txt")); //如果是集群运行,需要设置HDFS路径 job.addCacheFile(new URI("hdfs://hadoop102:9820/cache/pd.txt"));
计数器API
-
采用枚举的方式统计计数
enum MyCounter{MALFORORMED,NORMAL} context.getCounter(MyCounter.MALFORORMED).increment(1); -
采用计数器组，计数器名称的方式统计
context.getCounter("counterGroup"，"counter").increment(1); -
计数结果在程序运行后的控制台上查看
MapReduce开发总结
-
输入数据接口 InputFormat
- 默认使用的实现类是：TextInputFormat
- TextInputFormat的功能逻辑是：一次读一行文本，然后将该行的起始偏移量作为key，行内容作为value返回
- CombineTextInputFormat可以把多个小文件合并成一个切片处理，提高处理效率
-
逻辑处理接口 Mapper
用户根据业务需求实现其中三个方法：map() setup() cleanup()
-
Partitioner分区
- 有默认实现 HashPartitioner，逻辑是根据key的哈希值和numReduces来返回一个分区号；key.hashCode()&Integer.MAXVALUE%numReduces
- 如果业务上有特别的需求，可以自定义分区
-
Comparable排序
- 当我们用自定义的对象作为key'来输出时，就必须要实现WritableComparable接口，重写其中的compareTo()方法
- 部分排序：对最终输出的每一个文件进行内部排序
- 全排序：对所有数据进行排序，通常只有一个Reduce
- 二次排序：排序的条件有两个
-
Combiner合并
Combiner合并可以提高程序执行效率，减少IO传输，但是使用必须不能影响原有的业务处理结果
-
逻辑处理接口：Reducer
用户根据业务需求实现其中三个方法：reduce() setup() cleanup()
-
输出数据接口：OutputFormat
-
默认实现类是TextOutputFormat，功能逻辑是：将每一个KV对，向目标文本文件输出一行
-
将SequenceFileOutputFormat输出作为后续MapReduce任务的输入，这便是一种好的输出格式，因为它的格式紧凑，很容易被压缩
-
用户还可以自定义OutputFormat
-
