Pig系统分析(6)-从Physical Plan到MR Plan再到Hadoop Job

从Physical Plan到Map-Reduce Plan

注：由于我们重点关注的是Pig On Spark针对RDD的运行计划，所以Pig物理运行计划之后的后端參考意义不大，这些部分主要分析流程，忽略实现细节。

入口类MRCompiler，MRCompilier依照拓扑顺序遍历物理运行计划中的节点，将其转换为MROperator，每一个MROperator都代表一个map-reduce job，整个完整的计划存储在MROperPlan类中。当中针对Load和Store操作会做下面特殊处理：

1. Store必须是叶子节点，否则抛出异常
2. Load新建一MROperator，添�到MROperPlan中。

下面是MROperPlan示意图：

从Map-Reduce Plan到Hadoop Job

JobControlCompiler将Map-Reduce Plan编译成Hadoop Job。

入口方法是：

public JobControl compile(MROperPlan plan, String grpName) throwsJobCreationException

compile方法针对每一个MROperator又会调用getJob方法，生成Hadoop Job:

private Job getJob(MROperPlan plan, MapReduceOper mro, Configuration config,PigContext pigContext) throws JobCreationException。

Pig实现的Mapper&Reducer继承结构例如以下：

   

当中：

1. XXXWithPartitionIndex用于SkewedJoin。
2. XXXWithComparator用于须要排序的udf函数。
3. XXXCounter给数据计数，用于Rank操作