MapReduce-多个输出(使用MultipleOutput，不指定reduce任务个数)

多个输出

FileOutputFormat及其子类产生的文件放在输出目录下。每个reduce一个文件并且文件由分区号命名：part-r-00000,part-r-00001,等等。有时可能需要对输出的文件名进行控制或让每个reducer输出多个文件。MapReduce为此提供了MultipleOutputFormat类。

案例：数据分割

按气象站来区分气象数据。这需要运行一个作业，作业的输出时每个气象站一个文件，此文件包含该气象站的所有数据记录。
一种方法是每个气象站对应一个reducer。为此，我们需要做两件事。第一，写一个partitioner，把同一个气象站的数据放到同一个分区。第二，把作业的reducer数设为气象站的个数。
这样做有两个缺点。
第一，需要在作业运行之前知道分区数和气象站的个数。
第二，让应用程序来严格限定分区数并不好，因为可能导致分区数少或分区不均。让很多reducer做少量工作不是一个高效的作业组织方法，比较好的办法是使用更少reducer做更多的事情，因为运行任务的额外开销减少了。分区不均的情况也是很难避免的。不同气象站的数据量差异很大：有些气象站是一年前刚投入使用的，有的则已经工作了好久。如有其中一些reduce任务运行时间远远超过另一些，作业执行时间将由他们决定，从而导致作业的运行时间超过预期。

代码如下

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
package com.zhen.mapreduce.multipleOutput;
 
import java.io.IOException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
 
/**
 * @author FengZhen
 * @date 2018年8月25日
 * hadoop jar MultipleOutput.jar com.zhen.mapreduce.multipleOutput.SimpleMoreReduce
 */
public class SimpleMoreReduce extends Configured implements Tool{
 
    static class SimplePartitioner extends Partitioner<Text, Text>{
 
        @Override
        public int getPartition(Text key, Text value, int numPartitions) {
            if (key.toString().equals("000001")) {
                return 0;
            }else if (key.toString().equals("000002")) {
                return 1;
            }else if (key.toString().equals("000003")) {
                return 2;
            }
            return 0;
        }
         
    }
     
    static class SimpleMapper extends Mapper<LongWritable, Text, Text, Text>{
        @Override
        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, Text>.Context context)
                throws IOException, InterruptedException {
            // 000001`yiduishuju
            String[] values = value.toString().split("`");
            context.write(new Text(values[0]), new Text(values[1]));
        }
    }
     
    static class SimpleReducer extends Reducer<Text, Text, Text, Text>{
        @Override
        protected void reduce(Text key, Iterable<Text> value, Reducer<Text, Text, Text, Text>.Context context)
                throws IOException, InterruptedException {
            for (Text text : value) {
                context.write(key, text);
            }
        }
    }
     
    public int run(String[] args) throws Exception {
        Configuration configuration = new Configuration();
         
        Job job = Job.getInstance(configuration);
        job.setJobName("SimpleMoreReduce");
        job.setJarByClass(SimpleMoreReduce.class);
         
        job.setNumReduceTasks(3);
         
        job.setMapperClass(SimpleMapper.class);
        job.setReducerClass(SimpleReducer.class);
        job.setPartitionerClass(SimplePartitioner.class);
         
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
 
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
         
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
         
        return job.waitForCompletion(true) ? 0 : 1;
    }
 
    public static void main(String[] args) {
        try {
            String[] params = {"hdfs://fz/user/hdfs/MapReduce/data/multipleOutput/temperature", "hdfs://fz/user/hdfs/MapReduce/data/multipleOutput/output"};
            int exitCode = ToolRunner.run(new SimpleMoreReduce(), params);
            System.exit(exitCode);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在以下两种特殊情况下，让应用程序来设定分区数是有好处的
0个reducer，这是一个很罕见的情况：没有分区，因为应用只需要map任务
1个reducer，可以很方便的运行若干个小作业，从而把以前作业的输出合并成单个文件。前提是数据量足够小，以便一个reducer能轻松处理。
最好让集群为作业决定分区数：集群的reducer任务槽越多，任务完后就越快。这就是默认HashPartitioner表现如此出色的原因，因为它处理的分区数不限，并且确保每个分区都有一个很好的键组合使分区更均匀。
如果使用HashPartitioner，每个分区就会包含多个气象站，因此，要实现每个气象站输出一个文件，必须安排一个reducer写多个文件，由此就有了MultipleOutput.

MultipleOutput

MultipleOutputFormat类可以将数据写到多个文件，这些文件的名称源于输出的键和值或者任意字符串。这允许每个reducer（或者只有map作业的mapper）创建多个文件。采用name-m-nnnnn形式的文件名用于map输出，name-r-nnnnn形式的文件名用于reduce输出，其中name是由程序设定的任意名字，nnnnn是一个指明块号的整数（从0开始）。块号保证从不同块写的输出在相同名字情况下不会冲突。

代码如下

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
package com.zhen.mapreduce.multipleOutput;
 
import java.io.IOException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
 
/**
 * @author FengZhen
 * @date 2018年8月25日
 *
 * hadoop jar MultipleOutput.jar com.zhen.mapreduce.multipleOutput.MultipleOutputTest
 */
public class MultipleOutputTest extends Configured implements Tool{
 
    static class MultipleOutputMapper extends Mapper<LongWritable, Text, Text, Text>{
        @Override
        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, Text>.Context context)
                throws IOException, InterruptedException {
            // 000001`yiduishuju
            String[] values = value.toString().split("`");
            context.write(new Text(values[0]), new Text(values[1]));
        }
    }
     
    static class MultipleOutputReducer extends Reducer<Text, Text, NullWritable, Text>{
        private MultipleOutputs<NullWritable, Text> multipleOutputs;
        @Override
        protected void setup(Reducer<Text, Text, NullWritable, Text>.Context context) throws IOException, InterruptedException {
            multipleOutputs = new MultipleOutputs<NullWritable, Text>(context);
        }
        @Override
        protected void reduce(Text key, Iterable<Text> value, Reducer<Text, Text, NullWritable, Text>.Context context)
                throws IOException, InterruptedException {
            for (Text text : value) {
                multipleOutputs.write(NullWritable.get(), text, key.toString());
            }
        }
        @Override
        protected void cleanup(Reducer<Text, Text, NullWritable, Text>.Context context)
                throws IOException, InterruptedException {
            multipleOutputs.close();
        }
    }
     
    public int run(String[] args) throws Exception {
        Configuration configuration = new Configuration();
         
        Job job = Job.getInstance(configuration);
        job.setJobName("MultipleOutputTest");
        job.setJarByClass(MultipleOutputTest.class);
         
        job.setMapperClass(MultipleOutputMapper.class);
        job.setReducerClass(MultipleOutputReducer.class);
         
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
 
        job.setOutputKeyClass(NullWritable.class);
        job.setOutputValueClass(Text.class);
         
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
         
        return job.waitForCompletion(true) ? 0 : 1;
    }
    public static void main(String[] args) {
        try {
            String[] params = {"hdfs://fz/user/hdfs/MapReduce/data/multipleOutput/temperature", "hdfs://fz/user/hdfs/MapReduce/data/multipleOutput/output"};
            int exitCode = ToolRunner.run(new MultipleOutputTest(), params);
            System.exit(exitCode);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

　　

数据文件如下

?
1
2
3
4
5
6
7
8
9
000001`yiduishuju
000002`yiduishuju
000003`yiduishuju
000001`yiduishuju1
000002`yiduishuju1
000003`yiduishuju1
000001`yiduishuju2
000002`yiduishuju2
000003`yiduishuju2

输出文件名如下

?
1
2
3
000001-r-00000
000002-r-00000
000003-r-00000

posted on   嘣嘣嚓  阅读(1141)  评论(0)  编辑  收藏  举报

编辑推荐：
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识（上）
· 浏览器原生「磁吸」效果！Anchor Positioning 锚点定位神器解析
· 没有源码，如何修改代码逻辑？
阅读排行：
· 分享4款.NET开源、免费、实用的商城系统
· 全程不用写代码，我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· 白话解读 Dapr 1.15：你的「微服务管家」又秀新绝活了
· 记一次.NET内存居高不下排查解决与启示

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示