利用hadoop mapreduce进行 并行计算
如果想利用mapreduce并行计算的话，不能指望所有都是hadoop来跟你做，hadoop不可能跟你做很多事情。看下面一个问题：
x1 / 1 + x2 / 2 + x3 / 3 + …… + xn / n = 1
求出当n = 10时的所有正整数解。
先确定我们要采用的办法，就是搜索穷举。搜出n个未知数的解。
例如我们想用四个mapper来执行，就将输入文件划分为四个split就行了。例如，输入文件为：
1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10
这10个值，为x1可能的10个值。也就是说，我们将搜索空间，划分为这10个，然后来用mapper来并行计算。但是，如果直接将这个文件扔到hdfs里，hadoop是不会跟我们开四个mapper来并行计算的，因为这个文件太小了。那么我们可以重写InputSplit，对输入文件进行划分，达到“并行计算”的效果。
那么，我们将这个文件按行进行划分，每三行为一个块，这样就把输入文件划分为四个块，对应会有四个mapper来处理。下面看一下代码：
1 package seven.ili;
2
3 import org.apache.hadoop.classification.InterfaceAudience;
4 import org.apache.hadoop.conf.Configuration;
5 import org.apache.hadoop.fs.FSDataInputStream;
6 import org.apache.hadoop.fs.FileStatus;
7 import org.apache.hadoop.fs.FileSystem;
8 import org.apache.hadoop.fs.Path;
9 import org.apache.hadoop.io.LongWritable;
10 import org.apache.hadoop.io.Text;
11 import org.apache.hadoop.mapreduce.lib.input.FileSplit;
12 import org.apache.hadoop.mapred.JobConf;
13 import org.apache.hadoop.mapreduce.InputSplit;
14 import org.apache.hadoop.mapreduce.JobContext;
15 import org.apache.hadoop.mapreduce.RecordReader;
16 import org.apache.hadoop.mapreduce.TaskAttemptContext;
17 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
18 import org.apache.hadoop.mapreduce.lib.input.LineRecordReader;
19 import org.apache.hadoop.util.LineReader;
20
21 import java.io.FileInputStream;
22 import java.io.FileNotFoundException;
23 import java.io.IOException;
24 import java.util.ArrayList;
25 import java.util.List;
26
27 /**
28 * Created with IntelliJ IDEA.
29 * User: Isaac Li
30 * Date: 12/20/12
31 * Time: 1:25 PM
32 * To change this template use File | Settings | File Templates.
33 */
34 public class SplitByLine extends FileInputFormat<LongWritable, Text> {
35 private int N = 3;
36
37 @Override
38 public RecordReader<LongWritable, Text> createRecordReader(InputSplit inputSplit, TaskAttemptContext taskAttemptContext) throws IOException, InterruptedException {
39 return new LineRecordReader();
40 }
41
42 public List<InputSplit> getSplits(JobContext job) throws IOException {
43 List<InputSplit> splits = new ArrayList<InputSplit>();
44 for (FileStatus file: listStatus(job)){
45 Path path = file.getPath();
46 FileSystem fs = path.getFileSystem(job.getConfiguration());
47 LineReader lr = null;
48 try{
49 FSDataInputStream in = fs.open(path);
50 Configuration conf = job.getConfiguration();
51 lr = new LineReader(in, conf);
52 //N = conf.getInt("mapred.line.input.format.linespermap", 3);
53 Text line = new Text();
54 int numLines = 0;
55 long begin = 0;
56 long length = 0;
57 int num = -1;
58 while((num = lr.readLine(line)) > 0){
59 numLines++;
60 length += num;
61 if (numLines == N){
62 splits.add(new FileSplit(path, begin, length, new String[]{}));
63 begin += length;
64 length = 0;
65 numLines = 0;
66 }
67 }
68 if (numLines != 0) {
69 splits.add(new FileSplit(path, begin, length, new String[]{}));
70 }
71 }finally {
72 if (lr != null){
73 lr.close();
74 }
75 }
76 }
77 System.out.println("Total # of splits: " + splits.size());
78 return splits;
79 }
80 }
然后在Job class的main方法中，加上一句设置语句，
job.setInputFormatClass(SplitByLine.class);
到此，我们的第一阶段的任务完成了，将原始问题的解空间，划分成了四个，来进来并行计算。下面，在子空间中的搜索就交给mapper来执行了。这个方法就自己去写吧，一个搜索的算法。我就不写出了。对了，你可以用：
job.setNumReduceTasks(0);
这一条语句，先将reduce task num 设置为0， 你就可以看到mapper的输出，是不是有四个文件？一共有四个mapper？
自己去验证吧。
参考：
http://www.hadoopor.com/viewthread.php?tid=1242
揭秘InputFormat：掌控Map Reduce任务执行的利器： http://www.infoq.com/cn/articles/HadoopInputFormat-map-reduce
