图的三角形计数

需求：输入一份社交图谱，每行是两个ID，中间用空格分开，代表这两个人有联系，组成一个无向图，计算这个无向图中三角形的个数。

首先我需要将输入文件转化成一个无向图，这个比较简单，使用map操作将两个ID提取出来，如果两个ID相同，说明自己指向了自己，那么舍弃掉这个输入，map的输出在传递给reduce前会将相同key的值排序组成一个列表，这样我们就有了表示无向图的邻接表。相应的map部分的代码如下所示：

static class GBMapper extends Mapper<LongWritable, Text, Text, Text> {
        @Override
        public void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String[] strs = value.toString().split(" ");
            if (!strs[0].equals(strs[1]))
                context.write(new Text(strs[0]), new Text(strs[1]));
        }
    }

接下来我出现了一个错误，我以为不需要写reduce部分的代码了，因为传递给reduce时已经将相同key的值已经组合在一起了，那么默认的reduce会将输入原原本本地输出来。后来查看中看中间结果的时候，发现存储下来的还是每一行两个ID，为什么呢？（TODO）

因为，即使传递给reduce的键值对，相同key的值已经组合在一起了，但是每一次调用reduce时，将会遍历每一个value，并写出去，默认的Reducer中的reduce源码如下：

protected void reduce(KEYIN key, Iterable<VALUEIN> values, Context context
                        ) throws IOException, InterruptedException {
    for(VALUEIN value: values) {
      context.write((KEYOUT) key, (VALUEOUT) value);
    }
  }

所以我尝试自定义了一个reduce，就是将Iterable<Text>里面的值写入到输出中，代码如下：

static class GBReducer extends Reducer<Text, Text, Text, Text> {
        private StringBuilder newValue = new StringBuilder();
        @Override
        public void reduce(Text key, Iterable<Text> values, Context context)
                throws IOException, InterruptedException {
            for (Text value : values)
                newValue.append(value.toString() + " ");
            context.write(key, new Text(newValue.toString()));
            newValue = new StringBuilder();
        }
    }

在写上面代码的时候，又踩了一个坑。当时跑代码的时候，reduce消耗了好长时间，自己推算了一下不应该这么长时间，后来发现是因为每次append完之后没有将newValue还原，所以对于下一个输入，newValue会接着append，导致newValue越来越大，极大地减慢了运行速度，而且最后生成的文件将会占据很大的空间。其实应该将newValue定义为reduce的局部变量，而不是成员变量。

 

以上代码我们将输入文件转化成了图的邻接表，现在需要统计三角形的个数。思路是这样的：首先得到的邻接表中key是一个顶点，values是与这个顶点连在一起的点，那么可以与这个顶点构成的三角形中需要的另一条边将是values中两两组合得到的边，所以我们需要统计已经存在的边，以及需要的边，key就是边的两个点，value就是表示已经存在（“e”）或者被需要（”n“），最后统计某条边的值是否既有“e“又有”n“，这样”n“的个数代表这条边可以构成三角形的数目，最后将”n”的个数累加即可。代码如下：

static class CMapper extends Mapper<Text, Text, Text, Text> {
        static final Text exist = new Text("e");
        static final Text need = new Text("n");
        private String newKey;


        // Input is Sequence Text
        @Override
        public void map(Text key, Text value, Context context)
                throws IOException, InterruptedException {
            String keyStr = key.toString();
            String[] values = value.toString().split(" ");
            if (values.length != 0) {
                for (int i = 0; i < values.length; ++i) {
                    if (values[i].compareTo(keyStr) > 0)
                        newKey = keyStr + values[i];
                    else
                        newKey = values[i] + keyStr;
                    context.write(new Text(newKey), exist);
                    for (int j = i + 1; j < values.length; ++j) {
                        if (values[i].compareTo(values[j]) > 0)
                            newKey = values[j] + values[i];
                        else
                            newKey = values[i] + values[j];
                        context.write(new Text(newKey), need);
                    }
                }
            }
        }
    }

// Reduce number must be 1
    static class CReducer extends Reducer<Text, Text, Text, Text> {
        private static long totalCount = 0;
        @Override
        public void reduce(Text key, Iterable<Text> values, Context context)
                throws IOException, InterruptedException {
            boolean existState = false;
            long needCount = 0;
            for (Text value : values) {
                if (!existState && value.toString().equals("e"))
                    existState = true;
                if (value.toString().equals("n"))
                    ++needCount;
            }
            totalCount += needCount;
        }

        @Override
        public void cleanup(Context context) throws IOException, InterruptedException {
            context.write(new Text("The total number of triangle:"), new Text(Long.toString(totalCount)));
        }
    }

上面的代码中，我们需要的reduce的数目必须为1，因为每个键值对得到的“n”的个数要累计到totalCount中。