MapReduce 实例 简单的倒排索引建立

倒排索引被广泛应用于全文搜索殷勤，像Google 百度 雅虎这样的搜索殷勤都在使用倒排索引。具体倒排索引的介绍，参照 维基百科。

这个实例要做的是将几个文件中的内容进行倒排索引，文件的内容如下：

我们要实现的结果是：

这样就简单做了一个倒排索引操作，通过单词可以查询到该单词出现在了哪个文件中，出现了几次。

分三个步骤：

1. 将file1、file2和file3文件内容按照 <word:filename,1> (即<单词:文件名,1>，这是为了将文件名信息添加到map中以便后面的reduce使用)

2. 将<word:filename,1>转化为 <word,filename,N>,N为在一个文件中出现的次数

3. reduce输出到文件中

代码如下：

package com.eric;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class InvertedIndex {

    public static class InvertedIndexMapper extends Mapper<Object, Text, Text, Text>{
        private Text keyInfo = new Text();
        private Text one = new Text("1");
        private FileSplit split;
        
        @Override
        protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            
            split = (FileSplit)context.getInputSplit();
            String filename = split.getPath().getName().toString();
            StringTokenizer iter = new StringTokenizer(value.toString());
            while(iter.hasMoreTokens()){
                keyInfo.set(iter.nextToken() + ":" + filename);
                
                context.write(keyInfo, one);
            }
        }
    }
    
    public static class InvertedIndexCombiner extends Reducer<Text, Text, Text, Text>{

        private Text valueInfo = new Text();
        
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            
            int sum = 0;
            for(Text value : values){
                sum += Integer.parseInt(value.toString());
            }
            
            int splitIndex = key.toString().indexOf(":");
            valueInfo.set(key.toString().substring(splitIndex+1) + ":" + sum);
            key.set(key.toString().substring(0, splitIndex));
            context.write(key, valueInfo);
        }
    }
    
    public static class InvertedIndexReducer extends Reducer<Text, Text, Text, Text>{

        private Text result = new Text();
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

            StringBuffer sb = new StringBuffer();
            for(Text value : values){
                sb.append(value.toString() + ";");
            }
            
            result.set(sb.toString());
            context.write(key, result);
        }
    }
    
    
    /**
     * @param args
     * @throws IOException 
     */
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        
        String[] _args = new String[]{"eric","eric_out"};
        
        String[] otherArgs = new GenericOptionsParser(conf, _args).getRemainingArgs();
        if(otherArgs.length != 2){
            System.err.println("Useage: invertedindex input output");
            System.exit(2);
        }
        
        Job job = new Job(conf, "inverted index");
        job.setJarByClass(InvertedIndex.class);
        
        job.setMapperClass(InvertedIndexMapper.class);
        job.setCombinerClass(InvertedIndexCombiner.class);
        job.setReducerClass(InvertedIndexReducer.class);
        
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
        
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

 

在Centos5.5中部署的Hadoop集群，操作结果如下：

 

在自己Win7下搭建的Eclipse Hadoop开发环境，在运行时有错误，大致信息为 Failed to set permissions of path: \tmp\***\.staging to 0700，具体路径跟自己的集群配置有关，应该是context在得到FileSplit的过程中产生的，因为同wordcount比较只有这里有不同的操作，所以我选择了将jar包放到了Hadoop集群中，运行jar命令来执行，也可以如下操作：

 

解决方法是，修改/hadoop-1.0.3/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue，注释掉即可（有些粗暴，在Window下，可以不用检查）

......
  private static void checkReturnValue(boolean rv, File p,
                                       FsPermission permission
                                       ) throws IOException {
    /**
if (!rv) {
throw new IOException("Failed to set permissions of path: " + p +
" to " +
String.format("%04o", permission.toShort()));
}
**/
  }
......

重新编译打包hadoop-core-1.0.3.jar，替换掉hadoop-1.0.3根目录下的hadoop-core-1.0.3.jar即可。