Hadoop实战:明星搜索指数统计,找出人气王
项目介绍
本项目我们使用明星搜索指数数据,分别统计出搜索指数最高的男明星和女明星。
数据集
明星搜索指数数据集,如下图所示。猛戳此链接下载数据集
思路分析
基于项目的需求,我们通过以下几步完成:
1、编写 Mapper类,按需求将数据集解析为 key=gender,value=name+hotIndex,然后输出。
2、编写 Combiner 类,合并 Mapper 输出结果,然后输出给 Reducer。
3、编写 Partitioner 类,按性别,将结果指定给不同的 Reduce 执行。
4、编写 Reducer 类,分别统计出男、女明星的最高搜索指数。
5、编写 run 方法执行 MapReduce 任务。
MapReduce Java 项目
设计的MapReduce如下所示:
Map = {key = gender, value = name+hotIndex}
Reduce = {key = name, value = gender+hotIndex}
Map
每次调用map(LongWritable key, Text value, Context context)解析一行数据。每行数据存储在value参数值中。然后根据'\t'分隔符,解析出明星姓名,性别和搜索指数。
public static class ActorMapper extends Mapper< Object, Text, Text, Text> { public void map(Object key, Text value, Context context) throws IOException, InterruptedException { //value=name+gender+hotIndex String[] tokens = value.toString().split("\t"); String gender = tokens[1].trim();//性别 String nameHotIndex = tokens[0] + "\t" + tokens[2];//名称和搜索指数 context.write(new Text(gender), new Text(nameHotIndex)); } }
map()函数期望的输出结果Map = {key = gender, value = name+hotIndex}
Combiner
对 map 端的输出结果,先进行一次合并,减少数据的网络输出。
public static class ActorCombiner extends Reducer< Text, Text, Text, Text> { private Text text = new Text(); @Override public void reduce(Text key, Iterable< Text> values, Context context) throws IOException, InterruptedException { int maxHotIndex = Integer.MIN_VALUE; int hotIndex = 0; String name=""; for (Text val : values) { String[] valTokens = val.toString().split("\\t"); hotIndex = Integer.parseInt(valTokens[1]); if(hotIndex>maxHotIndex){ name = valTokens[0]; maxHotIndex = hotIndex; } } text.set(name+"\t"+maxHotIndex); context.write(key, text); } }
Partitioner
根据明星性别对数据进行分区,将 Mapper 的输出结果均匀分布在 reduce 上。
public static class ActorPartitioner extends Partitioner< Text, Text> { @Override public int getPartition(Text key, Text value, int numReduceTasks) { String sex = key.toString(); if(numReduceTasks==0) return 0; //性别为male 选择分区0 if(sex.equals("male")) return 0; //性别为female 选择分区1 if(sex.equals("female")) return 1 % numReduceTasks; //其他性别 选择分区2 else return 2 % numReduceTasks; } }
Reduce
调用reduce(key, Iterable< Text> values, context)方法来处理每个key和values的集合。我们在values集合中,计算出明星的最大搜索指数。
public static class ActorReducer extends Reducer< Text, Text, Text, Text> { @Override public void reduce(Text key, Iterable< Text> values, Context context) throws IOException, InterruptedException { int maxHotIndex = Integer.MIN_VALUE; String name = " "; int hotIndex = 0; for (Text val : values) { String[] valTokens = val.toString().split("\\t"); hotIndex = Integer.parseInt(valTokens[1]); if (hotIndex > maxHotIndex) { name = valTokens[0]; maxHotIndex = hotIndex; } } context.write(new Text(name), new Text( key + "\t"+ maxHotIndex)); } }
reduce()函数期望的输出结果Reduce = {key = name, value = gender+max(hotIndex)}
Run 驱动方法
在 run 方法中,设置任务执行各种信息。
public int run(String[] args) throws Exception { // TODO Auto-generated method stub Configuration conf = new Configuration();//读取配置文件 Path mypath = new Path(args[1]); FileSystem hdfs = mypath.getFileSystem(conf); if (hdfs.isDirectory(mypath)) { hdfs.delete(mypath, true); } Job job = new Job(conf, "star");//新建一个任务 job.setJarByClass(Star.class);//主类 job.setNumReduceTasks(2);//reduce的个数设置为2 job.setPartitionerClass(ActorPartitioner.class);//设置Partitioner类 job.setMapperClass(ActorMapper.class);//Mapper job.setMapOutputKeyClass(Text.class);//map 输出key类型 job.setMapOutputValueClass(Text.class);//map 输出value类型 job.setCombinerClass(ActorCombiner.class);//设置Combiner类 job.setReducerClass(ActorReducer.class);//Reducer job.setOutputKeyClass(Text.class);//输出结果 key类型 job.setOutputValueClass(Text.class);//输出结果 value类型 FileInputFormat.addInputPath(job, new Path(args[0]));// 输入路径 FileOutputFormat.setOutputPath(job, new Path(args[1]));// 输出路径 job.waitForCompletion(true);//提交任务 return 0; }
编译和执行 MapReduce作业
1、myclipse将项目编译和打包为star.jar,使用SSH将 star.jar上传至hadoop的$HADOOP_HOME目录下。
2、使用cd $HADOOP_HOME切换到当前目录,通过命令行执行Hadoop作业
hadoop jar star.jar zimo.hadoop.Star.Star
运行结果
你可以在DFS Locations界面下查看输出目录。
以上就是博主为大家介绍的这一板块的主要内容,这都是博主自己的学习过程,希望能给大家带来一定的指导作用,有用的还望大家点个支持,如果对你没用也望包涵,有错误烦请指出。如有期待可关注博主以第一时间获取更新哦,谢谢!
版权声明:本文为博主原创文章,未经博主允许不得转载。