hadoop wordCount小案例
接上回我们谈的hdfs api相关的操作，我们来先跑一个小案例，后边详细说mapreduce和yarn的原理。
打开idea新建一个maven工程，pom文件中添加项目依赖如下：
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.4</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.8.0-beta4</version>
</dependency>
</dependencies>
在src/resources目录下创建一个log4j.properties文件，添加日志打印信息
log4j.rootLogger=INFO,stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hadoop.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
MapTask类
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
/**
* @author tenic
* @version 1.0
* @Date 2021-04-10
* @Desc
*/
public class MyMapper extends Mapper<LongWritable,Text, Text,IntWritable> {
private IntWritable num = new IntWritable(1);
private Text outK = new Text();
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
//value为一行一个单词场景
// context.write(value,num);
//value 为一行多个单词场景,且用空格分割场景
String line = value.toString();
String[] strs = line.split(" ");
for (String str : strs) {
outK.set(str);
context.write(outK,num);
}
}
}
ReduceTask类
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
/**
* @author tenic
* @version 1.0
* @Date 2021-04-10
* @Desc
*/
public class MyReducer extends Reducer<Text, IntWritable, Text,IntWritable> {
private IntWritable outV = new IntWritable();
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws Exception {
int sum = 0;
//values 是相同key的一组数据，eg:[1,1,1,1,1,1,1]
//加和就可以确定有多少个相同的key，即该key出现多少次
for (IntWritable value : values) {
sum += 1;
}
outV.set(sum);
context.write(key,outV);
}
}
Driver类
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
/**
* @author tenic
* @version 1.0
* @Date 2021-04-10
* @Desc
*/
public class MapReduceDriver {
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
Configuration config = new Configuration();
//创建job任务
Job job = Job.getInstance(config);
//设置jar启动类
job.setJarByClass(MapReduceDriver.class);
//设置自己的mapper/reducer类
job.setMapperClass(MyMapper.class);
job.setReducerClass(MyReducer.class);
//设置maptask最后输出的key/value的类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
//设置最后输出的key/value的类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
//设置要进行wordcount的文件的路径
FileInputFormat.setInputPaths(job,new Path("/Users/waterair/Documents/shelltest/mr/demo1/input/demo1.txt"));
//设置最后wordcount结果的输出路径
FileOutputFormat.setOutputPath(job,new Path("/Users/waterair/Documents/shelltest/mr/demo1/output1/"));
//发布任务，并待任务执行完后，退出程序
System.exit(job.waitForCompletion(true)?0:1);
}
}
local模式
比如我们的想要进行wordcount 的文件内容如下：
直接运行这个Driver类，如果运行成功，就可以到我们的输出路径下找到我们的结果。
具体结果如下：
由于我们是在没有启动集群的基础上，直接运行idea中的程序，hadoop对这种情况称为local模式，也可以从打印的日志中发现如下信息：
2021-04-12 21:46:15,900 DEBUG [org.apache.hadoop.mapreduce.Cluster] - Cannot pick org.apache.hadoop.mapred.YarnClientProtocolProvider as the ClientProtocolProvider - returned null protocol
……
2021-04-12 21:46:23,073 DEBUG [org.apache.hadoop.mapreduce.Cluster] - Picked org.apache.hadoop.mapred.LocalClientProtocolProvider as the ClientProtocolProvider
集群模式
想要在我们部署好的环境中运行wordcount小案例，我们需要调整一下文件的输入路径和输出路径。
因为我们是在hadoop里正式运行，所以想要的文件路径应该对应到hadoop的hdfs中，我们使用args[]进行传递入参。
修改上边的Driver类中的代码，修改inputpath/outputpath：
FileInputFormat.setInputPaths(job,new Path(args[0]));
FileOutputFormat.setOutputPath(job,new Path(args[1]));
将项目打jar包出来，上传到我们的hadoop集群，要进行wordcount的文件也上传到我们的集群中
分别执行如下命令，将要进行wordcount的文件上传到hdfs，和启动hadoop的mapreduce任务
[hadoop@hadoop01 hadoop-3.1.4]$ ls
bin etc include libexec logs README.txt share
demo1.txt hadoopDatas lib LICENSE.txt NOTICE.txt sbin wc.jar
[hadoop@hadoop01 hadoop-3.1.4]$ hadoop fs -put ./demo1.txt /input
[hadoop@hadoop01 hadoop-3.1.4]$ hadoop fs -ls /
Found 3 items
-rw-r--r-- 3 hadoop supergroup 247 2021-04-12 22:43 /input
drwxrwx--- - hadoop supergroup 0 2021-03-07 23:35 /tmp
drwxr-xr-x - hadoop supergroup 0 2021-03-20 17:41 /user
[hadoop@hadoop01 hadoop-3.1.4]$ hadoop jar ./wc.jar com.tenic.hadoop.mr.demo2.MapReduceDriver /input /output
[hadoop@hadoop01 hadoop-3.1.4]$ hadoop fs -ls /
[hadoop@hadoop01 hadoop-3.1.4]$ hadoop fs -cat /output/part-r-00000
如果一切顺利，我们查看到了最后的输出文件和我们local模式的是一样的结果
总结：
代码的具体逻辑如下：
- maptask
- 用户自定义的mapper要继承自己的父类
- mapper的输入数据是KV对的形式
- mapper中的业务逻辑写在map()方法中
- mapper的输出数据是kv对的形式
- map()方法(MapTask进程)对每一个<K,V>调用一次
- reducetask
- 用户自定义的Reducer要继承自己的父类
- Reducer的输入数据类型对应mapper的输出数据类型，也是KV
- Reducer的业务逻辑写在reduce()方法中
- ReduceTask进行对每一组相同K的<K,V>组调用一次reduce()方法
- driver部分
相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是封装了MapReduce程序相关运行参数的job对象
