大数据HelloWorld----WordCount
俗话说一个程序员开始学习书法的时候拿起笔就是写 HelloWorld.没错我们学习一个新的语言或者新的知识的时候都是从基本的HelloWorld开始。大数据的HelloWorld我们可以参考
/hadoop-3.1.3/share/hadoop/mapreduce 目录下的 hadoop-mapreduce-examples-3.1.3.jar 文件 可以在linux中使用sz + 文件名的方式下载到windows中 解压使用反编译工具进行反编译。然后根据源码我们参考编写自己的WordCount
源码如下：
编码实操
需求：
输入数据 ，期望输出 【统计单词次数】
banzhang 1
cls 2
hadoop 1
jiao 1
ss 2
xue 1
步骤：
一;环境准备
①加入依赖
②加入日志文件
二：编码
Map阶段：
1. map()方法中把传入的数据转为String类型
2. 根据空格切分出单词
3. 输出<单词，1>
Reduce阶段：
1. 汇总各个key(单词)的个数，遍历value数据进行累加
2. 输出key的总数
Driver
1. 获取配置文件对象，获取job对象实例
2. 指定程序jar的本地路径
3. 指定Mapper/Reducer类
4. 指定Mapper输出的kv数据类型
5. 指定最终输出的kv数据类型
6. 指定job处理的原始数据路径
7. 指定job输出结果路径
依赖
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.8.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.9.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.9.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.9.2</version>
</dependency>
log4.j
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
Mapper类
public class WordCountMapper extends Mapper<LongWritable, Text,Text, IntWritable> {
Text k = new Text();
IntWritable v = new IntWritable(1);
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
//1.获取一行
String line=value.toString();
//2.切割
String[] word = line.split(" ");
//3.输出
for (String s : word) {
k.set(s);
context.write(k,v);
}
}
Reduce类
public class WordContReduce extends Reducer<Text, IntWritable,Text,IntWritable> {
int sum;
IntWritable v = new IntWritable();
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
//1.累加求和
sum=0;
for (IntWritable count : values) {
sum+=count.get();
}
//2.输出
v.set(sum);
context.write(key,v);
}
}
Driver类
public static void main(String[] args) throws Exception {
//1.获取配置信息获取job信息
Configuration conf = new Configuration();
Job job = Job.getInstance(conf);
//2.关联本Driver程序的jar
job.setJarByClass(WordCountDriver.class);
//3.关联mapper和reduce的jar
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordContReduce.class);
//4.设置mapper 输出的kv类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
//5.设置最终的输出kv类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
//6设置输入和输出的路径
FileInputFormat.setInputPaths(job,new Path("E:\\bigData\\guigu\\input"));
FileOutputFormat.setOutputPath(job,new Path("E:\\bigData\\guigu\\output2"));
//7.提交job
boolean b = job.waitForCompletion(true);
System.exit(b?0:1);
}
}
成功时候可以在输出的路径中看到对应的文件
打开文件即可看到我们想看到的结果。
