Hadoop - hadoop自带MR案例：词频 WordCount

 

词频 Word Count

 

1、在浏览器上访问 https://node01:9870

2、创建目录 /user 目录

bin/hdfs dfs -mkdir /user

如果未配置环境变量，需要到hadoop安装目录下执行 /opt/module/hadoop-2.5.2（这个是我的安装目录）

3、将文件上传到HDFS上的 /user/input下

bin/hdfs dfs -mkdir -p /user/input
bin/hdfs dfs -put etc/hadoop/*.xml /user/input

上传的文件所在位置：/opt/module/hadoop-2.5.2/etc/hadoop/

4、运行提供的词频案例

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep /user/input output 'dfs[a-z.]+'

可以看到MapReduce过程

 5、从HDFS把MR的输出文件get到本地查看 或者 直接在HDFS查看

# 将输出文件从HDFS文件系统 get到本地查看内容
bin/hdfs dfs -get /user/output output
cat output/*
# 直接执行hdfs客户端命令查看输出文件内容
bin/hdfs dfs -cat /user/output/*