第一个Hadoop程序-单词计数

上一篇配置了Hadoop,本文将测试一个Hadoop的小案例

hadoop的Wordcount程序是hadoop自带的一个小的案例,是一个简单的单词统计程序,可以在hadoop的解压包里找到,如下:

1、启动Hadoop

2、进入上面的路径找到hadoop-mapreduce-examples-2.6.5.jar 包

下面命令可以查看这个jar包括哪些工具

可以看出hadoop-mapreduce-examples-2.6.5.jar 下面不只有单词统计案例,本文只演示单词统计

3、执行命令查看wordcount

4、在当前目录下创建test1文件夹,在文件夹下创建两个TXT文件,cat命令查看文本内容

5、在Hadoop文件系统中中创建一个test1目录,注意目录的切换

查看Hadoop上创建的这个目录

6、将在刚刚(../share/hadoop/mapreduce/test1)创建好的文件上传到HDFS,注意目录的切换

 

查看目录,上传成功

7、运行程序

8、查看结果

9、若要删除,则执行下面指令
$ hadoop fs -rmr /input1
$ hadoop fs -rmr /output1

 

posted @ 2018-05-26 20:57  南边雪  阅读(357)  评论(0编辑  收藏  举报