第一个Hadoop程序-单词计数
上一篇配置了Hadoop,本文将测试一个Hadoop的小案例
hadoop的Wordcount程序是hadoop自带的一个小的案例,是一个简单的单词统计程序,可以在hadoop的解压包里找到,如下:
1、启动Hadoop
2、进入上面的路径找到hadoop-mapreduce-examples-2.6.5.jar 包
下面命令可以查看这个jar包括哪些工具
可以看出hadoop-mapreduce-examples-2.6.5.jar 下面不只有单词统计案例,本文只演示单词统计
3、执行命令查看wordcount
4、在当前目录下创建test1文件夹,在文件夹下创建两个TXT文件,cat命令查看文本内容
5、在Hadoop文件系统中中创建一个test1目录,注意目录的切换
查看Hadoop上创建的这个目录
6、将在刚刚(../share/hadoop/mapreduce/test1)创建好的文件上传到HDFS,注意目录的切换
查看目录,上传成功
7、运行程序
8、查看结果
9、若要删除,则执行下面指令
$ hadoop fs -rmr /input1
$ hadoop fs -rmr /output1