鲍礼彬

深度学习、机器学习、Hadoop、Spark

博客园 首页 新随笔 联系 订阅 管理

Eclipse运行wordcount步骤

 

 

第一步:建立工程,导入代码。


第二步:建立文件写入数据(以空格分开),并上传到hdfs上。

1、创建文件并写入数据:


2、上传hdfs

在hadoop权限下就行:

命令: hadoop  fs  -put  新建的文件路径          input目录

 如:  hadoop  fs -put /home/hadoop/input/text03  input


查看hdfs 所有文件

命令:hadoop fs  -ls  input

 

 

上传成功后,在eclipse工程空间可以看到:


一般在hadoop 权限下操作会在hadoop文件夹里,在root 权限下操作会在root 文件夹里。

3、设置eclipse 输入输出路径,

输入路径就是刚才上传到hdfs的路径,输出路径直接设定就可以。

 

3.1、右键工程:


3.2 输入路径:输入路径与输出路径之间用空格隔开。

注意:如果这样写 找不到input 路径    在前面加上    hdfs://localhost:9000       

  hdfs://localhost:9000/user/hadoop/input/text03   hdfs://localhost:9000/user/hadoop/output/text03b

3.3 运行代码

  点击run,在Console中出现如下:

第N 次运行截图

 



 

第一次运行截图:



 

3.4 统计结果

 

 

 

至此运行结束。

posted on 2014-09-14 12:25  鲍礼彬  阅读(412)  评论(0编辑  收藏  举报