HDFS 常见命令

1. shell 获取 HDFS文件个数 

>适用于查看碎片程度

hadoop fs -count /user |  awk '{print $2}'
11(我的返回是11)
hadoop fs -count /user(你的路径)  返回的是 文件夹数 文件数  大小
|  awk '{print $2}'  获取前者的第二列 , 也就是文件数目

2.  Hadoop 提交作业(最基本)

hadoop jar /usr/app/hadoop-wordcount-1.0.jar \

com.ssss.WordCountApp  \

/wordcount/input.txt   /wordcount/output/WordCountApp

具体解释:

第一行是jar包的位置 ,

第二行是主类class所处的位置

第三行 , 输入和输出的位置 , 位于你的HDFS文件系统中

ps(你的集群版本必须和你的IDEA中hadoop的版本要一致 , 才能运行)

 

posted @ 2020-06-01 18:47  挪威森林猫Zzz  阅读(182)  评论(0编辑  收藏  举报