hdfs经常使用命令
hadoop hdfs经常使用命令
hadoop fs -ls /user/deploy/recsys/workspace/ouyangyewei
查看ouyangyewei文件夹文件
hadoop fs -mkdir /user/deploy/recsys/workspace/ouyangyewei/input
在ouyangyewei文件夹下创建input文件夹
hadoop fs -rm /user/deploy/recsys/workspace/ouyangyewei/input/input.txt
删除input.txt文件
hadoop fs -rmr /user/deploy/recsys/workspace/ouyangyewei/input
删除input文件夹以及文件夹下的全部文件
hadoop fs -put ./input.txt /home/deploy/recsys/workspace/ouyangyewei/input
把当前文件夹下的input.txt文件拷贝到input文件夹下
hadoop fs -put /home/pms/ouyangyewei/data/categoryLevel3.txt /user/pms/ouyangyewei/input/category_level
将本地server上的categoryLevel.txt文件移动到hdfs上
将本地server上的categoryLevel.txt文件移动到hdfs上
hadoop fs -dus /data/share/trackinfo/ds=2014-05-12
查看文件 “/data/share/trackinfo/ds=2014-05-12”的大小(以字节为单位)
hadoop jar recommender-dm-1.0-SNAPSHOT-lib.jar com.yhd.ml.statistics.click.WordCount /home/deploy/recsys/workspace/ouyangyewei/input /home/deploy/recsys/workspace/ouyangyewei/output
执行Job,指定的jar包是recommender-dm-1.0-SNAPSHOT-lib.jar,主类是com.yhd.ml.statistics.click.WordCount,输入文件夹是input,输出文件夹是output
hadoop job -kill job_201403291618_274044
杀掉hadoop的job