熟悉常用的HDFS操作

一、Hadoop提供的Shell命令完成相同任务:

在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.

在本地查看文件位置(ls)

在本地显示文件内容

cd /usr/local/hadoop
    touch ly.txt 
    cat ly.txt

使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。

./sbin/start-dfs.sh
    ./bin/hdfs dfs -mkdir -p /user/hadoop
    ./bin/hdfs dfs -mkdir input
    ./bin/hdfs dfs -put ./rm.txt input

查看hdfs中的文件(-ls)

./bin/hdfs dfs -ls input

显示hdfs中该的文件内容

./bin/hdfs dfs -cat input/rm.txt

删除本地的txt文件并查看目录

./bin/hdfs dfs -rm -ls input/rm.txt

从hdfs中将txt下载地本地原来的位置

./bin/hdfs dfs -get input/test.txt ~/rm.txt

从hdfs中删除txt并查看目录

./bin/hdfs dfs -rm -ls input/rm.txt

从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名

if $(hdfs dfs -test -e file:
then $(hdfs dfs -copyToLocal rm.txt ./rm2.txt); 
else $(hdfs dfs -copyToLocal rm.txt ./rm.txt); 
fi
 

 

posted @ 2018-04-27 21:20  104陈颖楠  阅读(99)  评论(0编辑  收藏  举报