hdfs-03-hdfs客户端操作

1, hdfs中两种连接方式

1), 网页

2), 客户端

文件的切块大小和存储的副本数量，都是由客户端决定！
所谓的由客户端决定，是通过配置参数来定的
hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：
切块大小的参数： dfs.blocksize
副本数量的参数： dfs.replication

<property>
  <name>dfs.blocksize</name>
  <value>64m</value>
</property>

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

切块后的文件会在hdfs的目录中存在, 通过cat命令将replace拼接后, 文件恢复原始文件

即, hdfs只对文件进行啦按大小的简单切割

2, 常用的命令操作

1, 查看目录

hadoop fs -ls -R /目录　　　　　　# -R 递归显示
hadoop fs -mkdir -p /hdfs目录。 -p 支持多级创建

2, 上传文件

Hadoop fs -put /本地目录。/hdfs 目录
hadoop fs -copyFromLocal /本地目录 /hdfs目录
hadoop fs -moveFormLocal /本地目录 /hdfs目录　　　　会从本地目录中移除

3, 下载文件

hadoop fs -get /hdfs目录 /本地目录
hadoop fs -copyToLocal /hdfs目录 /本地目录
hadoop fs -moveToLocal /hdfs目录 /本地目录　　　　会从hdfs中删除原文件

4, 移动hdfs中的文件, 改名

hadoop fs -mv /hdfs目录 /hdfs目录
hadoop fs -cp /hdfs文件1 /hdfs文件2 /hdfs目录
可复制一个, 也可复制多个, 当复制多个的时候, 目的地必须是目录

5, 删除文件或文件夹

Hadoop fs -rm -r /hdfs目录

6, 修改文件权限

hadoop fs -chgrp [-R] wenbronk /hdfs目录
hadoop fs -chown wenbronk:wenbronk /hdfs目录
hadoop fs -chmod 700 /hdfs目录

7, 追加内容到已有的文件

hadoop fs -appenToFile /本地文件  /hdfs目录

  hadoop fs -appendToFile ./zookeeper.out hdfs://node1:8020/data/test/yarn-site.xml

8, 显示文件内容

hadoop fs -cat /hdfs文件
hadoop fs -tail /hdfs 文件
hadoop fs -text /hdfs文件　　# 以文本格式输出
hadoop fs -touchz /hdfs文件　　# 创建一个空文件, 文件长度为0

 9, 显示文件校验码

hadoop fs -checksum /data/test/zookeeper.out

10, 对文件进行统计大小, 配额, 等

hadoop fs -count -h hdfs://node1:8020/data/test/zookeeper.out

11, 统计目录大小, 文件大小等

hadoop fs -du -h /hdfs目录　　　　# 统计目录大小
hadoop fs -df -h /hdfs 目录　　　　# 查看剩余空间大小

 

剩余, 遇到在慢慢补充...