Hadoop 十八

HDFS文件块

HDFS的文件在物理上是分块存储 块的大小可以通过配置参数来规定，一般是2^n，2.x/3.x是128M，1.x中是64M。

块设置的太大，会增大处理时间。

块设置的太小，会增加寻址时间。

HDFS块大小设置主要取决于磁盘传输速率。

HDFS的SHell操作

　　命令首先启动Hadoop集群，主要是dfs

　　　　sbin/start-dfs.sh     sbin/start-yarn.sh   或者是前面自己封装了myhadoop脚本  myhadoop.sh stop/strat

基本命令：hadoop fs / hdfs dfs

帮助命令: hadoop fs - help 需要查询的命令

创建文件夹：hadoop fs -mkdir 需要创建文件夹的名称

 

 

 

 

 

 

　上传：

　　　　-moveFromLocal:从本地剪切到HDFS

　　　　-copyFromLocal:从文件系统中拷贝文件去HDFS路径中

　　　　-put:等同于copyFromLocal

　　　　-appendToFile:追加一个文件到已经存在的文件末尾

 

 

 

 

 

 　　下载：下载的时候可以重命名

　　　　-copyToLocal :从HDFS拷贝到本地

 

 

 

　　　　-get：等同于copyToLocal

 

 　　　　　HDFS直接操作

　　　　　　　-ls显示目录信息

　　　　　　　-cat显示文件内容

　　　　　　　-cahgrp -chmod -chowm：修改文件所属权限

　　　　　　　-mkdir:创建路径

　　　　　　　-cp:从HDFS一个路径拷贝到另一个路径

　　　　　　　-mv:在HDFS中移动文件

　　　　　-tail:显示一个文件夹的1kb的数据

　　　　　-rm 删除文件或文件夹

　　　　　-rm -r 递归删除目录及目录里面的内容

　　　　　-du 统计文件夹的大小信息

　　　　　-setrep 设置HDFS中文件的副本数量