bin目录下:

1. hadoop fs 基本操作命令,类似linux shell

2. hadoop dfsadmin    管理命令

3. hadoop fsck (1. 检查hdfs中文件的健康状况

                        2. 查找确实的块以及过少或过多的副本的块

                        3. 查看一个文件的所有数据块位置

                        4. 删除损坏的数据块)

例子:

$/bin/hadoop fsck /***.txt -files -blocks -locations

4. start-balancer.sh -threshold 10%  (数据块重分布,最高的和最低的相差小于或等于10%)

5. hadoop dfsadmin -setSpaceQuota 1T /user/username  限制一个目录最多使用的磁盘大小为1T

6. hadoop dfsadmin -setQuota 1000 /user/username   限制一个目录最多包含的子目录和文件数

7. hadoop dfsadmin -refreshNodes   移除一个datanode的步骤:将datanode的host或ip加入namenode的配置项dfs.hosts.exclude中,然后执行此命令

 

sbin目录下:

1. start-all.sh

2. start-dfs.sh

3. hadoop-deamon.sh

4. hadoop-deamon.sh start namenode(单独启动namenode)

5. hadoop-deamon.sh start datanode(单独启动datanode,也可以用于新增datanode)

 

安全模式:

在启动集群的过程中,hdfs集群在加载block过程中,会进入安全模式,防止用户的一些操作妨碍block加载等过程。

hdfs dfsadmin -savemode get/leave/enter/wait

 

增加节点:

sbin/hadoop-daemon.sh start datanode

 

删除节点:

将需要移除的节点的主机名或IP加入Namenode黑名单,修改Namenode的hdfs-site.xml文件,设置dfs.hosts.exclude配置的值为需要移除的datanode的主机名或IP。

启动集群后执行 bin/hadoop dfsadmin -refreshNodes

sbin/start-balancer.sh -threshold 10   (10为平衡阈值,即10%,即各个节点使用的相差的最大值)