bin目录下:
1. hadoop fs 基本操作命令,类似linux shell
2. hadoop dfsadmin 管理命令
3. hadoop fsck (1. 检查hdfs中文件的健康状况
2. 查找确实的块以及过少或过多的副本的块
3. 查看一个文件的所有数据块位置
4. 删除损坏的数据块)
例子:
$/bin/hadoop fsck /***.txt -files -blocks -locations
4. start-balancer.sh -threshold 10% (数据块重分布,最高的和最低的相差小于或等于10%)
5. hadoop dfsadmin -setSpaceQuota 1T /user/username 限制一个目录最多使用的磁盘大小为1T
6. hadoop dfsadmin -setQuota 1000 /user/username 限制一个目录最多包含的子目录和文件数
7. hadoop dfsadmin -refreshNodes 移除一个datanode的步骤:将datanode的host或ip加入namenode的配置项dfs.hosts.exclude中,然后执行此命令
sbin目录下:
1. start-all.sh
2. start-dfs.sh
3. hadoop-deamon.sh
4. hadoop-deamon.sh start namenode(单独启动namenode)
5. hadoop-deamon.sh start datanode(单独启动datanode,也可以用于新增datanode)
安全模式:
在启动集群的过程中,hdfs集群在加载block过程中,会进入安全模式,防止用户的一些操作妨碍block加载等过程。
hdfs dfsadmin -savemode get/leave/enter/wait
增加节点:
sbin/hadoop-daemon.sh start datanode
删除节点:
将需要移除的节点的主机名或IP加入Namenode黑名单,修改Namenode的hdfs-site.xml文件,设置dfs.hosts.exclude配置的值为需要移除的datanode的主机名或IP。
启动集群后执行 bin/hadoop dfsadmin -refreshNodes
sbin/start-balancer.sh -threshold 10 (10为平衡阈值,即10%,即各个节点使用的相差的最大值)