大叔经验分享(44)hdfs副本数量
当hdfs空间不足时,除了删除临时数据或垃圾数据之外,还可以适当调整部分大目录的副本数量,多管齐下;
1 查看
$ hdfs dfs -ls /user/hive/warehouse/temp.db/test_ext_o
-rwxr-xr-x 3 hadoop supergroup 44324200 2019-02-28 16:36 /user/hive/warehouse/temp.db/test_ext_o/000000_0
权限后边的3即为副本数量
2 修改
$ hadoop fs -setrep [-w] 2 /user/hive/warehouse/temp.db/test_ext_o/000000_0
or
$ hdfs dfs -setrep [-w] 2 /user/hive/warehouse/temp.db/test_ext_o/000000_0
WARNING: the waiting time may be long for DECREASING the number of replications.
修改副本数量为2,启动路径可以指定文件,也可以指定目录;
可以增加-w参数,会一直等待操作完成;
The -w flag requests that the command wait for the replication to complete. This can potentially take a very long time.
---------------------------------------------------------------- 结束啦,我是大魔王先生的分割线 :) ----------------------------------------------------------------
- 由于大魔王先生能力有限,文中可能存在错误,欢迎指正、补充!
- 感谢您的阅读,如果文章对您有用,那么请为大魔王先生轻轻点个赞,ありがとう