hdfs datanode通过添加数据盘扩容
最近,在生产环境中,hdfs集群数据量已达到存储的90%,亟需对存储空间进行扩容。
通过调研和实验,确定添加datanoe的存储目录比较适合我们的生产环境!在这里记录一下添加数据目录的过程。
- 第一步:备份hdfs-site.xml配置文件
cp hdfs-site.xml hdfs-site.xml.20190330.bak
- 第二步:添加数据磁盘、格式化,并挂载到/data2目录
#格式化磁盘
mkfs.ext4 /dev/sdb
#挂载磁盘到/data2
mount -t ext4 /dev/sdb /data2
#添加开机挂载
vim /etc/fstab
- 第三步:创建hdfs数据存储目录
mkdir /data2/hadoop
注意:如果hadoop集群有用户权限,需要修改相应权限,例如:chown -R hadoop.hdfs /data2/hadoop
- 第四步:修改hdfs-site.xml文件(所有节点),增加dfs.datanode.data.dir数据目录(用逗号分隔)
<property> <name>dfs.datanode.data.dir</name> <value>file:/data1/my_data/dfs-data,/data2/hadoop</value> </property>
- 第五步:重启HBASE集群
执行重启命令。。
重启完成后,可以发现旧的数据目录会均衡一部分数据到新的目录,扩容工作完成~~