hdfs datanode通过添加数据盘扩容

最近,在生产环境中,hdfs集群数据量已达到存储的90%,亟需对存储空间进行扩容。

通过调研和实验,确定添加datanoe的存储目录比较适合我们的生产环境!在这里记录一下添加数据目录的过程。

  • 第一步:备份hdfs-site.xml配置文件
cp hdfs-site.xml hdfs-site.xml.20190330.bak
  • 第二步:添加数据磁盘、格式化,并挂载到/data2目录
#格式化磁盘
mkfs.ext4 /dev/sdb

#挂载磁盘到/data2
mount -t ext4 /dev/sdb /data2

#添加开机挂载
vim /etc/fstab
  • 第三步:创建hdfs数据存储目录
mkdir /data2/hadoop

注意:如果hadoop集群有用户权限,需要修改相应权限,例如:chown -R hadoop.hdfs /data2/hadoop

  • 第四步:修改hdfs-site.xml文件(所有节点),增加dfs.datanode.data.dir数据目录(用逗号分隔)
<property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/data1/my_data/dfs-data,/data2/hadoop</value>
</property>
  • 第五步:重启HBASE集群

执行重启命令。。


 重启完成后,可以发现旧的数据目录会均衡一部分数据到新的目录,扩容工作完成~~

posted @ 2019-03-30 10:04  流光给给  阅读(2229)  评论(1编辑  收藏  举报