导航

HDFS集群格式化踩过的坑

Posted on 2020-11-28 14:22  乔伊_413  阅读(626)  评论(0编辑  收藏  举报

  在Hadoop集群使用初期,我所遇到的问题如下:

1. 需要不定时的改动配置文件

2. 不止一次的格式化集群

3. 恢复之后datanode失效了

4. 时间超过了7天,日志消失,又导致集群崩坏

 

解决思路:

  1. 首先格式化集群之前要确保集群的进程停掉

  2. 删除每个节点hadoop下的 data 和 logs文件夹(每个节点都要删除)

  3. 格式化之后datanode失效的原因是Version中的内容与之前的不对应,暴力解决方法,删除原来的文件夹

  4. 文件夹位置在hdfs-site.xml文件的,记住删除,格式化后重新启动集群,他会自动生成

 <property>
        <name>dfs.datanode.data.dir</name>
      #删除这些文件夹,格式化后让他重新生成
     <value>file:///hd1/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3</value>  
  </property>

   5. 七天删除日志文件设置:yarn-site.xml 中设置不让删除

<!-- 日志保留时间-1不删除 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>-1</value>
    </property>